Původně gotická stavba byla v letech 1725-30 barokně přestavěna stavitelem O.Broggiem. Údajně se jedná o vlastní dům tohoto stavitele, který v něm kterém žil a pracoval. Na průčelí je ztvárněno pět dívčích obličejů, podle nichž dostal dům svůj název. Dnešní úprava je z let 1951-52.