Kardinál Ditrichštejn založil položením základního kamene kaple sv. Šebestiána na kopci nad městem v roce 1623 tradici mariánských poutí na Svatý kopeček. U jižní městské hradby nechal vystavět devět jednopatrových domů pro loretánské poutníky přicházející každoročně do města. Pro kanovníky kapituly sv. Václava po roce 1625 vybudoval tři jednopatrové domy přiléhající ke kapucínskému klášteru a na protější straně nechal kardinál vybudovat výstavnější kanovnický dům se sakristií lorety a klenotnicí s dary pro Černou loretánskou madonu. Celý soubor staveb těsně sousedil se světským tržištěm u vjezdu do zámku.