Jádrem baziliky je středověký kostelík, v 17. století zvýšený a obklopený ze všech stran kaplemi. Nejdříve byly postaveny boční kaple sv. Ignáce a sv. Františka Xaverského, nad nimi oratoře s pavilóny a mezi nimi, nad vlastní svatyní, velká Mariánská věž. Na straně východní i západní vznikla trojice otevřených kaplí.
Uprostřed je kaple Navštívení Panny Marie. Zbudována byla nákladem Bernarda Ignáce z Martinic roku 1661. Původní fresky v kapli i iluzivní oltář namaloval Jan Kryštof Christl v letech 1667–1672, autorem oltáře z roku 1928 je Richard Klenka. Kaple bývá označována také jako Korunovační, roku 1732 zde byla prvně korunována soška Panny Marie Svatohorské.