Początki miasta sięgają 1157 roku, gdy mnich Magnus, z benedyktyńskiego opactwa Św. Lamberta udał się w drogę w kierunku obecnego Mariazell, aby założyć nowy klasztor. Mnich zabrał ze sobą figurę Madonny z Dzieciątkiem, wykonaną z drewna lipowego. W trakcie podróży, 21 grudnia, został napadnięty przez zbójców. W czasie ucieczki przejście zasypał mu śnieg i zagrodził wielki głaz. Wtedy Magnus zaczął się żarliwie modlić do Matki Bożej. Figurę umieścił na skalnym bloku, w którym niespodziewanie pojawiła się szczelina, przez którą udało mu się uciec i tym samym ocalić życie. Mnich odczytał to niezwykłe wydarzenie jako wymowny znak, iż Maryja sama wybrała sobie to miejsce. Zlecił wybudowanie dla Niej kapliczki, która przypominała wyglądem ozdobną celę klasztorną. Następnie zamieszkał w tym miejscu razem z drewnianą figurą Madonny.  

W 1365 roku do Mariazell przyjechał król Ludwik I Wielki z dynastii Andegawenów, aby podziękować Matce Boskiej za zwycięstwo nad wielokroć liczniejszą armią turecką. Za czasów Cesarstwa Austro-Węgierskiego miejsce to stało się sanktuarium narodów Europy Środkowej i Wschodniej. W 1983 roku do Mariazell przybył papież Jan Paweł II, który zawierzył Austrię Matce Bożej.  

Sanktuarium słynie również z tzw. milczących świec znajdujących się w bocznej kaplicy. Każda z nich symbolizowała jeden naród środkowoeuropejski będący w sferze wpływów Związku Radzieckiego. Świecie zapalono w maju 1990 roku, gdy ostatnie kraje uwolniły się spod panowania komunizmu.