Przybywając z małej drogi, która schodzi z Porta Romana, aby okrążyć miasto, znajdujemy mały kościółek położony tuż przed subportykiem Bisleti. W czasach starożytnych w tym miejscu znajdował się Porta Piccola, który do czasu trzęsienia ziemi w 1350 roku prowadził do Bazyliki Santa Salome przez strome zbocze.
Wzdłuż tej drogi w XIII wieku wierni kazali namalować na skale wizerunek Madonny, który następnie przez wiele wieków pozostawał ukryty pod gruzami po trzęsieniu ziemi. W 1722 r. starożytna figura powróciła na światło dzienne, a mieszkańcy Veroli nazwali ją "Madonna dell'Olivello", od drzewa oliwnego, które rosło obok skały. W tym czasie na miejscu zbudowano małą ośmiokątną świątynię, a wokół terenu, który był stromy i pełen urwisk, wzniesiono mury oporowe. Później budynek został powiększony dzięki hojności kardynała Bisleti (pochowanego tutaj) i stał się obecnym kościołem Olivella.