Porta Romana'dan inerek kasabayı çevreleyen küçük yoldan gelindiğinde, Bisleti alt portikosunun hemen önünde yer alan küçük kilise bulunur. Antik çağda burası, 1350 depremine kadar dik bir yamaçtan Santa Salome Bazilikası'na çıkan Porta Piccola'nın bulunduğu yerdi.
Bu yol boyunca, 13. yüzyılda, inançlı insanlar bir kayanın üzerine Madonna'nın resmini çizdirmiş ve bu resim daha sonra yüzyıllar boyunca depremin enkazı altında saklı kalmıştır. 1722 yılında antik büst tekrar gün ışığına çıkmış ve Verola halkı, kayanın yanında yetişen zeytin ağacına atfen ona 'Madonna dell'Olivello' adını vermiştir. O dönemde, alana küçük bir sekizgen tapınak inşa edilmiş ve sarp ve uçurumlarla dolu olan alanın etrafına istinat duvarları yükseltilmiştir. Daha sonra Kardinal Bisleti'nin (burada gömülüdür) cömertliği sayesinde bina genişletilmiş ve bugünkü Olivella Kilisesi haline gelmiştir.