När man kommer från den lilla vägen som går ner från Porta Romana för att omringa staden, hittar man den lilla kyrkan som ligger precis innan Bisleti sub-portico. Under antiken låg här Porta Piccola, som fram till jordbävningen 1350 ledde till basilikan Santa Salome via en brant sluttning.
På 1200-talet lät de trogna längs denna väg måla Madonnabilden på en sten, som sedan förblev gömd i många århundraden under jordbävningens spillror. År 1722 kom den antika avbildningen tillbaka i ljuset och folket i Verola kallade den "Madonna dell'Olivello", efter det olivträd som vuxit bredvid klippan. Vid den tiden byggdes ett litet åttkantigt tempel på platsen och stödmurar uppfördes runt området, som var brant och fullt av klippor. Senare utvidgades byggnaden tack vare kardinal Bisletis generositet (som ligger begravd här) och blev den nuvarande kyrkan Olivella.