Chegando da pequena estrada que desce da Porta Romana para circundar a cidade, encontra-se a pequena igreja situada imediatamente antes do sub-pórtico Bisleti. Em tempos antigos, este era o local de Porta Piccola, que, até ao terramoto de 1350, conduziu à Basílica de Santa Salomé através de uma encosta íngreme.
Ao longo deste caminho no século XIII, os fiéis tinham a imagem da Madonna pintada sobre uma rocha, que depois permaneceu escondida durante muitos séculos sob os escombros do terramoto. Em 1722, a antiga efígie voltou à luz e o povo de Verola chamou-lhe "Madonna dell'Olivello", depois da oliveira que tinha crescido ao lado da rocha. Nessa altura, um pequeno templo octogonal foi construído no local e foram levantados muros de contenção em torno da área, que era íngreme e cheia de falésias. Mais tarde, o edifício foi ampliado graças à generosidade do Cardeal Bisleti (aqui enterrado) e tornou-se a actual Igreja de Olivella.