Situato a ridosso di uno strapiombo roccioso e scavato quasi interamente nella roccia, il santuario venne edificato dove si narra dell’apparizione della Madonna ad una ragazza di Campolemisi intorno all’anno Mille. La sacra immagine, abbozzata in una statua di legno di salice, ancora esistente e oggetto di devozione, viene venerata col nome di Madonna della Penna. Il mese di maggio è tradizionalmente dedicato alla Madonna e vede la presenza di tante persone che in pellegrinaggio salgono all’Eremo. La roccia viva è tuttora visibile nel presbiterio e nella sacrestia, mentre la primitiva chiesina ha subito varie fasi di ampliamento e di arricchimento delle strutture e dei paramenti via via che cresceva la fama e la venerazione della Vergine della Grotta a partire dal XIV secolo. Ai primi del Settecento venne realizzato il doppio colonnato della facciata e allargata la grotta per accogliervi la sacrestia. Gli eremiti di Calomini ne hanno avuto cura per cinque secoli, fino al 1868, ed ora la custodia è affidata ai padri cappuccini di Lucca.
