Il castello sorge sulla collina del Vomero che sovrasta Napoli, da cui si gode una splendida vista della città e del vulcano Vesuvio. Si tratta di una fortezza medievale costruita nel XIII secolo per difendere la città dagli attacchi provenienti da ovest. I primi riferimenti documentali a Castel Sant'Elmo risalgono alla seconda metà del XIII secolo. Roberto d'Angiò incaricò l'architetto e scultore Tino di Camaino, all'epoca impegnato nei lavori della Certosa di San Martino, di iniziare i lavori di ampliamento nel 1329.
Tra il 1537 e il 1547, durante il regno di Carlo V, Sacro Romano Imperatore, il viceré Don Pedro de Toledo iniziò i lavori di ricostruzione che portarono all'attuale pianta esagonale a stella. Quando nel 1587 un'esplosione distrusse gran parte degli edifici di Piazza d'Armi, il progetto di ricostruzione fu affidato all'architetto Domenico Fontana. Il castello fu anche protagonista della Rivoluzione del 1799, quando un gruppo di intellettuali, ispirandosi agli ideali della Rivoluzione francese, si impadronì della fortezza proclamando la Repubblica Napoletana.
Nella sua storia è servito anche come prigione, e attualmente rimane chiuso ai turisti, tranne che per gli eventi all'aperto e le mostre periodiche che vi vengono organizzate.
