Pils atrodas uz Vomero kalna, kas paceļas virs Neapoles, no kura paveras skaists skats uz pilsētu un Vezuva vulkānu. Tas ir viduslaiku cietoksnis, kas celts 13. gadsimtā, lai aizsargātu pilsētu pret uzbrukumiem no rietumiem. Pirmās dokumentālās liecības par Castel Sant'Elmo ir datētas ar 13. gadsimta otro pusi. Roberto no Anžu pasūtīja arhitektam un tēlniekam Tino di Kamaino, kurš tajā laikā bija aizņemts ar darbu pie Certosa di San Martino, 1329. gadā uzsākt paplašināšanas darbus.
No 1537. līdz 1547. gadam, Svētās Romas impērijas imperatora Kārļa V valdīšanas laikā, vietvaldis Dons Pedro de Toledo uzsāka pārbūves darbus, kuru rezultātā tika izveidots pašreizējais sešstūrainais zvaigžņveida plānojums. Kad 1587. gadā sprādziens iznīcināja lielu daļu ēku Piazza d'Armi laukumā, rekonstrukcijas projekts tika uzticēts arhitektam Domeniko Fontana. Pils bija arī 1799. gada revolūcijas varonis, kad grupa intelektuāļu, iedvesmojoties no Franču revolūcijas ideāliem, ieņēma cietoksni, pasludinot Neapoles Republiku.
Savā vēsturē tā kalpoja arī kā cietums, un pašlaik tā ir slēgta tūristiem, izņemot brīvdabas pasākumus un periodiski tajā rīkotās izstādes.
