Pilis stovi ant Vomero kalvos, iškilusios virš Neapolio, nuo kurios atsiveria nuostabus miesto ir Vezuvijaus ugnikalnio vaizdas. Tai viduramžių tvirtovė, pastatyta XIII a. miestui ginti nuo puolimų iš vakarų. Pirmosios dokumentuose esančios užuominos apie Castel Sant'Elmo yra iš XIII a. antrosios pusės. 1329 m. Roberto iš Anžu užsakė architektui ir skulptoriui Tino di Camaino, tuo metu užsiėmusiam Certosa di San Martino statybomis, pradėti priestato išplėtimo darbus.
1537-1547 m., valdant Šventosios Romos imperijos imperatoriui Karoliui V, vicekaralius Don Pedro de Toledo pradėjo rekonstrukcijos darbus, po kurių atsirado dabartinis šešiakampės žvaigždės formos planas. Kai 1587 m. sprogimas sunaikino didelę dalį pastatų Piazza d'Armi aikštėje, rekonstrukcijos projektas buvo patikėtas architektui Domenikui Fontanui. Pilis taip pat buvo 1799 m. revoliucijos herojė, kai grupė intelektualų, įkvėpta Prancūzijos revoliucijos idealų, užėmė tvirtovę ir paskelbė Neapolio respubliką.
Savo istorijoje pilis taip pat tarnavo kaip kalėjimas, o šiuo metu ji yra uždara turistams, išskyrus lauko renginius ir periodiškai joje rengiamas parodas.