Loss seisab Vomero mäel, mis kõrgub Napoli kohal, kust avaneb kaunis vaade linnale ja Vesuuvi vulkaanile. Tegemist on 13. sajandil ehitatud keskaegse linnusega, mis kaitses linna läänest tulevate rünnakute eest. Esimesed dokumentaalsed viited Castel Sant'Elmo kohta pärinevad 13. sajandi teisest poolest. Roberto Anjou tellis 1329. aastal arhitektilt ja skulptorilt Tino di Camaino, kes oli sel ajal hõivatud Certosa di San Martino ehitusega, et alustada laiendamistöid.
Aastatel 1537-1547, Püha Rooma keisri Karl V valitsemise ajal, alustas asepresident Don Pedro de Toledo ümberehitustöid, mille tulemuseks oli praegune kuusnurkne tähekujuline paigutus. Kui plahvatus hävitas 1587. aastal suure osa Piazza d'Armi hoonetest, usaldati rekonstrueerimisprojekt arhitekt Domenico Fontanale. Linnus oli ka 1799. aasta revolutsiooni peategelane, kui grupp intellektuaale, kes olid inspireeritud Prantsuse revolutsiooni ideaalidest, vallutasid linnuse, kuulutades välja Neapoliidi Vabariigi.
Oma ajaloos oli see ka vangla ning praegu on see turistidele suletud, välja arvatud seal korraldatavate väliürituste ja perioodiliste näituste puhul.