Prvo spominjanje dvorca Castelholm (ili Castelholm) datira iz 1388.godine ugovorom danske kraljice Margarite Oresin, u kojem je većina nasljedstva Bo Jonssona gripa prenesena na kraljicu. Dvorac je procvjetao u 15.i 16. stoljeću, kada su njime vladali danski i švedski kraljevi i vladari kraljevstava. Castelhoma je nekoliko puta proširen i ojačan.
Krajem 16.stoljeća dvorac je posjedovala prethodna kraljica Katarina Jagellon (Stenbock), neprijatelj švedskog kralja Erika Sosina. Kralj Erik osvojio je Castelholmu 1599.godine, a svi obrambeni časnici odvedeni su u Turku i pogubljeni. Dvorac je oštećen tijekom opsade i trebalo mu je 30 godina da se obnovi.
1634.godine Alandski otoci spojeni su s županijom obo, a Bjerneborg i Castelholma izgubili su administrativni status. Dvorac je počeo propadati i koristio se samo kao zatvor sve dok nije izgorio do temelja 1745.i konačno napušten 1770.
Castelholma je jedna od pet preživjelih finskih srednjovjekovnih tvrđava. Trenutno je glavna turistička atrakcija i lako je dostupna automobilom ili autobusom iz Mariehamna. U dvorani su izloženi iskopani predmeti poput ranih pločica peći. Prepun plesa, hrane i viteških borbi, srednjovjekovni festival održava se svake godine u srpnju. Područje oko i sve do Storneseta pretvoreno je u kraljevsko imanje s golf terenom dostupnim i na tom području.