První záznam o hradu Kastelholma (nebo Kastelholm) je z roku 1388 ve smlouvě královny Markéty I. Dánska, kde byla velká část dědictví Bo Jonsson Grip dána královně. Rozkvět hradu byl v 15. a 16. století, kdy byl spravován dánskými a švédskými králi a správci říší. Kastelhoma byl několikrát rozšířen a vylepšen.
Na konci 16. století hrad vlastnila předchozí královna Kateřina Jagellonská (Stenbock), nepřítel švédského krále Erica XIV. král Eric dobyl Kastelholmu v roce 1599 a všichni bránící důstojníci byli odvezeni do Turku a popraveni. Hrad byl při obléhání poškozen a jeho renovace trvala 30 let.
V roce 1634 byl Åland připojen k župě Åbo a Björneborg a Kastelholma ztratily svůj správní status. Hrad začal chátrat a byl používán pouze jako vězení, dokud v roce 1745 nevyhořel a v roce 1770 byl definitivně opuštěn.
Kastelholma je jednou z pěti dochovaných finských středověkých pevností. V současné době je hlavní turistickou atrakcí snadno dostupnou autem nebo autobusem z Mariehamnu. Vykopané předměty, jako jsou rané kachle, jsou vystaveny v hale. Středověký festival, plný tance, jídlo, a klání se koná každý rok v červenci. Oblast kolem a dolů do Stornäsetu se stala královským statkem s golfovým hřištěm, které je také k dispozici v této oblasti.