Першая згадка пра замак Кастельхольма (або Кастельхольм) адносіцца да 1388 годзе ў дамове дацкай каралевы Маргарыты I, у якім вялікая частка спадчыны Бо Йонссона грыпа была перададзена каралеве. Росквіт замка прыйшоўся на 15-16 стагоддзя, калі ім кіравалі дацкія і шведскія каралі і кіраўнікі каралеўствамі. Кастэльхома некалькі разоў пашыралася і ўмацоўвалася.
У канцы 16 стагоддзя замкам валодала папярэдняя каралева Кацярына Ягелон (Стенбок), вораг караля Швецыі Эрыка XIV. Кароль Эрык заваяваў Кастэльхольму ў 1599 годзе, і ўсе абарончыя афіцэры былі дастаўлены ў Турку і пакараныя. Замак быў пашкоджаны падчас аблогі, і на яго аднаўленне сышло 30 гадоў.
У 1634 годзе Аландскія астравы былі аб'яднаны з графствам Обо, а Бьернеборг і Кастельхольма страцілі свой адміністрацыйны статус. Замак пачаў разбурацца і выкарыстоўваўся толькі як турма, пакуль не згарэў дашчэнту ў 1745 годзе і канчаткова не быў закінуты ў 1770 годзе.
Кастельхольма-адна з пяці захаваліся фінскіх сярэднявечных крэпасцяў. У цяперашні час гэта галоўная турыстычная славутасць, да якой лёгка дабрацца на машыне ці аўтобусе з Мариехамна. У зале выстаўлены раскапаныя прадметы, такія як раннія печкавыя кафлі. Сярэднявечны фестываль, багаты танцамі, ежай і рыцарскімі паядынкамі, праводзіцца кожны год у ліпені. Тэрыторыя вакол і аж да Сторнесета ператварылася ў каралеўскае маёнтак з полем для гольфа, таксама даступным у гэтым раёне.