Перша згадка про замок Кастельхольма (або Кастельхольм) відноситься до 1388 року в договорі данської королеви Маргарити I, в якому велика частина спадщини Бо Йонссона Гріпа була передана королеві. Розквіт замку припав на 15-16 століття, коли ним управляли данські і шведські королі і Керуючі королівствами. Кастельхома кілька разів розширювалася і зміцнювалася.
Наприкінці 16 століття замком володіла попередня королева Катерина Ягеллон (Стенбок), ворог короля Швеції Еріка XIV. Король Ерік завоював Кастельхольму в 1599 році, і всі оборонялися офіцери були доставлені в Турку і страчені. Замок був пошкоджений під час облоги, і на його відновлення пішло 30 років.
У 1634 році Аландські острови були об'єднані з графством Обо, а Бйорнеборг і Кастельхольма втратили свій адміністративний статус. Замок почав руйнуватися і використовувався тільки як в'язниця, поки не згорів дотла в 1745 році і остаточно не був покинутий в 1770 році.
Кастельхольма-одна з п'яти збережених фінських середньовічних фортець. В даний час це головна туристична пам'ятка, до якої легко дістатися на машині або автобусі з Марієхамна. У залі виставлені розкопані предмети, такі як ранні пічні кахлі. Середньовічний фестиваль, що рясніє танцями, їжею і лицарськими поєдинками, проводиться щороку в липні. Територія навколо і аж до Сторнесета перетворилася на королівський маєток з полем для гольфу, також доступним в цьому районі.