Kështjella Hirado qëndron në një kodër duke ruajtur Portin E Hirados Dhe Ngushticën E Hirados, që dikur ishte pjesë e një rruge të rëndësishme tregtare midis Japonisë dhe kontinentit Aziatik. Fortesa origjinale u ndërtua më 1599 nga Lordi lokal Matsura; megjithatë, ai shkatërroi strukturën pasi luftoi Tokugauan në anën e humbur të Betejës Së Sekigaharës si një gjest besnikërie ndaj fituesit. Klani Matsura vazhdoi Hiradon në pushtet për dy shekujt e ardhshëm e gjysmë.Një kështjellë e re (e njohur gjithashtu si Kështjella Kameoka) u ndërtua në vend njëqind vjet më pas në 1718 si pjesë e mbrojtjes bregdetare ngritur gjatë izolimit Të vetë vendosur Të Japonisë në Periudhën E Edo. Kjo strukturë qëndroi për mbi 150 vjet, por përfundimisht ra në gjendje të keqe dhe u shpërbë gjatë Periudhës Meiji. Sot, Porta Kitakoguchi-mon dhe kulla E vëzhgimit Tanuki Yagura janë strukturat e vetme origjinale që ende qëndrojnë.
