Hirado Castell s'alça sobre un turó, vigilant Hirado Port i la Hirado Estret, que solia ser part d'una important ruta comercial entre el Japó i l'Àsia continental. L'original es va construir la fortalesa de 1599 pel local Matsura Senyor; no obstant això, destruí l'estructura després de la lluita contra la Tokugawa a perdre costat de la Batalla de comandant mateix com un gest de lleialtat a vencedor. La Matsura Clan continuar governant Hirado per als pròxims dos segles i mig.Un nou castell (també conegut com Kameoka Castell) va ser construïda en el lloc d'un centenar d'anys més tard, l'any 1718, com a part de les defenses costaneres erigit durant el Japó auto-imposada reclusió en el Període Edo. Aquesta estructura se situa per més de 150 anys, però finalment va caure en ruïna i va ser desmantellat durant el Període Meiji. Avui, la Kitakoguchi-mon Porta i la Tanuki Yagura torre del rellotge, són les úniques estructures originals segueix en peu.
