Hirado Castelo está nun outeiro gardando Hirado Porto e o Hirado Estreito, que adoitaba ser parte de un importante ruta comercial entre o Xapón e Asia continental. A fortaleza orixinal foi construído en 1599 por local Matsura Señor; con todo, el destruíu a estrutura despois de loitar contra o Tokugawa no lado perdedor da Batalla dos estados unidos como un xesto de lealdade para o gañador. O Matsura Clan continuou gobernando Hirado para os próximos dous séculos e medio.Un novo castelo (tamén coñecido como Kameoka Castelo foi construído no lugar dun centenar de anos máis tarde, en 1718, como parte das defensas costeiras erguido durante Xapón auto-impostas reclusión no Período Edo. Esta estrutura quedou por máis de 150 anos, pero finalmente caeu en desuso e foi desmantelado durante o Período Meiji. Hoxe, o Kitakoguchi-mon Porta e o Tanuki Yagura torre do reloxo son o único orixinal estruturas aínda de pé.
