Hirado Gaztelua nabarmentzen da, muino baten gainean zaintzen Hirado Portu eta Hirado Itsasartea, zein izan ohi zati garrantzitsu bat merkataritza arteko ibilbidea Japonia eta Asiako penintsulako. Jatorrizko gotorlekua eraiki zen 1599 tokiko Matsura Jauna; hala ere, suntsitu zuen egitura borrokan ondoren Tokugawa galdu Bataila alde Sekigaharako keinu gisa leialtasuna victor. The Matsura Klan jarraitu epaia Hirado hurrengo bi mende eta erdi.Berri bat gaztelu (gisa ere ezaguna Kameoka Gaztelua) eraiki zen gunean ehun urte geroago 1718 zati gisa kostaldeko defentsak eraiki zehar Japoniako auto-inposatutako itxialdia batean Edo Aldian. Egitura hau koa baino gehiago 150 urte, baina, azkenean, disrepair erori zen, eta desegin zen garaian Meiji Aldian. Gaur egun, Kitakoguchi-nire Atea eta Tanuki Yagura watch tower dira soilik jatorrizko egiturak, oraindik zutik.
