A Hirado-kastély a Hirado-kikötőt és a Hirado-szorost őrző dombon áll, amely korábban fontos kereskedelmi útvonal része volt Japán és az ázsiai szárazföld között. Az eredeti erődöt 1599-ben a helyi Matsura Ura építette; azonban elpusztította a szerkezetet, miután a Tokugawa-val harcolt a Sekigahara csata vesztes oldalán, a győztes iránti hűség gesztusaként. A Matsura Klán A következő két és fél évszázadban folytatta Hirado uralkodását.Egy új vár (más néven Kameoka vár) épült a helyszínen száz évvel később 1718 részeként a part menti védelmet emelt során Japán önálló kiszabott magány az Edo időszakban. Ez a szerkezet több mint 150 évig állt, de végül tönkrement, és a Meiji-korszak alatt lebontották. Ma a Kitakoguchi-Mon kapu és a Tanuki Yagura Őrtorony az egyetlen eredeti szerkezet, amely még mindig áll.
