Hirado Kastala stendur á hæð vörð Hirado Höfn og Hirado Sundið, sem er notað til að vera hluti af mikilvægu viðskipti leið milli Japan og Asíu meginlandinu. Upprunalega virki var byggð í 1599 af staðnum Matsura Drottinn, hins vegar er hann eyðilagt uppbyggingu eftir að berjast Tokugawa á að tapa hlið af Orrustunni við Sekigahara að sem vott um hollustu við victor. Við Matsura Ættin áfram úrskurði Hirado fyrir næstu tvær og hálfa öld.Nýja kastala (einnig þekktur sem Kameoka Kastala) var byggð á síðuna hundrað árum síðar í 1718 sem hluti af strand varnir reist á Japan sjálf lagðir einangrun í Edo Tímabil. Þetta uppbyggingu stóð fyrir yfir 150 ára, en að lokum datt í niðurníðslu og var í sundur meðan Meiji Tímabil. Í dag, Kitakoguchi-mon Hliðið og Tanuki Yagura horfa á turninn eru aðeins upprunalega mannvirki enn standandi.