Hirado pilis stovi ant kalvos, saugančios Hirado uostą ir Hirado sąsiaurį, kuris anksčiau buvo svarbaus prekybos maršruto tarp Japonijos ir Azijos žemyno dalis. Pradinę tvirtovę 1599 m. pastatė vietinis Matsura valdovas; tačiau jis sunaikino struktūrą po to, kai kovojo su Tokugava pralaimėjusioje Sekigaharos mūšio pusėje kaip lojalumo Viktorui gestas. Matsura klanas toliau valdė Hirado per ateinančius du su puse šimtmečių.Naujoji pilis (taip pat žinoma kaip Kameoka pilis) buvo pastatyta svetainėje po šimto metų 1718 m., kaip dalis pakrantės gynybos, pastatytos Japonijos savarankiško atsiskyrimo Edo laikotarpiu. Ši struktūra stovėjo daugiau nei 150 metų, bet galiausiai nukrito į nuosmukį ir buvo išmontuota Meidži laikotarpiu. Šiandien "Kitakoguchi-mon" vartai ir "Tanuki Yagura" laikrodžio bokštas yra vienintelės originalios konstrukcijos, kurios vis dar stovi.
