Hirado pils stāv uz kalna, kas apsargā Hirado ostu un Hirado šaurumu, kas agrāk bija daļa no svarīga tirdzniecības ceļa starp Japānu un Āzijas kontinentu. Sākotnējo cietoksni 1599. gadā uzcēla vietējais Matsura kungs; tomēr viņš iznīcināja struktūru pēc cīņas ar Tokugavu Sekigahara Kaujas zaudētājā pusē kā lojalitātes žests uzvarētājam. Matsura klans turpināja valdīt Hirado nākamajiem divarpus gadsimtiem.Jauna pils (pazīstama arī kā Kameoka pils) tika uzcelta uz vietas simts gadus vēlāk 1718. gadā kā daļa no piekrastes aizsargspējas, kas tika uzcelta Japānas pašaizliedzības laikā Edo periodā. Šī struktūra stāvēja vairāk nekā 150 gadus, bet galu galā nokrita un tika demontēta Meiji periodā. Šodien Kitakoguchi-mon vārti un Tanuki Yagura pulksteņu tornis ir vienīgās oriģinālās struktūras, kas joprojām stāv.
