Hrad Hirado stojí na kopci strážiacom prístav Hirado a úžinu Hirado, ktorý bol súčasťou dôležitej obchodnej cesty medzi Japonskom a ázijskou pevninou. Pôvodná pevnosť bola postavená v roku 1599 miestnym Pánom Matsura, ale zničil štruktúru po boji proti Tokugawe na strane straty bitky pri Sekigahare ako gesto lojality k víťazovi. Klan Matsura pokračoval vo vládnutí Hirado počas nasledujúcich dvoch a pol storočia.Nový hrad (tiež známy ako hrad Kameoka) bol postavený na mieste o sto rokov neskôr v roku 1718 ako súčasť pobrežnej obrany postavenej počas japonského vlastného uloženia v období Edo. Táto štruktúra stála viac ako 150 rokov, ale nakoniec sa rozpadla a bola demontovaná počas obdobia Meiji. Dnes sú Kitakoguchi-Mon Gate a strážna veža Tanuki Yagura jedinými pôvodnými stavbami, ktoré stále stoja.
