Hrad Hirado stojí na kopci střežícím Přístav Hirado a úžinu Hirado, která bývala součástí Důležité obchodní cesty mezi Japonskem a asijskou pevninou. Původní pevnost byla postavena v roce 1599 místní Matsura Pána; nicméně, on zničil strukturu po boji Tokugawa na straně poražených v Bitvě u Sekigahary jako gesto loajality k victor. Klan Matsura pokračoval ve vládnutí Hirado po další dvě a půl století.Nový Hrad (také známý jako Kameoka Castle) byl postaven na místě o sto let později v roce 1718 jako součást pobřežní obrany postavené během japonské samoty v období Edo. Tato struktura stála více než 150 let, ale nakonec se rozpadla a byla demontována během období Meiji. Dnes jsou brány Kitakoguchi-mon a strážní věž Tanuki Yagura jedinými původními stavbami, které stále stojí.
