Hirado loss seisab künkal, mis valvab Hirado sadamat ja Hirado väina, mis varem oli osa olulisest kaubateest jaapani ja Aasia mandri vahel. Algne linnus ehitati 1599. aastal kohaliku Matsura isanda poolt; kuid ta hävitas struktuuri pärast Tokugawa võitlemist Sekigahara lahingu kaotajate poolel võitjale lojaalsuse žestina. Matsura klann jätkas Hirado valitsemist järgmise kahe ja poole sajandi jooksul.Uus loss (tuntud ka kui Kameoka loss) ehitati kohapeal sada aastat hiljem 1718.aastal osana rannikukaitsest, mis püstitati Jaapani iseseisvuse ajal Edo perioodil. See struktuur seisis üle 150 aasta, kuid lõpuks lagunes ja lammutati Meiji perioodil. Täna on Kitakoguchi-Moni Värav ja Tanuki Yagura kellatorn ainsad Originaalsed struktuurid, mis veel seisavad.
