Hirado Kalesi, Hirado limanını ve Japonya ile Asya anakarası arasındaki önemli bir ticaret yolunun bir parçası olan Hirado Boğazı'nı koruyan bir tepede duruyor. Orijinal kale, 1599 yılında yerel Matsura lordu tarafından inşa edildi; ancak, sekigahara Savaşı'nın kaybeden tarafındaki Tokugawa ile savaştıktan sonra yapıyı, kazanana sadakat jesti olarak tahrip etti. Matsura Klanı önümüzdeki iki buçuk yüzyıl boyunca Hirado'yu yönetmeye devam etti.Yüz yıl sonra 1718'de, Edo döneminde Japonya'nın kendi kendine dayatılan inzivası sırasında inşa edilen kıyı savunmasının bir parçası olarak yeni bir kale (Kameoka Kalesi olarak da bilinir) inşa edildi. Bu yapı 150 yıldan fazla bir süredir durdu, ancak sonunda kullanılamaz hale geldi ve Meiji döneminde söküldü. Bugün, Kitakoguchi-mon Kapısı ve Tanuki Yagura Saat Kulesi hala ayakta duran tek orijinal yapılardır.
