Hirado Caisleán sheasann ar chnoc guarding Hirado Port agus an Hirado Caolas, a a úsáidtear a bheith mar chuid de na tábhachtach bealach trádáil idir an Tseapáin agus an mórthír na Háise. An bunaidh fortress tógtha i 1599 ag an áitiúil Matsura Tiarna; mar sin féin, scrios sé an struchtúr tar éis troid ar an Tokugawa ar an taobh chailliúint an Cath Sekigahara mar chomhartha dílseachta go dtí an bua. An Matsura Clan lean rialú Hirado le haghaidh an chéad cheann eile dhá agus go leith céadta bliain.A caisleán nua (ar a dtugtar freisin mar Kameoka Caisleán) a bhí tógtha ar an suíomh céad bliain ina dhiaidh sin i 1718 mar chuid de na cosaintí cósta a tógadh le linn na Seapáine féin-fhorchuirtear i seclusion na Tréimhse Edo. Tá an struchtúr a sheas le breis agus 150 bliain, ach sa deireadh thit i léig agus go raibh dhíchóimeáil le linn an Tréimhse Meiji. Sa lá atá inniu, an Kitakoguchi-mon Geata agus an Tanuki Yagura túr faire an t-aon struchtúr bunaidh fós ina seasamh.