Замок Хирадо стоит на холме, охраняя порт Хирадо и пролив Хирадо, который когда-то был частью важного торгового пути между Японией и материковой Азией. Первоначальная крепость была построена в 1599 году местным правителем Мацура, однако он разрушил ее после сражения с Токугавой на проигравшей стороне битвы при Сэкигахаре в знак верности победителю. Клан Мацура продолжал править Хирадо в течение следующих двух с половиной столетий.Новый замок (также известный как замок Камеока) был построен на этом месте сто лет спустя, в 1718 году, как часть береговой обороны, возведенной во время добровольного уединения Японии в период Эдо. Это сооружение простояло более 150 лет, но в конце концов пришло в негодность и было демонтировано в период Мэйдзи. Сегодня ворота Китакогути-МОН и Сторожевая башня Тануки Ягура-единственные сохранившиеся оригинальные сооружения.