Замак Хирадо стаіць на ўзгорку, ахоўваючы порт Хирадо і праліў Хирадо, які калісьці быў часткай важнага гандлёвага шляху паміж Японіяй і мацерыковай Азіяй. Першапачатковая крэпасць была пабудавана ў 1599 годзе мясцовым уладыкам Мацура, аднак ён разбурыў яе пасля бітвы з Такугавай на прайграў баку бітвы пры Сэкигахаре ў знак вернасці пераможцу. Клан Мацура працягваў правіць Хирадо на працягу наступных двух з паловай стагоддзяў.Новы замак (таксама вядомы як замак Камеока) быў пабудаваны на гэтым месцы сто гадоў праз, у 1718 годзе, як частка берагавой абароны, збудаванай падчас добраахвотнага адзіноты Японіі ў перыяд Эдо. Гэта збудаванне прастаяла больш за 150 гадоў, але ў рэшце рэшт прыйшло ў непрыдатнасць і было дэмантавана ў перыяд Мэйдзі. Сёння вароты Китакогути-МОН і вартаўнічая вежа Тануки Ягур-адзіныя захаваліся арыгінальныя збудаванні.
