Castelul Iwakuni a fost construit în 1608, la începutul perioadei Edo. Locul castelului a fost ales pentru avantajele sale defensive naturale pe vârful muntelui Shiroyama și pe jumătate înconjurat de un șanț natural, râul Nishiki. Castelul keep are patru etaje înălțime și privește spre oraș la 200 de metri mai jos.
Probabil o sursă de frustrare considerabilă pentru cei care l-au construit, castelul original a durat doar puțin mai mult decât timpul necesar pentru a-l construi. Fiind construit pe parcursul a cinci ani, castelul a fost dărâmat prin decret al shogunului la doar șapte ani de la finalizarea sa.
Reconstrucția actuală datează din 196