Het kasteel Iwakuni werd gebouwd in 1608, aan het begin van de Edo periode. De plaats van het kasteel werd gekozen om zijn natuurlijke defensieve voordelen op de top van de berg Shiroyama en half omringd door een natuurlijke gracht, de Nishiki rivier. Het kasteel is vier verdiepingen hoog,en kijkt uit op de stad 200 meter onder.
Waarschijnlijk een bron van grote frustratie voor degenen die het gebouwd, het oorspronkelijke kasteel duurde slechts iets langer dan de tijd die nodig was om het te bouwen. In de loop van vijf jaar werd het kasteel bij decreet van de shogun afgebroken, slechts zeven jaar na de voltooiing ervan.
De huidige wederopbouw dateert van 196