Az Iwakuni kastély 1608-ban épült, az Edo-korszak elején. A kastély helyét a Shiroyama-hegy tetején lévő természetes védelmi előnyeire választották, felét pedig egy természetes árok, a Nishiki folyó veszi körül. A várkastély négyemeletes, és 200 méter mélyre néz a városra.
Valószínűleg jelentős frusztráció forrása azok számára, akik építették, az eredeti kastély csak kissé hosszabb ideig tartott, mint az építéshez szükséges idő. Öt év alatt épült, a várat a sógun rendeletével lebontották, mindössze hét évvel a befejezése után.
A jelenlegi rekonstrukció 196-ból származik