Dvorac Iwakuni izgrađen je 1608. godine, početkom razdoblja Edo. Mjesto za dvorac odabrano je zbog svojih prirodnih obrambenih prednosti na vrhu planine Shiroyama i pola okružen prirodnim jarkom, rijekom Nisiki. Dvorac je visok četiri etaže i gleda na grad na 200 metara ispod.
Vjerojatno je izvor značajne frustracije za one koji su ga izgradili bila činjenica da je izvorni dvorac trajao samo malo duže nego što je trebalo za izgradnju. Izgrađen pet godina, dvorac je uništen prema shogunovoj dekretu samo sedam godina nakon završetka.
Sadašnja rekonstrukcija datira iz 196. godine