Το κάστρο Iwakuni χτίστηκε το 1608, στην αρχή της περιόδου Edo. Ο χώρος του κάστρου επιλέχθηκε για τα φυσικά αμυντικά του πλεονεκτήματα στην κορυφή του όρους Σιρογιάμα και το μισό περιβάλλεται από μια φυσική τάφρο, τον ποταμό Νισίκι. Το κάστρο έχει ύψος τεσσάρων ορόφων και έχει θέα στην πόλη 200 μέτρα πιο κάτω.
Πιθανώς μια πηγή σημαντικής απογοήτευσης για εκείνους που το έχτισαν, το αρχικό κάστρο διήρκεσε μόνο λίγο περισσότερο από το χρόνο που χρειάστηκε για να το κατασκευάσει. Χτισμένο κατά τη διάρκεια πέντε ετών, το κάστρο κατεδαφίστηκε με διάταγμα του σογκούν μόλις επτά χρόνια μετά την ολοκλήρωσή του.
Η σημερινή ανακατασκευή χρονολογείται από το 196