Замок Івакуні був побудований в 1608 році, на початку періоду Едо. Місце для замку було вибрано через його природні оборонні переваги на вершині гори Широяма і наполовину оточеної природним ровом, річкою Нісікі. Замок має чотири поверхи у висоту і виходить на місто в 200 метрах внизу.
Ймовірно, джерело значного розчарування для тих, хто побудував його, первісний замок проіснував лише трохи довше, ніж треба було для його будівництва. Побудований протягом п'яти років, замок був зруйнований за указом сьогуна всього через сім років після його завершення.
Нинішня реконструкція датується 196 роком