Замок нідзе був побудований в 1603 році як резиденція в Кіото Токугави Іеясу, першого сьогуна періоду Едо (1603-1867). Його онук Іеміцу добудував палацові будівлі замку 23 роки по тому і ще більше розширив замок, додавши п'ятиповерхову замкову вежу.
Після падіння сьогунату Токугава в 1867 році замок нідзе деякий час використовувався як Імператорський палац, а потім був подарований місту і відкритий для публіки як історичне місце. Його палацові будівлі, можливо, є найкращими збереженими зразками замкової палацової архітектури японської феодальної епохи, і замок був оголошений об'єктом Всесвітньої спадщини ЮНЕСКО в 1994 році.