Замак Нидзе быў пабудаваны ў 1603 годзе як рэзідэнцыя ў Кіёта Такугава Иэясу, першага сягун перыяду Эдо (1603-1867). Яго ўнук Иэмицу дабудаваў палацавыя будынкі замка 23 гады праз і яшчэ больш пашырыў замак, дадаўшы пяціпавярховую замкавую вежу.
Пасля падзення сегуната Такугава ў 1867 годзе замак Нидзе некаторы час выкарыстоўваўся як Імператарскі палац, а затым быў падораны гораду і адкрыты для публікі як гістарычнае месца. Яго палацавыя будынкі, магчыма, з'яўляюцца лепшымі захаваліся ўзорамі Замкавай палацавай архітэктуры феадальнай эпохі Японіі, і ў 1994 годзе замак быў унесены ў спіс Сусветнай спадчыны ЮНЕСКА.