Dvorac Ozu stoji na brežuljku uz rijeku Hijikawa u sjeverozapadnom dijelu grada Ozu. Dvorac potječe iz 1300-ih, a tijekom godina se nekoliko puta obnovio nakon uništavanja požara, kao i prirodnih i umjetnih katastrofa. Sadašnji dvorac je rekonstruiran u fazama od 1950-ih, a 2004. godine rekonstrukcija glavnog dvorca konačno je završena. Za razliku od mnogih drugih dvoraca koji su obnovljeni u prošlom stoljeću pomoću armiranog betona, glavni toranj dvorca Ozu izgrađen je uglavnom od drveta i tradicionalnih građevinskih tehnologija. Kao rezultat toga, izgleda blizu izvornog dvorca, ne samo izvana nego i iznutra.