Castelul Ozu se află pe un deal de râul Hijikawa, în partea de nord-vest a centrului orașului Ozu. Castelul își are originile în anii 1300 și a fost reconstruit de câteva ori de-a lungul anilor după distrugerea prin foc, precum și dezastre naturale și provocate de om. Castelul actual a fost reconstruit în etape începând cu anii 1950, iar în 2004 reconstrucția păstrării principale a fost finalizată în cele din urmă. Spre deosebire de multe alte castele care au fost reconstruite în secolul trecut folosind beton armat, păstrarea principală a castelului Ozu a fost lucrată în principal cu lemn și tehnici tradiționale de construcție. Ca rezultat, se pare aproape de castelul original, nu numai din exterior, ci și în interior.