Ozu loss seisab mäel hijikawa jõe ääres Ozu kesklinna loodeosas. Loss on oma päritolu 1300, ja see oli ümberehitatud paar korda aastate jooksul pärast hävitamist tulekahju, samuti looduslike ja inimeste põhjustatud katastroofide. Praegust lossi on rekonstrueeritud etappidena alates 1950. aastatest ning 2004. aastal lõpetati lõplikult peahoone rekonstrueerimine. Erinevalt paljudest teistest lossid, mis olid ümberehitatud eelmisel sajandil kasutades ferro betooni, peamine hoida Ozu Castle oli meisterdatud peamiselt puidu ja traditsiooniliste ehitustehnikate. Selle tulemusena tundub see algse lossi lähedal mitte ainult väljastpoolt,vaid ka seestpoolt.