Het kasteel werd gebouwd in 1602 aan het begin van de Edo periode. Het kasteel werd verwoest door brand in 1866, en de huidige kasteel toren is een ferro-beton reconstructie van 1959. De traditionele architectuur van het kasteel biedt een interessant visueel contrast met het naburige moderne winkelcentrum en entertainment center.
De kasteelgronden staan nu bekend als Katsuyama Park en zijn een populaire kersenbloesem spot die meestal in bloei rond begin April. De kasteelkasteel lijkt vier verdiepingen van buiten te hebben, maar heeft eigenlijk vijf verdiepingen van binnen. Het moderne interieur introduceert de lokale geschiedenis met displays, een interactieve zone en een klein theater waar bezoekers een praktische en visuele ervaring van het verleden kasteel leven. De bovenste verdieping van het kasteel biedt een panoramisch uitzicht over de stad.
