De eerste kern van het kasteel is een megalithisch bouwwerk, waarvan de resten zichtbaar zijn aan de voet van de Lombardische donjon. De ontwikkeling van het versterkte complex vond plaats in de tweede helft van de 10e eeuw; de Lombardische graaf Paldefredo en zijn opvolgers versterkten de vesting door de bouw van een vierhoekige omheining met minstens twee torens. Met de komst van de Noormannen werden het kasteel en het dorp zwaar beschadigd door de troepen van koning Roger II van Altavilla.
Tijdens de Angevin-periode werden een gracht en drie grote ronde torens met een afgeknotte kegelbasis gebouwd. In 1443, met de Aragonese, ging het kasteel over naar de familie Pandone. Graaf Francesco liet de gracht vergroten en een gekanteelde barbican bouwen, terwijl Enrico, in het begin van de 16e eeuw, het bouwwerk omvormde tot woonhuis en de loggia, de tuin en de belangrijke picturale decoratie (1522 - 1527) met de beste paarden van zijn beroemde kudde liet bouwen.
Na de onthoofding van Hendrik wegens verraad aan Karel V ging het leengoed over op andere families, waaronder de Lannoy, die de architectuur en de decoratie verder wijzigden en het residentiële karakter van het kasteel accentueerden.