El primer núcleo del castillo es una estructura megalítica, cuyos restos son visibles en la base del torreón lombardo. El desarrollo del complejo fortificado tuvo lugar en la segunda mitad del siglo X; el conde lombardo Paldefredo y sus sucesores reforzaron la fortaleza levantando un recinto cuadrangular con al menos dos torres. Con la llegada de los normandos, el castillo y el pueblo sufrieron grandes daños a manos de las tropas del rey Roger II de Altavilla.
Durante el periodo angevino se construyeron un foso y tres grandes torres circulares con base troncocónica. En 1443, con los aragoneses, el castillo pasó a la familia Pandone. El conde Francesco encargó la ampliación del foso y la construcción de una barbacana almenada, mientras que Enrico, a principios del siglo XVI, transformó la estructura en una residencia, haciendo construir la logia, el jardín y la importante decoración pictórica (1522 - 1527) que representa a los mejores caballos de su famosa manada.
Tras la decapitación de Enrique por traición a Carlos V, el feudo pasó a otras familias, entre ellas los Lannoy, que realizaron nuevas modificaciones en la arquitectura y la decoración, acentuando el carácter residencial del castillo.