O primeiro núcleo do castelo é uma estrutura megalítica, cujos restos são visíveis na base do Donjon Lombard. O desenvolvimento do complexo fortificado teve lugar na segunda metade do século X; o Conde Lombard Paldefredo e os seus sucessores reforçaram a fortaleza erguendo um recinto quadrangular com pelo menos duas torres. Com o advento dos normandos, o castelo e a aldeia sofreram grandes danos às mãos das tropas do rei Roger II de Altavilla.
Durante o período Angevin, foram construídos um fosso e três grandes torres circulares com uma base truncada de cone. Em 1443, com os Aragoneses, o castelo passou para a família Pandone. O Conde Francesco encomendou a ampliação do fosso e a construção de um barbicano crenelado, enquanto Enrico, no início do século XVI, transformou a estrutura numa residência, tendo a loggia, o jardim, e a importante decoração pictórica (1522 - 1527) retratando os melhores cavalos da sua famosa manada construída.
Depois da decapitação de Henrique por trair Carlos V, o feudo passou para outras famílias, incluindo os Lannoy, que fizeram mais alterações à arquitectura e decorações, acentuando o carácter residencial do castelo.