Il primo nucleo del castello è una struttura megalitica, i cui resti sono visibili alla base del mastio longobardo. Lo sviluppo del complesso fortificato si ebbe nella seconda metà del X secolo; il conte longobardo Paldefredo e i suoi successori potenziarono la fortezza con l’elevazione di un recinto quadrangolare con almeno due torrioni. Con l’avvento dei Normanni, il castello e il borgo subirono ingenti danni per opera delle truppe di re Ruggero II d’Altavilla.
Nel periodo angioino furono realizzati un fossato e le tre grandi torri circolari a base tronco-conica. Nel 1443, con gli aragonesi, il castello passò alla famiglia Pandone. Il conte Francesco commissionò l’ampliamento del fossato e la costruzione di una braga merlata, mentre Enrico, all’inizio del Cinquecento, trasformò la struttura in residenza, facendo realizzare il loggiato, il giardino, e l’importante decorazione pittorica (1522 – 1527) raffigurante i migliori cavalli del suo famoso allevamento.
Dopo la decapitazione di Enrico per il tradimento verso Carlo V, il feudo passò ad altre famiglie tra cui i Lannoy, che apportarono ulteriori modifiche all’architettura e alle decorazioni, accentuando il carattere residenziale del castello.