E' considerato una delle ultime residenze volute dall'imperatore Federico II di Svevia in terra di Basilicata, realizzata tra il 1242 e il 1250. E' considerato un'imponente testimonianza di architettura fortificata medievale in cui suscita interesse la presenza di una cappella palatina, caso alquanto raro e singolare per una costruzione voluta dallo Stupor Mundi.
Nella sua forma odierna il fortilizio si presenta come un massiccio blocco rettangolare i cui ambienti, articolati su due piani, si distribuiscono intorno a due cortili, uno maggiore, sul quale si affacciano i saloni, le stanze di rappresentanza, adornate con splendidi capitelli raffiguranti la flora e la fauna del territorio circostante, e la chiesa, e uno minore, che accoglie nel mezzo il donjon che nell'antichità era destinato ad attività di servizio. L'aspetto attuale è frutto di numerosi rifacimenti e accrescimenti. Gli architetti svevi aggiunsero all'edificio di età normanna nell'ala nord una sala per l'ascolto della musica e alcuni camini, e una scala nell'ala ovest, mentre iniziarono ex novo l'edificazione del donjon, ultimo baluardo di difesa, nel cortile minore, utilizzando come materiale le pietre estratte da una cava realizzata nello stesso cortile.