Le Palais Ducal a été construit par Petracone V Caracciolo en 1668, sur le site d'un ancien château médiéval construit en 1388 par Raimondo Orsini del Balzo, prince de Tarente et comte de Lecce et Martina. Le palais a été conçu par l'architecte Giovanni Andrea Carducci et approuvé par Gianlorenzo Bernini.
Le Palais Ducal est aujourd'hui le siège de l'Hôtel de Ville de Martina Franca et de la Bibliothèque Municipale. À l'intérieur du strovano, on peut visiter des pièces richement décorées.