Palazzo Ducale postavil Petracone V Caracciolo v roku 1668 na mieste, kde kedysi stál stredoveký hrad postavený v roku 1388, Raimondo Orsini del Balzo, knieža Taranta a gróf Lecce a Martina. Projekt paláca bol dielom architekta Giovanniho Andrea Carducciho a schválil ho Gianlorenzo Bernini.
Palazzo Ducale je dnes sídlom radnice Martina Franca a mestskej knižnice. Vnútri strovano bohato zariadené izby, ktoré môžete navštíviť.