Pałac Dożów został zbudowany przez Petracone V Caracciolo w 1668 roku, w miejscu, w którym stał starożytny średniowieczny zamek zbudowany w 1388 roku przez Raimondo Orsiniego Del Balzo, księcia Taranto i hrabiego Lecce i Martina. Projekt pałacu został zaprojektowany przez architekta Giovanniego Andreę Carducciego i zatwierdzony przez Gianlorenzo Berniniego.
Palazzo Ducale jest dziś domem dla ratusza Martina-Franca i biblioteki miejskiej. Wewnątrz strovano znajdują się bogato zdobione sale, które można odwiedzić.