Palazzo Ducale var bygget af Petracone V Caracciolo i 1668, på det sted, hvor der engang stod en middelalderlig borg bygget i 1388, ved Raimondo Orsini del Balzo, fyrste af Taranto og greve af Lecce og Martina. Paladsets projekt var arbejdet hos arkitekten Giovanni Andrea Carducci og godkendt af Gianloren .o Bernini.
Palazzo Ducale er nu sæde for rådhuset i Martina Franca, og det Kommunale Bibliotek. Inde strovano rigt indrettede værelser, som du kan besøge.