El Palazzo Ducale va ser construït per Petracone V Caracciolo 1668, en el lloc on antigament hi havia un castell medieval construïda en 1388, per Raimondo Orsini del Balzo, princep de Taranto i comte de Lecce i Martina. El projecte d'el palau va ser obra de l'arquitecte Giovanni Andrea Carducci i aprovat per Gianlorenzo Bernini.
El Palazzo Ducale és ara la seu de l'Ajuntament de Martina Franca de barcelona i la Biblioteca Municipal. Dins strovano ricament decorades, que es pot visitar.