A Palazzo Ducale foi construído por Petracone V Caracciolo en 1668, no lugar onde antes había un castelo medieval construído en 1388, por Raimondo Orsini del Balzo, príncipe de Taranto e conde de Lecce e Martina. O proxecto do palacio foi obra do arquitecto Giovanni Andrea Carducci e aprobado por Gianlorenzo Bernini.
A Palazzo Ducale é agora a sede do Concello de Martina Franca e a Biblioteca Municipal. Dentro strovano ricamente decorados que podes visitar.