Carska palača je najvažniji civilni spomenik u gradu. Sagrađena je u prvoj polovici 18. stoljeća, s ulazom okrenutim prema Piazza Grande (danas Piazza Garibaldi) i time je pridonijela promjeni urbanističkog uređenja grada koji se postupno širio duž današnjeg Corsa XX. Settembre. Palača je sagrađena po narudžbi Michelea Imperialija, plemića genovskog podrijetla, koji je, nakon što je kupio feude obližnjih gradova Francavilla, Oria, Avetrana i time Manduria, dao sagraditi vlastitu palaču u svakom od tih središta. Ona u Manduriji izgrađena je kao lovačka kuća, najvjerojatnije prema projektu arhitekta Maura Manierija iz Leccesea. Izvana ima veliko pročelje s tri etaže, odvojene robusnim balkonom koji je također okružen originalnom željeznom ogradom. Na uglovima pročelja nalaze se dva grba uokvirena kartušama s heraldičkim grbovima carskih obitelji. U unutrašnjosti palače nalazi se karakterističan atrij, gdje je carski princ u toplim ljetnim večerima ugošćavao goste.
