Castelul Angioino este la est de oraș și datează din secolul al 14-lea, deși a suferit modificări majore, completări și renovări, deoarece.
Primul plan al castelului a fost patrulater, dar aragonezii au adăugat apoi un zid cu un plan poligonal, fortificat cu turnuri cilindrice la colțuri. Această lucrare a fost realizată la proiectarea arhitectului sienez Francesco di Giorgio Martini (1439-1501). Alte lucrări din epoca spaniolă includ construirea "Turnului de veghe", când castelul a luat o formă patrulateră, cu vârfuri întărite de patru turnuri. Un al cincilea turn circular a fost apoi ridicat pentru a apăra împotriva atacurilor din mare la începutul secolului al XVI-lea. Castelul a rămas neschimbat până în a doua jumătate a secolului al XIX-lea, când, în zona spre oraș, șanțul a fost umplut și arcadele care susțineau Podul au fost îngropate.
Astăzi, Castelul Gallipoli are încă această bază pătrată și patru turnuri la colțuri: al cincilea turn, în timpul lunilor de vară, este folosit ca cinematograf, în timp ce expozițiile și alte evenimente culturale sunt organizate în sălile mari.