El castillo de Angioino está al este de la ciudad y data del siglo XIV, aunque desde entonces ha sufrido grandes cambios, adiciones y renovaciones.
El primer plano del castillo era cuadrangular, pero los aragoneses añadieron entonces una muralla de planta poligonal, fortificada con torres cilíndricas en las esquinas. Esta obra se realizó según el diseño del arquitecto sienés Francesco di Giorgio Martini (1439-1501). Otras obras en la época española incluyen la construcción de la "Torre de Vigilancia", cuando el Castillo tomó una forma cuadrangular con cumbres reforzadas por cuatro torres. A principios del siglo XVI se construyó una quinta torre circular para defenderse de los ataques del mar. El castillo permaneció sin cambios hasta la segunda mitad del siglo XIX cuando, en la zona hacia la ciudad, se rellenó el foso y se enterraron los arcos que sostenían el puente levadizo.
Hoy en día, el Castillo de Gallipoli todavía tiene esta base cuadrada y cuatro torres en las esquinas: la quinta torre, durante los meses de verano, se utiliza como sala de cine, mientras que en las grandes salas se organizan exposiciones y otros eventos culturales.