O Castelo Angioino fica a leste da cidade e data do século XIV, embora tenha sofrido grandes mudanças, adições e renovações desde então.
O primeiro plano do castelo foi quadrângulo, mas os Aragoneses então adicionaram uma parede com um plano poligonal, fortificado com torres cilíndricas nos cantos. Este trabalho foi realizado com o projeto do arquiteto Sienês Francesco di Giorgio Martini (1439-1501). Outros trabalhos na era espanhola incluem a construção da "Torre de Vigia", quando o Castelo tomou uma forma quadrangular com Cumes reforçados por quatro torres. Uma quinta torre circular foi então erguida para se defender contra ataques do mar no início do século XVI. O castelo permaneceu inalterado até a segunda metade do século XIX, quando, na área em direção à cidade, o fosso foi preenchido e os arcos que apoiavam a ponte levadiça foram enterrados.
Hoje, o Castelo de Gallipoli ainda tem esta base quadrada e quatro torres nos cantos: a quinta torre, durante os meses de verão, é usada como um teatro de cinema, enquanto exposições e outros eventos culturais são organizados nos grandes salões.