O Angioino castelo está ao leste da cidade e data do século 14, aínda que sufriu grandes cambios, adicións e renovacións xa.
O primeiro plan do castelo foi cuadrilátero, pero o Aragonés, a continuación, engade unha parede con unha poligonal plan, enriquecidos con torres nas esquinas. Este traballo foi realizado para o proxecto de Siena arquitecto Francesco di Giorgio Martini (1439-1501). Máis obras en español idade inclúen a construción de 'Torre de Vixía', cando o Castelo tomou unha forma cuadrangular con cumes reforzada por catro torres. Un quinto torre circular a continuación, foi erguido para defenderse contra os ataques do mar, a principios do século 16. O castelo permaneceu inalterado ata a segunda metade do século 19, cando, na área cara a cidade, o foxo era cuberto e os arcos que apoiou a ponte levadiza foron enterrados.
Hoxe, Gallipoli Castelo aínda ten esta base cadrada e catro torres nas esquinas: a torre de quinta, durante os meses de verán, é usado como unha película de teatro, mentres exposicións e outros eventos culturais organízanse en salas grandes.