Dvorac Angioino nalazi se istočno od grada i datira iz 14. stoljeća, iako je od tada doživjela značajne promjene, dopune i rekonstrukcije.
Prvi plan dvorca bio je četverokut, ali aragonci su zatim dodali zid s poligonalnim planom ojačanim cilindričnim kulama na uglovima. Ovaj je rad obavljen na projektu Sienskog arhitekta Francesca Di Giorgio Martini (1439-1501). Daljnji rad u španjolskom razdoblju uključuje izgradnju "vidikovca" kada je dvorac usvojio četverokutni oblik s vrhovima utvrđenim s četiri kule. Početkom XVI.stoljeća podignuta je peta okrugla kula za obranu od napada s mora. Dvorac je ostao nepromijenjen do druge polovice 19. stoljeća, kada je područje grada bilo prekriveno jarkom i pokopani lukovi koji podupiru most za dizanje.
Danas, dvorac Gallipoli još uvijek ima ovu četvrtastu bazu i četiri kule u kutovima: peti toranj u ljetnim mjesecima koristi se kao kino, a velike dvorane organiziraju izložbe i druge kulturne događaje.