Alcazaba, tvirtovė, yra viena iš seniausių Alhambros dalių, kaip ir vermiliono bokštai (Torres Bermejas). Manoma, kad prieš tai, kai jis buvo pastatytas ir kol musulmonai atvyko į Granadą, toje pačioje vietovėje jau buvo kelios konstrukcijos. Pirmoji istorinė nuoroda į "Alcazaba" egzistavimą prasidėjo nuo 9-ojo amžiaus ir manoma, kad tada jis buvo pastatytas Sawwar ben Hamdun per muštynes tarp musulmonų ir muwalladins [krikščionių, kurie atsivertė į islamą ir gyveno tarp musulmonų].
Dabartinį kompleksą pastatė Mohamedas I, kuris pastatė pylimus aplink ankstesnę pilį, gynybą ir tris naujus bokštus: skaldytą bokštą (Torre Quebrada), saugyklą (Torre del Homenaje) ir laikrodžio bokštą (Torre de la Vela). Dėl to Alcazaba tapo tikra tvirtove, kur karalius įkūrė karališkąją rezidenciją. Jo sūnus Mohammedas II taip pat turėjo savo gyvenamąją vietą Alcazaboje, kol rūmai buvo baigti. Nuo tada Alcazaba buvo naudojama tik kaip tvirtovė kariniams tikslams.
Kai krikščionys paėmė miestą, jie atliko daug darbų alcazabos remontui. Įvairiais savo istorijos momentais, ilgą laiką jis buvo naudojamas kaip Valstybinis kalėjimas, net ir Prancūzijos okupacijos metu.
Kaip ir Alhambra, Alcazaba buvo apleista ir ilgą laiką nebuvo rūpinamasi, ir tai buvo ne iki 19-ojo amžiaus pabaigos ir 20-ojo amžiaus pradžioje, kad restauravimo, žvalgymo ir santechnikos darbai buvo pradėti.