Dvorac Aledo prvi put su izgradili Almoravidi u 11. stoljeću. Ovaj maurski dvorac izgrađen je na rtu u južnom podnožju Sierra Espunya, koji se diže 125 metara iznad doline Guadalentina. Godine 1088., Kastiljski plemić Garcia Jimenez zarobio je dvorac iskorištavanjem zbunjenog muslimana nakon pada Toleda 1085.godine. To je izazvalo intervenciju Almoravid Khalifa. Nakon tri neuspješne opsade, kastilanci su i dalje ostavili dvorac zbog poteškoća u održavanju svoje obrane, a dvorac je ponovno ušao u ruke Almoravida. Krajem XIII stoljeća, Aledo je ponovno osvojio Kršćani. Zatim su obnovili dvorac. 20 metara kvadratni toranj, koji je danas sačuvan, datira iz vremena. Ostatak dvorca, njegovi zglobni zidovi i tornjevi nestali su.
