טירת אלדו נבנתה לראשונה על ידי האלמורבידים במאה ה-11. טירת המורי הזאת נבנתה על גשר למרגלות הרי סיירה אספוניה (Sierra Espuña), בגובה 125 מטרים מעל עמק גוודלנטין (Guadalentin valley). בשנת 1088, אציל קסטיליה גארסיה חימנז כבש את הטירה תוך ניצול הבלבול המוסלמי לאחר נפילת טולדו בשנת 1085. דבר זה עורר התערבות של הכליף אלמורביד. לאחר שלושה מצורים כושלים, עדיין נטשו קסטיליאנים את הטירה, בשל קשיים בשמירה על הגנתה, והטירה נפלה שוב לידיהם של האלמורבידים. בסוף המאה ה-13, אלדו נכבשה שוב על ידי הנוצרים. לאחר מכן הם בנו מחדש את הטירה. גובהו של ה-20 מטרים, הריבוע שומר את מה שנשאר היום, מתוארך לאותו זמן. שאר הטירה, קירות המסך והמגדלים שלה נעלמו.
