Τα πρώτα Ιστορικά δεδομένα σχετικά με την τοποθεσία του Château de Villerouge-Termenès χρονολογούνται από τον 12ο αιώνα. Εκείνη την εποχή και μέχρι τη Γαλλική Επανάσταση, οι ισχυροί αρχιεπίσκοποι της Narbonne ήταν οι άρχοντες του κάστρου και του χωριού Villerouge - Termenès. Ακόμα κι έτσι, το κάστρο ήταν πολύ πολυπόθητο και κατέλαβε αρκετές φορές.
Πράγματι, το 1107, Ο Πάπας Pascal II έπρεπε να επιβεβαιώσει τον Αρχιεπίσκοπο Richard ως νόμιμο ιδιοκτήτη του Villerouge, το οποίο είχε καταληφθεί από τον Pierre de Peyrepertuse από το 1070. Ο τελευταίος έδωσε το κάστρο ως προίκα στην κόρη του όταν παντρεύτηκε τον Pierre Olivier de Termes. Μόνο το 1110 η οικογένεια Termes δέχτηκε τελικά να επιστρέψει το ακίνητο στον Αρχιεπίσκοπο της Narbonne.
Αλλά ο αγώνας μεταξύ των Λόρδων των Τερμών και των Αρχιεπισκόπων της Ναρμπόν δεν σταμάτησε τότε. Το 1227, Ο Πάπας Ονώριος Γ προέτρεψε τον κληρονόμο του να επιβεβαιώσει τα δικαιώματα του Αρχιεπισκόπου εναντίον του αρχηγού της Σταυροφορίας, Σιμόν ντε Μονφόρ, και του υποτελούς του, Αλέν ντε Ρουσί. Ο Simon de Montfort είχε δώσει τον τίτλο και τα υπάρχοντα των Termes στον de Roucy, ο οποίος απείλησε να αναλάβει και τον Villerouge.
Το χωριό συνδέεται στενά με την παρακμή της Εκκλησίας Cathar: το 1321, ο Guilhem Bélibaste, ο τελευταίος γνωστός Occitan Cathar perfectus, κάηκε ζωντανός στο Villerouge-Termenès. Ο Guilhem Bélibaste είχε μυηθεί στον καθαρισμό και έγινε perfectus ενώ κρυβόταν στην Καταλονία. Καθώς μόνο ο perfectii μπορούσε να μεταδώσει τη θρησκεία, με μια τελετή τοποθέτησης των χεριών, ο θάνατός του σήμαινε το τέλος της θρησκείας του Cathar.