Prvé historické údaje týkajúce sa lokality Château de Villerouge-Termenès pochádzajú z 12.storočia. V tom čase a až do francúzska revolúcia, narbonniní mocní arcibiskupi boli pánmi hradu a dediny Villerouge - Termenès. Aj napriek tomu bol hrad veľmi vyhľadávaný a niekoľkokrát obsadený.
V roku 1107 musel pápež Pascal II potvrdiť arcibiskupa Richarda ako oprávneného majiteľa Villerouge, ktorý bol obsadený Pierre de Peyrepertuse od roku 1070. Ten dal hrad ako veno svojej dcére, keď sa vydala Pierre Olivier de Termes. Až v roku 1110 Rodina Termesovcov konečne prijala vrátenie majetku arcibiskupovi z Narbonne.
Ale boj medzi pánmi z Termes a Arcibiskupmi z Narbonne sa vtedy nezastavil. V roku 1227 pápež Honorius III vyzval svojho legáta, aby potvrdil arcibiskupove práva proti náčelníkovi križiackej výpravy, Simon de Montfort, a jeho vazal, Alain de Roucy. Simon de Montfort dal titul a majetok Termes de Roucymu, ktorý hrozil, že prevezme aj Villerouge.
Obec je úzko spojená s úpadkom katarského kostola: v roku 1321 Guilhem Bélibaste, posledný známy Occitan Cathar perfectus, bol upálený zaživa vo Villerouge-Termenès. Guilhem Bélibaste bol zasvätený do Katarizmu a stal sa dokonalým, keď sa skrýval v Katalánsku. Pretože iba perfectii mohol prenášať náboženstvo, obradom kladenia rúk znamenala jeho smrť koniec katarského náboženstva.
