Les primeres dades històriques relatives al lloc De Châ De Villerouge-Termenè daten del segle 12. En aquell moment i fins a la Revolució francesa, Els poderosos arquebisbes De Narbona eren els senyors del castell i poble De Villerouge - Termenè. Tot i això, el castell va ser molt cobejat i ocupat diverses vegades.
De Fet, El 1107, El Papa Pascal II va haver de confirmar A L'Arquebisbe Ricard com a legítim propietari De Villerouge, que havia estat ocupat Per Pierre De Peyrepertuse des de 1070. Aquest últim va donar el castell com dot a La seva filla quan es va casar Amb Pierre Olivier de Termes. No va ser fins al 1110 que la família Termes finalment va acceptar retornar la propietat a L'Arquebisbe De Narbona.
Però la lluita entre els senyors De Termes i Els Arquebisbes De Narbona no es va aturar llavors. El 1227, El Papa Honori III va instar el seu llegat a confirmar els drets De l'Arquebisbe contra El cap De La Croada, Simó De Montfort, i el seu vassall, Alain de Roucy. Simó De Montfort havia donat El títol i les possessions De Termes a De Roucy, que amenaçava De fer-se Càrrec De Villerouge.
El poble està estretament lligat a la decadència De l'església Càtara: El 1321, Guilhem Bé, l'últim Càtar occità conegut perfectus, va ser cremat viu a Villerouge-Termenè. Guilhem Bé s'havia iniciat en El Catarisme i es va convertir en un perfectus mentre s'amagava a Catalunya. Com només perfectii podia transmetre la religió, amb una cerimònia d'imposició de mans, la seva mort va significar la fi de la religió Càtara.