I primi dati storici riguardanti il sito di Château de Villerouge-Termenès risalgono al XII secolo. A quell'epoca e fino alla rivoluzione francese, i potenti arcivescovi di Narbonne erano i signori del castello e del villaggio di Villerouge-Termenès. Anche così, il castello fu molto ambito e occupato più volte.
Infatti, nel 1107, il papa Pascal II dovette confermare l'arcivescovo Richard come legittimo proprietario di Villerouge, che era stato occupato da Pierre de Peyrepertuse dal 1070. Quest'ultimo ha dato il castello in dote a sua figlia quando ha sposato Pierre Olivier de Termes. È solo nel 1110 che la famiglia Termes accetta finalmente di restituire la proprietà all'arcivescovo di Narbonne.
Ma la lotta tra i signori di Termes e gli arcivescovi di Narbonne non si fermò allora. Nel 1227, papa Onorio III sollecitò il suo legato a confermare i diritti dell'arcivescovo contro il capo della crociata, Simon de Montfort, e il suo vassallo, Alain de Roucy. Simon de Montfort aveva dato il titolo e i possedimenti di Termes a de Roucy, che minacciava di impadronirsi anche di Villerouge.
Il villaggio è strettamente legato al declino della chiesa catara: nel 1321, Guilhem Bélibaste, l'ultimo perfectus cataro occitano conosciuto, fu bruciato vivo a Villerouge-Termenès. Guilhem Bélibaste era stato iniziato al catarismo, e divenne un perfectus mentre era nascosto in Catalogna. Poiché solo i perfectii potevano trasmettere la religione, con una cerimonia di imposizione delle mani, la sua morte significò la fine della religione catara.
