Chateau de Villerouge-Termenès'in bulunduğu yerle ilgili ilk tarihsel veriler 12. yüzyıla tarihlenmektedir. O dönemde ve Fransız Devrimi'ne kadar Narbonne'un güçlü başpiskoposları Villerouge- Termenès kalesinin ve köyünün efendileriydi. Öyle olsa bile, kale çok imrenildi ve birkaç kez işgal edildi.
Gerçekten de, 1107'de Papa Pascal II, Başpiskopos Richard'ı, 1070'den beri Pierre de Peyrepertuse tarafından işgal edilen Villerouge'un hak sahibi olarak onaylamak zorunda kaldı. İkincisi, Pierre Olivier de Termes ile evlendiğinde kaleyi kızına çeyiz olarak verdi. Sadece 1110'da Termes ailesi nihayet mülkü Narbonne Başpiskoposuna iade etmeyi kabul etti.
Ancak Termes lordları ile Narbonne Başpiskoposları arasındaki mücadele o zaman durmadı. 1227'de Papa III. Honorius, Başpiskoposun Haçlı Seferi şefi Simon de Montfort ve vasalı Alain de Roucy'ye karşı haklarını onaylaması için yasasını çağırdı. Simon de Montfort, Villerouge'u da ele geçirmekle tehdit eden Termes'in unvanını ve mülkünü de Roucy'ye vermişti.
Köy, Cathar kilisesi'nin çöküşüyle yakından bağlantılıdır: 1321'de, bilinen son Oksitanca Cathar perfectus olan Guilhem Bélibaste, Villerouge-Termenès'te diri diri yakıldı. Guilhem Bélibaste Katarizme girişmişti ve Katalonya'da saklanırken mükemmel bir insan olmuştu. Dini ancak perfectii aktarabildiği gibi, el ele verme töreniyle ölümü Katar dininin sonu anlamına geliyordu.
