Перші історичні відомості про місце розташування замку Віллуж-Терменес датуються 12 століттям. У той час і аж до Французької революції могутні архієпископи Нарбонни були лордами замку і села Віллруж-Терменес. Тим не менш, замок був дуже бажаним і кілька разів займався.
Дійсно, в 1107 році Папі Паскалю II довелося затвердити архієпископа Річарда законним власником віллу, який з 1070 року займав П'єр де Пейрепертюз. Останній подарував замок як придане своїй дочці, коли вона вийшла заміж за П'єра Олів'є де Термеса. Тільки в 1110 році сім'я Термес нарешті погодилася повернути власність архієпископу Нарбонни.
Але боротьба між лордами Терма і архієпископами Нарбонни на цьому не припинилася. У 1227 році папа Гонорій III закликав свого легата підтвердити права архієпископа проти глави хрестового походу Симона де Монфора і його васала Алена де Русі. Симон де Монфор передав титул і володіння Терма де Русі, який погрожував також захопити Віллуж.
Село тісно пов'язане з занепадом церкви катарів: у 1321 році Гільєм Белібаст, останній відомий окситанський досконалий катар, був спалений живцем у Віллеруж-Терменесі. Гільєм Белібаст був посвячений в катаризм і став досконалим, ховаючись в Каталонії. Оскільки тільки перфекції могли передавати релігію за допомогою церемонії покладання рук, Його смерть означала кінець релігії катарів.