Першыя гістарычныя звесткі аб месцы размяшчэння замка Виллруж-Терменес датуюцца 12 стагоддзем. У той час і аж да Французскай рэвалюцыі магутныя арцыбіскупы Нарбоны былі лордамі замка і вёскі Виллруж-Терменес. Тым не менш, замак быў вельмі жаданым і некалькі разоў займаўся.
Сапраўды, у 1107 годзе папе Паскалю II прыйшлося зацвердзіць арцыбіскупа Рычарда законным уладальнікам Виллружа, які з 1070 года займаў П'ер дэ Пейрепертюз. Апошні падарыў замак у якасці пасагу сваёй дачкі, калі яна выйшла замуж за П'ера Аліўе дэ Термеса. Толькі ў 1110 годзе сям'я Термес нарэшце пагадзілася вярнуць ўласнасць арцыбіскупу Нарбоны.
Але барацьба паміж лордамі тэрма і арцыбіскупамі Нарбоны на гэтым не спынілася. У 1227 годзе папа Ганарый III заклікаў свайго легата пацвердзіць правы арцыбіскупа супраць кіраўніка крыжовага паходу Сымона дэ Монфора і яго васала Алёна дэ Русі. Сымон дэ Монфор перадаў тытул і валодання Тэрма дэ Русі, які пагражаў таксама захапіць Виллруж.
Вёска цесна звязана з заняпадам царквы катараў: у 1321 Гільем Белибаст, апошні вядомы правансальская дасканалы катар, быў спалены жыўцом у Виллеруж-Терменесе. Гільем Белібаст быў прысвечаны ў катарызм і стаў дасканалым, хаваючыся ў Каталоніі. Паколькі толькі перфекции маглі перадаваць рэлігію з дапамогай цырымоніі ўскладання рук, яго смерць азначала канец рэлігіі катараў.