Первые исторические сведения о месте расположения замка Виллруж-Терменес датируются 12 веком. В то время и вплоть до Французской революции могущественные архиепископы Нарбонны были лордами замка и деревни Виллруж-Терменес. Тем не менее, замок был очень желанным и несколько раз занимался.
Действительно, в 1107 году папе Паскалю II пришлось утвердить архиепископа Ричарда законным владельцем Виллружа, который с 1070 года занимал Пьер де Пейрепертюз. Последний подарил замок в качестве приданого своей дочери, когда она вышла замуж за Пьера Оливье де Термеса. Только в 1110 году семья Термес наконец согласилась вернуть собственность архиепископу Нарбонны.
Но борьба между лордами Терма и архиепископами Нарбонны на этом не прекратилась. В 1227 году папа Гонорий III призвал своего легата подтвердить права архиепископа против главы крестового похода Симона де Монфора и его вассала Алена де Руси. Симон де Монфор передал титул и владения Терма де Руси, который угрожал также захватить Виллруж.
Деревня тесно связана с упадком церкви катаров: в 1321 году Гильем Белибаст, последний известный окситанский совершенный катар, был сожжен заживо в Виллеруж-Терменесе. Гильем Белибаст был посвящен в катаризм и стал совершенным, скрываясь в Каталонии. Поскольку только перфекции могли передавать религию посредством церемонии возложения рук, его смерть означала конец религии катаров.