اولین داده های تاریخی مربوط به سایت ارمتو دو ویلروژ-ترمن مربوط به قرن 12 است. در همان زمان و تا زمان انقلاب فرانسه اسقف اعظم قدرتمند ناربون اربابان قلعه و روستای ویلروژ - ترمن ارگ بودند. با این حال, قلعه بسیار پرطرفدار بود و چندین بار اشغال.
در واقع در سال 1107 پاپ پاسکال دوم مجبور شد اسقف اعظم ریچارد را به عنوان صاحب حق ویلروژ تایید کند که از سال 1070 توسط پیر دو پیرپرتوز اشغال شده بود. دومی وقتی با پیر اولیویه دو ترمس ازدواج کرد قلعه را به عنوان جهیزیه به دخترش داد. فقط در سال 1110 است که سرانجام خانواده ترمز پذیرفتند که اموال را به اسقف اعظم ناربون برگردانند.
اما درگیری بین اربابان ترمه و اسقف اعظم ناربون متوقف نشد. که در 1227, پاپ هونوریوس سوم لگات خود خواست به اعلام حقوق اسقف اعظم در برابر فرمانده جنگ صلیبی, سیمون دو مونتفورت, و رعیت خود, الین دو روسی. سیمون دو مونتفورت عنوان و دارایی های ترمه را به دو روسی داده بود که تهدید کرد ویلروژ را نیز تصرف خواهد کرد.
این روستا با زوال کلیسای کاتار ارتباط تنگاتنگی دارد: در سال 1321 گیلهم ارملیباست کاتار پرفکتوس اکسیتان شناخته شده در ویلروژ ترمن زنده سوزانده شد. گیلهم ب ارملیباست شروع به کاتاریسم کرده بود و هنگام مخفی شدن در کاتالونیا به یک پرفکتوس تبدیل شد. همانطور که تنها کمال می تواند دین انتقال, توسط یک مراسم تخمگذار در دست, مرگ او به معنای پایان دین کاتار.
