Chateau de la Brède scheint aus den Seiten eines Märchens zu treten. Sein berühmtester ehemaliger Besitzer war der französische Philosoph und Schriftsteller Charles-Louis de Secondat aus dem 18. Jahrhundert, bekannt als Montesquieu.Montesquieu, ein großer politischer Denker im Zeitalter der Aufklärung, wurde in La Brède geboren und wuchs dort auf, bis er im Alter von 11 Jahren zum Studium nach Paris geschickt wurde. Nach dem Tod seines Vaters erbte er ein riesiges Vermögen und die Baronie von La Brède, die natürlich schon vor Montesquieu eine lange Geschichte hatte. Zum ersten Mal wurde es 1079 erwähnt, als der Herr von La Brède ein Duell mit einem Mann namens Hernandes, dem Meister der Armee Navarras, austrug. Damals hätte es sich bei dem Gebäude um eine befestigte Holzkonstruktion gehandelt, die auf einem künstlichen Erdhügel in der Mitte eines Einbaugrabens errichtet worden war.
Zwei Jahrhunderte später brannte die hölzerne Struktur ab, und 1306 wurde mit dem Bau einer viel stabileren, steinernen Burg im gotischen Stil begonnen.