O Castelo de La Brède parece sair das páginas de um conto de fadas. Seu mais famoso ex-proprietário foi o filósofo e escritor francês Charles-Louis de Secondat, conhecido como Montesquieu.Montesquieu, um grande pensador político na Era do Iluminismo, nasceu e cresceu em La Brède até ser enviado para Paris aos 11 anos para estudar. Após a morte de seu pai, ele herdou uma vasta fortuna e a Baronia de La Brède.Claro que a propriedade já tinha uma longa história antes de Montesquieu. Foi mencionado pela primeira vez em 1079, quando o Senhor De La Brède lutou um duelo com um homem chamado Hernandes que era o campeão do exército de Navarra. Na época, o edifício teria sido uma estrutura de madeira fortificada construída sobre um monte artificial de terra, no centro de um fosso escavado.
Dois séculos depois, a estrutura de madeira incendiou-se e, em 1306, a construção começou num castelo de estilo gótico, em pedra muito mais resistente.