Jedinečný na svete, ideálny palác inšpiroval umelcov už viac ako storočie. Nezávislý od akéhokoľvek umeleckého trendu, postavený bez architektonických pravidiel, surrealisti obdivovali ideálny palác a považujú sa za umelecké dielo outsiderov. Historickú pamiatku v roku 1969 klasifikoval André Malraux, francúzsky Minister kultúry v tom čase pod Insitným umením. Keď bol na ceste doručovať poštu v apríli 1879, Cheval výlety na veľkom kameni. Jeho neobvyklý tvar sa mu páčil a pustil sa do zhromažďovania ďalších singluárnych kameňov v tejto oblasti. Inšpirovaný sochami prírody sa Cheval rozhodol, že aj on môže vytvoriť krásne tvary s kameňmi.
Počas nasledujúcich 33 rokov tento poštár, ktorý vo veku 13 rokov upustil zo školy, sám postavil to, čo nazval jeho chrámom prírody. Použil koliesko na prenášanie kameňov a často pracoval v noci s olejovou lampou.
Na miestnom cintoríne postavil aj vlastné mauzóleum v rovnakom štýle.
Krátko pred jeho smrťou začal Cheval dostávať uznanie od renomovaných umelcov ako André Breton a Pablo Picasso. V roku 1969 André Malraux, Minister kultúry, vyhlásil Palais za kultúrnu pamiatku a nechal ju oficiálne chrániť. V roku 1986 sa Cheval objavil na francúzskej poštovej známke.