По време на периода Нара, преди тринадесет века, по молба на император Шому, свещеникът Гьоки основава четиридесет и девет храма на сектата Хосо, един от които е храмът Сайходжи. Твърди се, че преди основаването на храма, по време на периода Асука, той първоначално е бил една от вилите на принц Шотоку.
В началото на периода Хейан в храма временно живее Кобо Дайши, но към периода Камакура Хьонен извършва преобразуването му в храм на сектата Джодо. През 1339 г., на фона на следвоенните разрушения на времето, Мусо Кокуши, един от най-уважаваните дзен свещеници в Япония по това време, го възражда като дзен храм по покана на Фудживара Чикахиде (главен свещеник на светилището Мацуно).
Оттогава храмът е посещаван от много хора, които са се интересували от практикуване на дзен, включително Ашикага Йошимицу и Йошимаса. Твърди се също, че храмът Сайходжи е прототип на храмовете, представителни за периода Муромачи, и модел за храмовете, които трябва да се следват, като например известните Кинкакуджи (Златен павилион) и Гинкакуджи (Сребърен павилион).
Понастоящем градината с площ 35 000 кв. м е включена в списъка на историческите места и местата с живописна красота на Япония и през 1994 г. е регистрирана в списъка на световното културно наследство на ЮНЕСКО като исторически паметник на древно Киото. Днес заради красивия мъх, който покрива района, тя е популярна и като Кокедера (Храм на мъха).