У період Нара, триста років тому, на прохання імператора Сьому, священик Гьокі заснував сорок дев'ять храмів секти Хосо, одним з яких був храм Сайходзі. Кажуть, що до заснування храму, в період Асука, це була одна з вілл князя Сьотоку.
На початку періоду Хейан у храмі тимчасово жив Кобо Дайсі, але до періоду Камакура Хонен був перетворений на храм секти Дзьодо. У 1339 році, в умовах післявоєнної розрухи, Мусо Кокусі, один з найбільш шанованих дзен-буддійських священиків Японії того часу, відродив його як дзен-буддійський храм на запрошення Фудзівара Чікахіде (головного священика храму Мацуно).
З того часу храм відвідувало багато тих, хто цікавився практикою дзадзен, в тому числі Асікага Йосіміцу та Йосімаса. Також кажуть, що храм Сайходзі був прототипом храмів-представників періоду Муроматі і зразком для наслідування, таких як знамениті Кінкакудзі (Золотий павільйон) і Гінкакудзі (Срібний павільйон).
Сад площею 35 000 квадратних метрів наразі занесений до переліку історичних пам'яток та мальовничих місць Японії і у 1994 році був зареєстрований у Всесвітній культурній спадщині ЮНЕСКО як історична пам'ятка стародавнього Кіото. Сьогодні, через красивий мох, що вкриває цю територію, він також відомий як Кокедера (Храм моху).