V období Nara před třinácti sty lety založil kněz Gjóki na žádost císaře Šómu devětačtyřicet chrámů sekty Hosso a chrám Saihoji byl jedním z nich. Říká se, že před založením chrámu, v období Asuka, to byla původně jedna z vil knížete Šótoku.
Na počátku období Heian v chrámu dočasně pobýval Kóbó Daiši, ale v období Kamakura Hónen došlo k jeho přeměně na chrám sekty Džódo. V roce 1339, uprostřed poválečné devastace, jej na pozvání Fudžiwary Čikahideho (hlavního kněze svatyně Matsunō) obnovil jako zenový chrám Musō Kokuši, jeden z nejuznávanějších zenových kněží v tehdejším Japonsku.
Od té doby chrám navštěvovalo mnoho zájemců o praktikování zazenu, včetně Ašikagy Jošimiců a Jošimasy. Říká se také, že chrám Saihoji byl prototypem chrámů reprezentujících období Muromachi a vzorem pro chrámy, které měly následovat, jako například slavný Kinkakudži (Zlatý pavilon) a Ginkakudži (Stříbrný pavilon).
Zahrada o rozloze 35 000 m2 je v současné době zařazena mezi historické památky a scénická místa Japonska a v roce 1994 byla zapsána na seznam světového kulturního dědictví UNESCO jako historická památka starého Kjóta. Dnes je podle nádherného mechu, který pokrývá její okolí, lidově nazývána také Kokedera (mechový chrám).