V období Nara, pred trinástimi stovkami rokov, založil kňaz Gjóki na žiadosť cisára Šómu štyridsaťdeväť chrámov sekty Hosso, pričom chrám Saihoji bol jedným z nich. Hovorí sa, že pred založením chrámu, v období Asuka, to bola pôvodne jedna z víl princa Šótoku.
Na začiatku obdobia Heian v chráme dočasne žil Kóbó Daiši, ale v období Kamakura Hōnen sa uskutočnila jeho premena na chrám sekty Jōdo. V roku 1339, uprostred povojnovej devastácie, ho Musō Kokushi, jeden z najuznávanejších zenových kňazov v Japonsku v tom čase, na pozvanie Fujiwara Chikahideho (hlavného kňaza svätyne Matsunō) obnovil ako zenový chrám.
Odvtedy chrám navštevovali mnohí záujemcovia o praktizovanie odzenu vrátane Ašikagu Jošimicsua a Jošimasu. Hovorí sa tiež, že chrám Saihoji bol prototypom chrámov reprezentujúcich obdobie Muromachi a vzorom pre chrámy, ktoré mali nasledovať, ako napríklad slávny Kinkakuji (Zlatý pavilón) a Ginkakuji (Strieborný pavilón).
Záhrada s rozlohou 35 000 metrov štvorcových je v súčasnosti zaradená medzi historické pamiatky a scénické miesta Japonska a v roku 1994 bola zapísaná do zoznamu svetového kultúrneho dedičstva UNESCO ako historická pamiatka starého Kjóta. Podľa nádherného machu, ktorý pokrýva okolie, je dnes ľudovo nazývaná aj Kokedera (Machový chrám).