Pirms trīspadsmit simtiem gadu Nara perioda laikā pēc imperatora Šōmu lūguma priesteris Gjōki nodibināja četrdesmit deviņus Hosso sektas tempļus, un Saihoji templis bija viens no tiem. Stāsta, ka pirms tempļa dibināšanas, Asuka perioda laikā, tas sākotnēji bijis viens no prinča Šōtoku villām.
Heiāna perioda sākumā templī uz laiku dzīvojis Kōbō Daishi, bet līdz Kamakurajas periodam Hōnens bija veicis tā pārveidošanu par Džōdo sektas templi. 1339. gadā pēckara postījumu laikā Musō Kokuši, viens no tā laika visatzītākajiem džeņsvēcekļiem Japānā, pēc Fudživaras Čikahides (Matsunō svētnīcas galvenā priestera) uzaicinājuma atdzīvināja to kā džeņsvētoku.
Kopš tā laika templi ir apmeklējuši daudzi interesenti, kuri vēlējās praktizēt dzzen, tostarp Ašikaga Jošimicu un Jošimasa. Tiek arī teikts, ka Saihoji templis bija Muromači perioda reprezentatīvo tempļu prototips un paraugs tempļiem, kuriem bija jāseko, piemēram, slavenajiem Kinkakuji (Zelta paviljons) un Ginkakuji (Sudraba paviljons).
Pašlaik 35 000 kvadrātmetru lielais dārzs ir iekļauts Japānas vēsturisko vietu un ainaviskā skaistuma vietu sarakstā, un 1994. gadā tas tika reģistrēts UNESCO Pasaules kultūras mantojuma sarakstā kā senās Kioto vēsturiskais piemineklis. Mūsdienās, pateicoties skaistajām sūnām, kas klāj šo teritoriju, to tautā dēvē arī par Kokedera (Sūnu templi).