Durante o Período Nara, há trezentos anos atrás, a pedido do Imperador Shōmu, o sacerdote Gyōki fundou quarenta e nove templos Hosso Sect, sendo o templo Saihoji um deles. Diz-se que antes da fundação do templo, durante o Período Asuka, era originalmente um dos templos do Príncipe Shōtoku villas.
No início do Período Heian, Kōbō Daishi viveu temporariamente no templo, mas no Período Kamakura, Hōnen tinha feito a sua conversão para um templo da Seita Jōdo. Em 1339, no meio da devastação do pós-guerra da época, Musō Kokushi, um dos sacerdotes Zen mais respeitados do Japão na altura, reavivou-o como um templo Zen, a convite de Fujiwara Chikahide (o sacerdote chefe do Santuário Matsunō).
Desde então, o templo tem sido visitado por muitos interessados em praticar Zazen, incluindo Ashikaga Yoshimitsu e Yoshimasa. Também se diz que o templo Saihoji foi o protótipo de templos representativos do Período Muromachi e o modelo de templos a seguir, tais como o famoso Kinkakuji (Pavilhão Dourado) e o Ginkakuji (Pavilhão de Prata).
O jardim de 35.000 metros quadrados está actualmente listado entre os Sítios Históricos e Lugares de Beleza Cénica do Japão e foi registado em 1994 no Património Cultural Mundial da UNESCO como Monumento Histórico da Antiga Kyoto. Hoje, do belo musgo que cobre a área, é também popularmente conhecido como o Kokedera (Templo do Musgo).