Under Nara-perioden för trettonhundra år sedan grundade prästen Gyōki på begäran av kejsar Shōmu fyrtionio tempel inom Hosso-sekten, varav Saihoji-templet var ett. Det sägs att innan templet grundades, under Asuka-perioden, var det ursprungligen en av prins Shōtokus villor.
Under den tidiga Heian-perioden bodde Kōbō Daishi tillfälligt i templet, men under Kamakura-perioden hade Hōnen gjort sin omvandling till ett Jōdo-sekttempel. År 1339, mitt i efterkrigstidens förödelse, återupplivade Musō Kokushi, en av de mest respekterade zenprästerna i Japan vid denna tid, det som ett zen-tempel, på inbjudan av Fujiwara Chikahide (översteprästen för Matsunō-helgedomen).
Sedan dess har templet besökts av många som var intresserade av att praktisera Zazen, däribland Ashikaga Yoshimitsu och Yoshimasa. Det sägs också att Saihoji-templet var prototypen för tempel som var representativa för Muromachi-perioden och modellen för tempel som skulle följas, till exempel de berömda Kinkakuji (gyllene paviljongen) och Ginkakuji (silverpaviljongen).
Den 35 000 kvadratmeter stora trädgården är för närvarande listad bland Japans historiska platser och platser med naturskönhet och registrerades 1994 i Unescos världskulturarv som ett historiskt monument i det gamla Kyoto. I dag är det på grund av den vackra mossan som täcker området också populärt känt som Kokedera (mosstemplet).