W okresie Nara, trzynaście setek lat temu, na prośbę cesarza Shōmu, kapłan Gyōki ufundował czterdzieści dziewięć świątyń sekty Hosso, a świątynia Saihoji jest jedną z nich. Mówi się, że przed założeniem świątyni, w okresie Asuka, była ona pierwotnie jedną z willi księcia Shōtoku.
We wczesnym Okresie Heian, Kōbō Daishi tymczasowo mieszkał w świątyni, ale do Okresu Kamakura, Hōnen dokonał jej konwersji na świątynię sekty Jōdo. W 1339 roku, pośród powojennych zniszczeń, Musō Kokushi, jeden z najbardziej szanowanych kapłanów Zen w Japonii w tym czasie, ożywił ją jako świątynię Zen, na zaproszenie Fujiwara Chikahide (głównego kapłana Matsunō Shrine).
Od tego czasu świątynia była odwiedzana przez wielu zainteresowanych praktyką Zazen, w tym Ashikaga Yoshimitsu i Yoshimasa. Mówi się również, że świątynia Saihoji była prototypem świątyń reprezentatywnych dla okresu Muromachi i wzorem dla świątyń do naśladowania, takich jak słynne Kinkakuji (Złoty Pawilon) i Ginkakuji (Srebrny Pawilon).
Ogród o powierzchni 35 000 metrów kwadratowych jest obecnie wpisany na listę zabytków i miejsc malowniczych Japonii, a w 1994 roku został wpisany na listę światowego dziedzictwa kulturowego UNESCO jako zabytek starożytnego Kioto. Obecnie, od pięknego mchu, który pokrywa teren, jest on również popularnie znany jako Kokedera (Świątynia Mchu).