Ninnaji egyike a sok nagy templomok Kiotóban, amelyek szerepelnek a Világörökség része. Ez a Shingon buddhizmus szektájának Omuro Iskolájának fő temploma, amelyet 888-ban alapított az uralkodó császár. Több évszázadon keresztül a császári család egyik tagja Ninnaji főpapjaként szolgált, a templomot Omuro császári palotának is nevezték.
A történelem során Kiotót pusztító sok háború és tűz miatt a templom alapításából származó épületek egyike sem maradt fenn a 9.században. A legrégebbi épületek az 1600-as évek elején nyúlnak vissza az Edo-korszak kezdetéhez, beleértve a fő csarnokot (Kondo), a Kannon csarnokot, a Niomon bejárati kaput, a Chumon belső kaput és az öt emeletes pagodát.