Ginkakuji on Zeni tempel mööda Kyoto idapoolseid mägesid (Higashiyama). 1482. aastal ehitas Shogun Ashikaga Yoshimasa oma pensionile jäämise villa tänapäeva templi alustele, modelleerides seda pärast Kinkakuji (kuldne paviljon), tema vanaisa pensionile jäämise villa Kyoto põhjapoolsete mägede (Kitayama) baasil. Villa muudeti zeni templiks pärast Yoshimasa surma 1490.aastal.
Nagu pensionile villa kunsti kinnisideeks shogun, Ginkakuji sai kesklinnas kaasaegse kultuuri, tuntud Higashiyama kultuuri erinevalt Kitayama kultuuri tema vanaisa korda. Erinevalt Kitayama kultuurist, mis jäi piiratuks Kyoto aristokraatlike ringkondadega, oli Higashiyama kultuuril lai mõju kogu riigile. Aja jooksul välja töötatud ja rafineeritud kunstide hulka kuuluvad teetseremoonia, lilleseade, noh teater, luule, aiakujundus ja arhitektuur.