साक्ष्य बताते हैं कि अकाल मंदिर हान सम्राट लिंग (156 - 189 ईस्वी) के शासनकाल के दौरान बनाया गया था और उत्तरी झोउ राजवंश (557 से 581 ईस्वी) के दौरान इसका विस्तार या पुनर्निर्माण किया गया था । यह घर के शुरुआती बौद्धों के लिए बनाया गया था जो पश्चिम से यात्रा करते थे और अनुवाद और अध्ययन केंद्र के रूप में सेवा करते थे । उत्तरी झोउ राजवंश के बाद के भाग के दौरान बौद्ध धर्म को दबा दिया गया और बौद्धों को सताया गया । मंदिर नष्ट हो गया और अव्यवस्था में गिर गया । सुई और फिर तांग राजवंशों के तहत, बौद्ध धर्म फिर से अदालत में पक्ष में था । यहां तक कि उन अवधियों के दौरान जहां दाओवाद को मुख्य रूप से अदालत का संरक्षण प्राप्त था, उत्तरी झोउ के बड़े पैमाने पर दमन को दोहराया नहीं गया था ।
618 ईस्वी में इसका नाम बदलकर फेमन मंदिर कर दिया गया और तांग सम्राट वुडी द्वारा प्रमुख मंदिर भवनों के साथ मैदान का पुनर्निर्माण किया गया । इसका नाम बदलकर कई बार नाम बदला गया, लेकिन अंत में तांग राजवंश की शुरुआत में दिए गए प्रसिद्ध नाम पर वापस आ गया । फेमन कई तांग सम्राटों के लिए बुद्ध के अवशेषों का स्रोत था । हर बार जब सम्राट स्वर्ग के साथ एहसान करना चाहते थे तो उन्होंने अवशेषों से समर्थन मांगा और मंदिर को उदारता से दान दिया ।
अपने इतिहास के कारण, भिक्षुओं ने अपने खजाने को रखने के लिए एक भूमिगत महल का निर्माण किया और उन्हें आंखों और हाथों से दूर रखा । सदियों से मंदिर के मैदान के भीतर मौजूद ऐसे महल का विचार मिथक में बदल गया । कहा जाता है कि उन्होंने युद्ध, आक्रमण और दमनकारी राजनीतिक आंदोलनों की योनि से बचाने के लिए मठ के खजाने को वहां छिपा दिया था, लेकिन चूंकि कोई भी इसे नहीं ढूंढ सका, इसलिए कहानी को छूट दी गई । शिवालय को कई बार बनाया और जलाया गया । तांग शिवालय लकड़ी का बनाया गया था । मिंग राजवंश के दौरान भूकंप ने मंदिर और शिवालय को बहुत नष्ट कर दिया । 1579 में मिंग सम्राट वानली के शासनकाल के दौरान मूल लकड़ी की संरचना के डिजाइन की नकल करने के लिए एक ईंट शिवालय बनाया गया था । किंग राजवंश के दौरान मंदिर और शिवालय का कई बार नवीनीकरण किया गया था । प्रारंभिक रिपब्लिकन आर्मी ने मंदिर को एक शिविर स्थल के रूप में इस्तेमाल किया, लेकिन 1940 में मंदिर को पुनर्जीवित करने और क्षेत्र में रोजगार लाने के लिए एक बहाली परियोजना को वित्त पोषित किया । बौद्ध भिक्षु मंदिर लौट आए ।
