बर्लिन पैलेस से एक सांस्कृतिक और शैक्षिक केंद्र स्थापित करने का विचार फ्रेडरिक विल्हेम चतुर्थ के समय से है, जिन्होंने साइट पर 'कला और विज्ञान के लिए अभयारण्य' बनाने का सपना देखा था । अल्टे नेशनलगैलरी के लिए मूल वास्तुशिल्प अवधारणा – पुरातनता से रूपांकनों से सजाए गए एक प्लिंथ पर उठाया गया एक मंदिर जैसी इमारत-खुद राजा से आई थी । इमारत को शिंकेल के एक छात्र फ्रेडरिक अगस्त स्टुलर द्वारा डिजाइन किया गया था, जिन्होंने न्यूस संग्रहालय भी डिजाइन किया था । यह स्टुलर की मृत्यु के बाद शिंकेल के एक अन्य छात्र, जोहान हेनरिक स्ट्रैक द्वारा पूरा किया गया था । नेशनलगैलरी के निर्माण के लिए प्रारंभिक प्रेरणा 1861 में बैंकर और कौंसल जोहान हेनरिक विल्हेम वैगनर से प्रशिया राज्य के लिए एक वसीयत थी, जिसके संग्रह में कैस्पर डेविड फ्रेडरिक, कार्ल फ्रेडरिक शिंकेल, डसेलडोर्फ स्कूल के चित्रकारों और बेल्जियम के इतिहास चित्रकारों द्वारा काम किया गया था । वसीयत इस शर्त के साथ आई कि चित्रों को सार्वजनिक रूप से 'उपयुक्त स्थान'में प्रदर्शित किया जाना था । ठीक एक साल बाद स्टुलर को भवन की योजना बनाने के लिए कमीशन मिला । निर्माण के दस साल बाद नेशनलगैलरी औपचारिक रूप से 21 मार्च 1876 को कैसर विल्हेम प्रथम के जन्मदिन के लिए खोला गया, जो स्प्री में द्वीप पर तीसरा संग्रहालय बन गया ।
इमारत को कई मौकों पर सीधे हिट का सामना करना पड़ा द्वितीय विश्व युद्ध की हवाई बमबारी, विशेष रूप से 1944 के बाद भारी क्षति को बनाए रखना । युद्ध की शुरुआत के साथ ही संग्रह को धीरे-धीरे खाली कर दिया गया था । अन्य स्थानों के अलावा, यह चिड़ियाघर के पास बर्लिन के विमान-रोधी टावरों में और फ्रेडरिकशैन में, साथ ही मर्कर्स और ग्रासलेबेन में नमक और पोटाश रिपॉजिटरी में संग्रहीत किया गया था ।
युद्ध की समाप्ति के बाद इमारत जल्दी से अस्थायी रूप से बहाल हो गई थी; 1949 में इसके कुछ हिस्सों को फिर से खोला गया । दूसरी मंजिल को एक साल बाद आगंतुकों के लिए सुलभ बनाया गया था । जर्मनी के विभाजन के दौरान, 19 वीं शताब्दी के चित्र जो कब्जे के पश्चिमी क्षेत्रों में युद्ध से बच गए थे, उन्हें 1968 में शुरू होने वाले न्यू नेशनलगैलरी में और 1986 से श्लॉस चार्लोटनबर्ग की रोमांटिकतावाद की गैलरी में रखा गया था । बर्लिन की दीवार के गिरने के बाद, बढ़ते संग्रह अपने मूल भवन में एकजुट हो गए, जिसे अब बर्लिन के म्यूजियमइंसेल पर अल्टे नेशनलगैलरी कहा जाता है । संग्रह को समायोजित करने का मतलब था कि युद्ध ने इमारत को नुकसान पहुंचाने के साथ-साथ नए कमरों को जोड़ना था । आर्किटेक्चरल फर्म एचजी मर्ज़ बर्लिन को 1992 में यह काम सौंपा गया था । 1998 के मार्च में अल्टे नेशनलगैलरी को नवीकरण के लिए बंद कर दिया गया था । संग्रहालय को अंततः दिसंबर 2001 में फिर से खोला गया, इसकी 125 वीं वर्षगांठ को चिह्नित किया गया ।