Modern Graz kentinin zeminindeki en eski yerleşim Kalkolitik Çağ'a kadar uzanmaktadır. Ancak Orta Çağ'dan önce bir yerleşimin tarihsel sürekliliği mevcut değildir. 12. Yüzyılda Babenberg yönetimi altındaki dükler şehri önemli bir ticaret merkezi haline getirdi. Daha sonra Graz Habsburgların egemenliğine girdi ve 1281'de Kral I. Rudolph'dan özel ayrıcalıklar kazandı.
14. yüzyılda Graz, Habsburgların iç Avusturya hattının ikametgahı oldu. Kraliyet ailesi Schloßberg kalesi'nde yaşıyordu ve oradan Steiermark, Karintiya, bugünkü Slovenya'nın çoğu ve İtalya'nın bazı bölgelerine hükmetti.
16. Yüzyılda kentin tasarımı ve planlaması öncelikle İtalyan Rönesans mimarları ve sanatçıları tarafından kontrol edildi. Bu tarzda inşa edilen en ünlü binalardan biri, Domenico dell'allio tarafından tasarlanan ve yerel yöneticiler tarafından hükümet merkezi olarak kullanılan Landhaus'tur.
Graz, Habsburgların laik varlığından ve ana aristokrat ailelerin oynadığı kültürel ve sanatsal rolden etkilenen orta Avrupa kent kompleksinin yaşayan mirasının örnek bir modeline tanıklık ediyor. Orta Çağ'dan 18. yüzyıla kadar, Orta ve Akdeniz Avrupa'nın birçok komşu bölgesinde birbirini tamamlayan mimari tarzların ve sanatsal akımların uyumlu bir karışımıdır. Bu etki değişimlerinin çeşitlendirilmiş ve son derece kapsamlı mimari, dekoratif ve peyzaj örnekleri topluluğunu somutlaştırıyorlar.
1999 Yılında Graz UNESCO Dünya Kültür Mirası Listesi'ne eklendi ve 2010 yılında Schloss Eggenberg tarafından genişletildi.