Il più antico insediamento sul terreno della moderna città di Graz risale al Calcolitico. Tuttavia, non esiste alcuna continuità storica di un insediamento prima del Medioevo. Durante il XII secolo, i duchi sotto il dominio dei Babenberg fecero della città un importante centro commerciale. Più tardi, Graz passò sotto il dominio degli Asburgo e nel 1281 ottenne privilegi speciali dal re Rodolfo I.
Nel XIV secolo, Graz divenne la città di residenza della linea austriaca interna degli Asburgo. I reali vivevano nel castello di Schloßberg e da lì governavano la Stiria, la Carinzia, la maggior parte dell'attuale Slovenia e parti dell'Italia.
Nel XVI secolo, il design e la pianificazione della città furono principalmente controllati da architetti e artisti italiani del Rinascimento. Uno degli edifici più famosi costruiti in questo stile è il Landhaus, progettato da Domenico dell'Allio, e usato dai governanti locali come sede del governo.
Graz testimonia un modello esemplare del patrimonio vivente di un complesso urbano dell'Europa centrale influenzato dalla presenza secolare degli Asburgo e dal ruolo culturale e artistico svolto dalle principali famiglie aristocratiche. Sono una miscela armoniosa degli stili architettonici e dei movimenti artistici che si sono succeduti dal Medioevo fino al XVIII secolo, nelle numerose regioni vicine dell'Europa centrale e mediterranea. Incarnano un insieme diversificato e molto completo di esempi architettonici, decorativi e paesaggistici di questi interscambi di influenza.
Nel 1999, Graz è stata aggiunta alla lista del patrimonio culturale mondiale dell'UNESCO, e il sito è stato ampliato nel 2010 con lo Schloss Eggenberg.