Najstaršie osídlenie na zemi moderného mesta Graz sa datuje do Kalolitu. Neexistuje však žiadna historická kontinuita osídlenia pred stredovekom. V priebehu 12.storočia vojvodovia pod Babenberg vláda urobila z mesta dôležité obchodné centrum. Neskôr sa Graz dostal pod vládu Habsburgovcov a v roku 1281 získal zvláštne privilégiá od kráľa Rudolfa I.
V 14. storočí sa Graz stal mestom rezidencie vnútornej rakúskej línie Habsburgovcov. Kráľovská hodnosť žila na zámku Schloßberg a odtiaľ vládla Štajersku, Korutánsku, väčšine dnešného Slovinska a častiam Talianska.
V 16.storočí bol dizajn a plánovanie mesta ovládané predovšetkým talianskymi renesančnými architektmi a umelcami. Jednou z najslávnejších budov postavených v tomto štýle je Landhaus, ktorý navrhol Domenico dell ' Allio a ktorý miestni vládcovia používajú ako vládne ústredie.
Graz svedčí o vzorovom modeli živého dedičstva stredoeurópskeho mestského komplexu ovplyvneného sekulárnou prítomnosťou Habsburgovcov a kultúrnou a umeleckou úlohou hlavných šľachtických rodov. Sú harmonickým spojením architektonických štýlov a umeleckých hnutí, ktoré sa navzájom nahradili od stredoveku až do 18. storočia v mnohých susedných regiónoch strednej a stredomorskej Európy. Stelesňujú diverzifikovaný a vysoko komplexný súbor architektonických, dekoratívnych a krajinných príkladov týchto prestupov vplyvu.
V roku 1999 bol Graz pridaný do zoznam svetového kultúrneho dedičstva UNESCO, a v roku 2010 bola lokalita rozšírená o zámok Eggenberg.