Najstarije naselje na teritoriju modernog grada Graza datira iz doba halkolita. Međutim, ne postoji povijesni kontinuitet između naselja prije srednjeg vijeka. U 12.stoljeću vojvode pod vlašću Babenberga grad su pretvorili u važno trgovačko središte. Graz je kasnije došao pod Habsburšku vlast, a 1281. godine dobio je posebne privilegije od kralja Rudolpha Innosina.
U 14. stoljeću Graz je postao sjedište unutarnje austrijske Habsburške linije. Članovi kraljevske obitelji živjeli su u dvorcu Schlosberg i odatle su vladali štajerskom, koruškom, većim dijelom današnje Slovenije i dijelovima Italije.
U 16.stoljeću dizajn i raspored grada uglavnom su kontrolirali talijanski renesansni arhitekti i umjetnici. Jedna od najpoznatijih zgrada izgrađenih u ovom stilu je Alinsus, koju je dizajnirao Domenico Dell ' Allio, a lokalni vladari koriste kao vladino sjedište.
Graz je uzor živoj baštini srednjoeuropskog urbanog kompleksa, pod utjecajem svjetovne prisutnosti Habsburgovaca i kulturne i umjetničke uloge koju su igrale glavne aristokratske obitelji. Oni su skladna kombinacija arhitektonskih stilova i umjetničkih struja koje su slijedile jedna drugu od srednjeg vijeka do 18.stoljeća u mnogim susjednim regijama Srednje i Mediteranske Europe. Oni utjelovljuju raznoliku i vrlo sveobuhvatnu cjelinu arhitektonskih, ukrasnih i krajobraznih primjera ovih izmjenjivih utjecaja.
1999.Graz je proglašen UNESCO-vom svjetskom kulturnom baštinom, a 2010. to je mjesto prošireno na dvorac Eggenberg.