Najstarsza osada na terenie współczesnego miasta Graz pochodzi z epoki Chalkolitycznej. Nie istnieje jednak ciągłość historyczna osady sprzed średniowiecza. W XII wieku książęta pod panowaniem Babenberga uczynili z miasta ważny ośrodek handlowy. Później Graz znalazł się pod panowaniem Habsburgów, a w 1281 r. uzyskał specjalne przywileje od króla Rudolfa I.
W XIV wieku Graz stał się miastem rezydencji wewnętrznej austriackiej linii Habsburgów. Rodzina królewska mieszkała w Zamku Schloßberg i stamtąd rządziła Styrią, Karyntią, większością dzisiejszej Słowenii i częściami Włoch.
W XVI wieku projekt i planowanie miasta były kontrolowane głównie przez włoskich architektów i artystów renesansowych. Jednym z najbardziej znanych budynków zbudowanych w tym stylu jest Landhaus, zaprojektowany przez Domenico dell ' Allio i używany przez lokalnych władców jako siedziba rządu.
Graz jest świadectwem wzorcowego modelu żywego Dziedzictwa środkowoeuropejskiego kompleksu miejskiego, na który wpływ miała świecka obecność Habsburgów oraz kulturalna i artystyczna rola głównych rodów arystokratycznych. Stanowią harmonijne połączenie stylów architektonicznych i ruchów artystycznych, które od średniowiecza do XVIII wieku odnosiły sukces w wielu sąsiednich regionach Europy Środkowej i śródziemnomorskiej. Stanowią one urozmaicony i bardzo wszechstronny zespół architektonicznych, dekoracyjnych i krajobrazowych przykładów tych zamian wpływów.
W 1999 roku Graz został wpisany na Listę Światowego Dziedzictwa Kulturowego UNESCO, a w 2010 roku został rozbudowany przez Schloss Eggenberg.