Kalns ir apdzīvots kopš piektās tūkstošgades pirms mūsu ēras.senās Petoviona iedzīvotāji uz kalna uzcēla cietoksni un svētnīcas, un augstajos viduslaikos bija Slāvu apbedījums. Viduslaiku cietoksnis aizsākās XI gadsimtā, kad pils un pilsēta piederēja Zalcburgas arhibīskapijai. Arhibīskapi deva pili Ptuj valdniekiem, kuri nodibināja Dominikānas un mazākumtautību klosterus un uzcēla Ptujska Gora svētnīcu viņu trīs simtu gadu uzturēšanās laikā Ptuj. Ptuj pēdējā Kunga Frederika IX kapa piemineklis ir uzcelts pils pirmajā stāvā. Laikā no 1656. līdz 1802. gadam pilī dzīvoja Leslijas grāfi. Pēdējie īpašnieki, herbersteinas grāfi, piederēja pilij no 1873. līdz 1945.gadam, kad tā tika nacionalizēta un pievienota Ptuj muzejam ar bagātīgām mēbelēm. Šodien Ptuj pilī atrodas visbiežāk apmeklētās un reprezentatīvās Ptuj-Ormož reģionālā muzeja kolekcijas: ieroči, Mūzikas instrumenti, tradicionālās karnevāla maskas, feodālās dzīvojamās kultūras kolekcija, stikla gleznas un pils galerija.
