Der Hügel ist seit dem 5. Jahrtausend v. Chr. bewohnt. Die Bewohner des alten Petovione errichteten auf dem Hügel eine Festung und Heiligtümer, und im frühen Mittelalter befand sich hier eine slawische Begräbnisstätte. Die mittelalterliche Festung geht auf das 11. Jahrhundert zurück, als Burg und Stadt im Besitz des Erzbistums Salzburg waren. Die Erzbischöfe schenkten die Burg den Herren von Ptuj, die während ihres dreihundertjährigen Aufenthalts in Ptuj Dominikaner- und Minoritenklöster gründeten und das Heiligtum Ptujska Gora erbauten. Der Grabstein des letzten Herrschers von Ptuj, Friedrich IX, ist im Erdgeschoss des Schlosses eingebaut. Zwischen 1656 und 1802 bewohnten die Grafen von Leslie das Schloss. Die letzten Besitzer, die Grafen von Herberstein, besaßen das Schloss zwischen 1873 und 1945, als es verstaatlicht und mit seiner reichen Ausstattung dem Museum in Ptuj zugeschlagen wurde. Heute beherbergt das Schloss Ptuj die meistbesuchten und repräsentativen Sammlungen des Regionalmuseums Ptuj-Ormož: Waffen, Musikinstrumente, traditionelle Karnevalsmasken, eine Sammlung feudaler Wohnkultur, Glasmalereien und die Schlossgalerie.
