Mitte kaugel kihelkonnakirikust on loss, mis oli varem Teutooni rüütlite Ordu komandandiks ja mida mainiti esmakordselt 1273.aastal. Põhistruktuur pidi olema ehitatud umbes 1200. aasta paiku, kui Friedrich Ptuj, Salzburgi minister, võttis Saksa rüütlite Ordu abiga Velika Nedelja ümbruse maa enda valdusse. Lossi keskaegne tuum on säilinud lossihoone edelaosas, kuigi domineerivad renessansiaegsed Hoone elemendid. Restaureerimisprotseduurid, mis järgnesid selle ehitamisele, ja eriti need, mis viidi läbi aastatel 1723-1730, ei muutnud oluliselt lossi välisilmet. Lossihoovis on säilinud barokne kaev sepistatud krooni ja sõiduvahendiga.
Lossi kabelis kasutati 15.sajandi esimesest veerandist pärit kuulsaid Püha Katariina, Püha Barbara ja Pietà Gooti skulptuure. Need on kujude kunstitöökoja tulemus, mis asutati 1400. aasta paiku Ptujska Gora palverännaku kiriku ehitusplatsil. Tänapäeval hoitakse ülalmainitud kujusid Ptuj lossis. Sisehoovis asuvasse linnusemüüri nüüd uuesti ehitatud kvaliteetne kuju on komtur Marquard von Eckhile 1612. aastast kuulunud vapi reljeef. Lossis on eksponeeritud kaks näitust: etnoloogiline kogu ja näitus Velika Nedelja läbi sajandite.