Netoli parapijos bažnyčios yra pilis, kuri anksčiau buvo Kryžiuočių ordino vadovybė ir pirmą kartą paminėta 1273 m. Pagrindinė struktūra turėjo būti pastatyta apie 1200 m., kai Zalcburgo ministras Frydrichas Ptuj su vokiečių riterių ordino pagalba užvaldė Velikos Nedeljos kraštą. Pilies viduramžių šerdis buvo išsaugota pietvakarinėje pilies pastato dalyje, nors vyrauja Renesanso pastato elementai. Restauravimo procedūros, kurios buvo atliktos po jo statybos, o ypač 1723-1730 m., žymiai nepakeitė pilies išorės išvaizdos. Pilies kieme buvo išsaugotas baroko šulinys su kaustytomis karūnomis ir vairavimo įtaisu.
Pilies koplyčioje nuo 15 a.pirmojo ketvirčio buvo pastatytos garsios gotikinės Šv. Kotrynos, Šv. Barboros ir Pietà skulptūros. Jie yra statulų meno dirbtuvės, kuri buvo įkurta apie 1400 m. ptujska Gora piligrimystės bažnyčios statybvietėje, rezultatas. Šiuo metu Ptuj pilyje laikomos minėtos statulos. Kokybės statula, dabar pastatyta iš naujo pilies sienos vidiniame kieme, yra herbo, priklausančio komtur Marquard von Eckh nuo 1612 m., reljefas. Pilyje eksponuojamos dvi parodos: etnologinė kolekcija ir paroda Velika Nedelja per šimtmečius.