Neďaleko farského kostola sa nachádza hrad, ktorý bol kedysi velením Rádu nemeckých rytierov a prvýkrát sa spomína v roku 1273. Základná stavba musela byť postavená okolo roku 1200, keď Friedrich Ptuj, Minister Salzburgu, prevzal pôdu okolo Velika Nedelja s pomocou Rádu nemeckých rytierov. V juhozápadnej časti hradnej budovy sa zachovalo Stredoveké jadro hradu, prevládajú však Renesančné stavebné prvky. Reštaurátorské postupy, ktoré nasledovali po jeho výstavbe, a najmä tie, ktoré sa uskutočnili v rokoch 1723 až 1730, výrazne nezmenili vonkajší vzhľad hradu. Na hradnom dvore sa zachovala baroková studňa s kovanou korunou a hnacím zariadením.
V hradnej kaplnke sa nachádzali slávne gotické sochy sv. Kataríny, sv. Barbory a Piety z prvej štvrtiny 15. storočia. Sú výsledkom sochárskej umeleckej dielne, ktorá vznikla okolo roku 1400 na stavenisku Pútnického kostola na Ptujskej Gore. V súčasnosti sa spomínané sochy nachádzajú na hrade Ptuj. Kvalitná socha, postavená nanovo v hradnom múre vo vnútornom dvore, je reliéfom erbu komtura Marquarda von Eckha z roku 1612. V zámku sú vystavené dve výstavy: etnologická zbierka a výstava Velika Nedelja v priebehu storočí.