Pfarrkirche St. Georg, Pfarrhaus, Schloß