Kirche St. Michael, Friedhofsbefestigung