De Proosdij is een van de oudste huizen van de stad. het heeft een westgevel van tufsteen. Die gevel zou uit omstreeks 1200 kunnen dateren. Het bakstenen huis erachter dateert uit omstreeks 1300. Het behoorde toen nog tot de kerkelijke immuniteit, maar het is niet bekend of het als woning van een kannunik diende of een andere geestelijke functie had. In 1485 was het huis al weer enige tijd in bezit van en werd het bewoond door ridder Jacob van Hackfort. Hij overleed er in 1488. Kort na 1500 kwam het huis in bezit van edelman Johan Goltstein en zijn vrouw Henrica van Egmond-Baeck. In 1533 werd dit huis met hem geruild voor de Oude Hof van Bronckhorst want hertog Karel van Egmond wilde hier de nieuwe Proosdij vestigen. De oude Proosdij (Proosdijsteeg 5-7) moest gesloopt worden voor de gracht van de hertogelijke dwangburcht. Zo werd het huis Proosdijsteeg 1-3 gemoderniseerd en uitgebreid met een kapel en zijvleugel. Proost Sweder van Kervenhem ging er wonen. De jaarringdatering van de kapconstructie en de balklagen kwam uit op ca. 1536.