Het Wijnhuis werd in de middeleeuwen vooral 'Vreden' genoemd, of de 'taveerne To Vreden'. Het was dus een herberg, waar het stadsbestuur ook de wijn liet keuren (Wijnhuis). De oudste kern van het gebouw (de kelder) gaat terug op de periode rond 1300. In 1426 begint de stad het pand te moderniseren. De grote verbouwing volgde in 1446-1448. Toen werd er ook een torentje bij of op het gebouw geplaatst. Op de hoek van het gebouw werd een Mariabeeld onder een baldakijn geplaatst. de H. Maria was de stadspatrones van Zutphen. Het stadsbestuur kwam veel in de herberg om er gasten te ontvangen en feest te vieren. Ook werden er publieke afkondigingen aan het volk gedaan en werden er voor de deur van herberg vonnissen voltrokken. Vanaf 1616 begon men met de bouw van de huidige toren. Pas in 1642 was het werk voltooid en in 1644 kreeg de toren een carillon van de gebroeders Hemony.