Het huis De Munt werd, blijkens jaarringenonderzoek in de kapconstructie, gebouwd in of kort na 1354. In de 15e eeuw was het huis eigendom van de invloedrijke familie Van Drynen. Ze waren handelaren en stadsbestuurders. In 1478 nam muntmeester Nicolaes Nyber intrek in het pand om er in opdracht van de stad zilveren munten ('witpenningen') te slaan. Deze eerste stedelijke muntslag duurde tot 1481 toen Maximiliaan van Oostenrijk, de nieuwe Bourgondische landsheer de muntslag verbood. Nicolaes Nyber bleef er wel nog enige jaren wonen tot hij in 1496 in Nijmegen als hertogelijk muntmeester werd aangesteld. In 1499 zouden in Zutphen ook nog hertogelijke munten zijn geslagen. Hertogelijk muntmeester Herman van Nassou verantwoordde in de rekeningen dat hij in Zutphen het munthuis had uitgebreid. Mogelijk is dat de aanbouw rechts van het hoofdhuis. In de 16e eeuw werd het pand een herberg, genaamd De Keulsche Dom. In de 17e-eeuw was enige tijd een Katholieke schuilkapel in het pand aanwezig.