Het huis De Wildeman is een van oorsprong middeleeuws huis dat in de 18e en begin 19e eeuw zo grondig werd gemoderniseerd dat je het aan de buitenzijde niet meer ziet. Het statige regentenpand heeft echter een 14e-eeuws pakhuis aan de achterzijde, aan de Rode Torenstraat. De 'tussenhuizen' rond het binnenplaatsje zijn er in de 15e-17e eeuw aangebouwd. in een ervan zit de Katholieke schuilkapel uit 1628. Het huis was toen bezit van de rijke familie Haeck, die het katholieke geloof na de Reformatie trouw waren gebleven. Uit deze tijd dateert ook de huisnaam De Wildeman. Mogelijk bestond het huidige pand in 1485 uit twee huizen: we komen zowel een Henrick Poppink tegen, als een Henrick ter Koir.