De Apenstert was van oorsprong de noordwestelijke hoektoren van de twaalfde-eeuwse stadsomwalling. De toren was gebouwd van het vulkanische tufsteen (net als de palts en de Walburgistoren). Omstreeks 1300 raakte toren zijn defensieve functie kwijt. In de loop van de veertiende eeuw werd de toren onderdeel van de stadsgevangenis met dezelfde naam. Aan de oostzijde werd een gevangenisgebouw bijgebouwd. Wie in 1485 in de Apenstert zat had dus iets op zijn (of haar) kerfstok.