Nur die nach Osten zur Wahlenstraße gerichtete Prunkfassade des Turms ist mit mehrgestaltigen Fensterformen geschmückt. Der Wohntrakt wurde nach 1400 westlich erweitert. Dabei entstand ein Innenhof, der um 1600 mit dreiseitig umlaufenden Renaissancearkaden eingefasst wurde. Im 16. Jahrhundert wurde diese Fassade ebenso wie die Gebäude des Rathauses und der nördlich benachbarte Marktturm mit Fresken bemalt, die Landsknechtfiguren und das Stadtwappen zeigten. Reste der Fresken waren noch 1950 nachweisbar. Die Arkaden wurden wie das Pyramidendach ebenfalls um 1600 mit barocken Loggien versehen, die im 19. Jahrhundert geschlossen wurden.

Im 17. Jahrhundert war im Gebäude eine Gaststätte ansässig, die dem Gebäude den Namen gab. Nachdem 1706 der Marktturm abgebrannt war und abgebrochen wurde, übernahm der Goldene Turm dessen Funktion als Wachtturm der Stadt. Für diese Zwecke wurde der Turm als einer der wenigen Türme der Altstadt auch mit einer Treppe begehbar gemacht und in den oberen Geschossen ausgebaut und eingeschränkt bewohnt.

Im Erdgeschoss des südlichen angebauten Wohnhauses findet sich die profanierte Hauskapelle, die Wahlenkapelle genannt wurde und 1287 in ein päpstliches Register als Wallersche Kapelle aufgenommen wurde. Seit 1978 ist der südlich benachbarte Raum der ehemaligen Kapelle, überspannt von einem barocken Kreuzgratgewölbe, als Durchgang für Fußgänger zum Innenhof geöffnet. Vom Innenhof mit seiner stimmungsvollen Atmosphäre gelangt man weiter zur Unteren Bachgasse. Das Gebäude wird seit der Sanierung 1985 als Studentenheim mit 43 Wohneinheiten genutzt.