Einen wahrhaft seltenen Vogel sah 1525 kein Geringerer als Martin Luther.
Er beschrieb nämlich Stolberg von einer Anhöhe aus gesehen wie folgt:
Das Schloss wäre der Kopf, die zwei vom Markt ausgehenden Gassen die Flügel, der Markt der Rumpf, die Kirche St. Martini das Herz und die Niedergasse der Schwanz. Von der Höhe lässt sich auch erkennen, dass das versteckt in Tälern liegende Stolberg eine Stadtmauer nie benötigte. Nur an den Stadteingängen bewachten Stadttore wie das Rittertor die Straßen. Die mittelalterliche Idylle der Stadt ist nahezu komplett erhalten. Wirtschaftliche Grundlage war ein florierendes Berg- und Hüttenwesen; eine einzigartig in dieser Weise erhaltene Münzwerkstatt in einem Renaissance-Fachwerkhaus zeugt von dieser Zeit. Als Pendant dazu findet sich in einem der ältesten Bürgerhäuser ein Museum zur Wohn- und Lebensweise des 16. Jahrhunderts. Nicht nur der bergigen Lage wegen führt eine Treppe seitwärts entlang des Rathauses: Von 1452-1454 erbaut und ehemals als Handelshaus, Grundschule und ab 1724 als Rathaus genutzt, ist jede Etage nur von außen erreichbar. Dem berühmtesten Sohn der Stadt, Thomas Müntzer (1489-1525), ist vor dem Rathaus ein Denkmal gewidmet.