Con il generale rafforzamento della borghesia a partire dalla seconda metà della fine del XIV secolo, anche il significato e la funzione delle torri residenziali subirono una trasformazione. L'attenzione si concentrò sempre più sul comfort abitativo, con conseguente declino dell'importanza e del prestigio delle torri. L'attuale disposizione interna non lascia purtroppo più nulla intravedere dell'originale. Tuttavia, il comfort abitativo doveva essere notevole.

Quando, all'inizio del XVI secolo, la Haus zum Stein passò in possesso del Capitolo di Sant'Albano, la torre residenziale era già diventata più che altro un'abitazione. Il suo aspetto esterno fu adattato alle nuove idee ed esigenze. Oltre a una nuova suddivisione dei piani, semplici finestre rettangolari aprivano ora il piano terra, fino ad allora chiuso, il che ridusse notevolmente il carattere difensivo della torre.

In seguito al cambiamento di destinazione d'uso, anche gli occupanti cambiarono più frequentemente. In quanto casa prebendaria appartenente al Capitolo di Sant'Albano, fu inizialmente abitata da capitolari e canonici, chierici e canonici di Sant'Albano e del Duomo. A partire dalla fine del XVI secolo, l'edificio fu amministrato da Georg Schönborn, vescovo di Worms. Vi

abitava un capomastro di Magonza. A metà del XVII secolo, dopo che la proprietà era passata a Philipp Schönborn, nella tenuta vivevano probabilmente delle vergini consacrate. Al più tardi a metà del XVIII secolo, ma probabilmente già intorno al 1670, la casa Zum Stein passò in mani borghesi e divenne quindi soggetta a tassazione.

Dopo essere stata completamente distrutta fino al primo piano nel corso dei disordini rivoluzionari del 1793, il droghiere Johann Siegel, allora proprietario, procedette ad alcuni lavori di ristrutturazione. Una facciata a timpano con rivestimento in ardesia sui lati ovest e sud e un nuovo terzo piano hanno caratterizzato l'aspetto dell'edificio fino agli anni '80.

Nel XIX secolo la proprietà cambiò spesso, finché nel 1888 il maestro tornitore August Schad acquistò l'edificio. Il suo pronipote, K. Schäfer, curò e finanziò i progetti per un piano di ristrutturazione. Dichiarata edificio da ristrutturare dal Comune nel 1972, nel corso dei lavori di riparazione strutturale del 1974 furono scoperti i resti romanici e con essi una proprietà di grande interesse storico-urbanistico.

Il problema era che, oltre alle antiche mura perimetrali di epoca romanica, era rimasta intatta solo una finestra sulla parete nord dell'edificio, che poteva servire da modello per la ricostruzione dello stato originale.

Si tratta di un portico a doppia arcata. Non essendoci alcuna documentazione sulla forma originaria del tetto, il suo ripristino poteva basarsi solo su ipotesi. Ciò ha tuttavia portato a divergenze di opinione sulla natura e l’entità della ricostruzione.

L’assessore alle politiche sociali, il conservatore dei monumenti e l’architetto si sono infine accordati su una ricostruzione totale con chiusura orizzontale. A causa degli elevati costi, Schäfer aveva ceduto il “cuore” della sua tenuta al patrimonio fiduciario della città nel 1979. Dal 1981 al 1983 furono eseguiti i lavori di restauro su vasta scala della presunta forma dell'edificio del XIII secolo, tenendo conto della sostanza storica. Per questo, nel 1984 la città di Magonza ricevette un riconoscimento speciale nel concorso federale "Bauen und Wohnen in Alter Umgebung" (Costruire e abitare in un ambiente storico).