Con el fortalecimiento general de la burguesía desde la segunda mitad del siglo XIV, también cambiaron el significado y la función de las torres residenciales. El interés se centró cada vez más en la comodidad de la vivienda, con lo que disminuyó la importancia y el prestigio de las torres. Lamentablemente, la distribución interior actual no deja ver nada de la original. Sin embargo, es probable que la comodidad de la vivienda fuera notable.

Cuando, a principios del siglo XVI, la casa Zum Stein pasó a ser propiedad del monasterio de St. Alban, la torre residencial ya se había convertido más bien en una vivienda. Su exterior se adaptó a las nuevas ideas y necesidades. Además de una nueva distribución de las plantas, se abrieron sencillas ventanas rectangulares en la planta baja, hasta entonces cerrada, lo que redujo considerablemente el carácter defensivo de la torre.

Tras el cambio de significado, los habitantes también cambiaron con mayor frecuencia. Como casa prebendaria perteneciente al Albanstift, fue habitada inicialmente por capilares y canónigos, clérigos y canónigos de St. Alban y la catedral. Desde finales del siglo XVI, Georg Schönborn, obispo de Worms, administró el edificio. Fue

habitado por un maestro carpintero de Maguncia. A mediados del siglo XVII, probablemente vivían vírgenes consagradas en la propiedad, después de que Philipp Schönborn se convirtiera en su propietario. A más tardar a mediados del siglo XVIII, pero probablemente ya alrededor de 1670, la casa pasó a manos burguesas y, por lo tanto, quedó sujeta al pago de impuestos.

Después de que fuera completamente destruido hasta el primer piso durante los disturbios revolucionarios de 1793, el tendero Johann Siegel, entonces propietario, llevó a cabo algunas renovaciones. Una fachada a dos aguas con revestimiento de pizarra en los lados oeste y sur y un nuevo tercer piso determinaron el aspecto de la casa hasta la década de 1980.

En el siglo XIX, la propiedad cambió de manos con frecuencia hasta que, en 1888, el maestro tornero August Schad adquirió la casa. Su bisnieto, K. Schäfer, llevó a cabo y financió los diseños para un proyecto de rehabilitación. Declarada en 1972 como objeto de rehabilitación por parte del ayuntamiento, en 1974, durante los trabajos de reparación estructural, se descubrieron los restos románicos y, con ello, una propiedad de gran interés histórico para la ciudad.

El problema era que, además de los antiguos muros circundantes de estilo románico, solo se había conservado una ventana en el muro norte de la casa que pudiera servir de modelo para la reconstrucción del estado original.

Se trata de una arcada de ventanas de doble acoplamiento. No se disponía de ningún dato sobre la forma original del tejado, por lo que su restauración solo podía basarse en suposiciones. Esto dio lugar a diferencias de opinión sobre el tipo y el alcance de la reconstrucción.

El concejal de Asuntos Sociales, el conservador de monumentos y el arquitecto acordaron finalmente una reconstrucción total con remate horizontal. Debido a los elevados costes, Schäfer cedió en 1979 el «corazón» de su propiedad al patrimonio fiduciario de la ciudad. Entre 1981 y 1983 se llevaron a cabo los extensos trabajos de restauración del diseño supuesto del edificio del siglo XIII, incorporando la sustancia histórica. La ciudad de Maguncia recibió un premio especial por ello en el concurso federal «Bauen und Wohnen in Alter Umgebung» (Construir y vivir en un entorno antiguo) de 1984.