Avec le renforcement général de la bourgeoisie depuis la seconde moitié du XIVe siècle, l'importance et la fonction des tours d'habitation ont également changé. L'intérêt s'est alors davantage porté sur le confort de vie, ce qui a entraîné une perte d'importance et de prestige des tours. Malheureusement, l'agencement intérieur actuel ne laisse plus rien transparaître de l'original. Mais le confort de vie devait être remarquable.

Lorsque, au début du XVIe siècle, la maison Zum Stein passa aux mains de la fondation St. Albanstift, la tour d'habitation était déjà devenue davantage une maison d'habitation. Son extérieur fut adapté aux nouvelles idées et aux nouveaux besoins. Outre une nouvelle répartition des étages, de simples fenêtres rectangulaires ouvrirent le rez-de-chaussée jusqu'alors fermé, ce qui réduisit considérablement le caractère défensif de la tour.

Après ce changement de fonction, les occupants changèrent également plus fréquemment. En tant que maison de prébende appartenant à l'abbaye Saint-Alban, elle fut d'abord occupée par des chanoines, des clercs et des canons de Saint-Alban et de la cathédrale. À partir de la fin du XVIe siècle, Georg Schönborn, évêque de Worms, administra le bâtiment. Il fut

occupé par un maître charpentier de Mayence. Au milieu du XVIIe siècle, des vierges consacrées vivaient probablement dans la propriété après qu'elle soit devenue la propriété de Philipp Schönborn. Au plus tard au milieu du XVIIIe siècle, mais probablement déjà vers 1670, la maison au Stein passa entre les mains de bourgeois et devint ainsi imposable.

Après avoir été complètement détruit jusqu'au premier étage lors des troubles révolutionnaires de 1793, le commerçant Johann Siegel, alors propriétaire, entreprit quelques rénovations. Une façade à pignon recouverte d'ardoises sur les côtés ouest et sud et un troisième étage nouvellement construit ont marqué l'apparence de la maison jusqu'aux années 1980.

Au XIXe siècle, la maison changea plusieurs fois de propriétaire, jusqu'à ce que le maître tourneur August Schad l'achète en 1888. Son arrière-petit-fils, K. Schäfer, finança et réalisa les plans pour sa rénovation. Déclarée monument à rénover par la ville en 1972, la maison fut restaurée en 1974 dans le cadre de travaux de remise en état. C'est alors que furent découverts les vestiges romans, révélant ainsi un bâtiment intéressant pour l'histoire de la ville.

Le problème était qu'à part les anciens murs d'enceinte de style roman, seule une fenêtre sur le mur nord de la maison avait été conservée et pouvait servir de modèle pour la reconstruction de l'état d'origine.

Il s'agit d'une arcade à double coupé. Il n'existait aucune trace de la forme originale du toit, de sorte que sa restauration ne pouvait se fonder que sur des suppositions. Cela a toutefois donné lieu à des divergences d'opinion sur la nature et l'étendue de la reconstruction.

Le responsable des affaires sociales, le conservateur des monuments historiques et l'architecte se sont finalement mis d'accord sur une reconstruction totale avec une finition horizontale. En raison des coûts élevés, Schäfer avait cédé le « cœur » de sa propriété à la ville en 1979. De 1981 à 1983, d'importants travaux de restauration ont été effectués pour reconstituer la forme supposée du bâtiment du XIIIe siècle en intégrant les éléments historiques. La ville de Mayence a reçu une distinction spéciale pour cela dans le cadre du concours fédéral « Bauen und Wohnen in Alter Umgebung » (Construire et habiter dans un environnement ancien) en 1984.