Wraz z ogólnym umocnieniem się klasy średniej od drugiej połowy końca XIV wieku zmieniło się również znaczenie i funkcja wież mieszkalnych. Coraz większy nacisk kładziono na komfort mieszkania, co spowodowało spadek znaczenia i prestiżu wież. Niestety, obecny układ wnętrza nie pozwala rozpoznać pierwotnego przeznaczenia budynku. Jednak komfort mieszkania musiał być niezwykły.

Kiedy na początku XVI wieku dom Zum Stein przeszedł w posiadanie fundacji św. Albana, wieża mieszkalna stała się już bardziej budynkiem mieszkalnym. Jej wygląd zewnętrzny został dostosowany do nowych wyobrażeń i potrzeb. Oprócz nowego podziału pięter, proste prostokątne okna otworzyły dotychczas zamkniętą parter, co znacznie zmniejszyło charakter obronny wieży.

Wraz ze zmianą znaczenia budynku częściej zmieniali się jego mieszkańcy. Jako dom prebendowy należący do fundacji św. Albana, zamieszkiwali go początkowo kapitulni i kanonicy, duchowni i kanonicy z kościoła św. Albana i katedry. Od końca XVI wieku budynkiem zarządzał Georg Schönborn, biskup Wormacji.

Zamieszkiwał go mistrz ciesielski z Moguncji. W połowie XVII wieku, po tym jak posiadłość stała się własnością Philippa Schönborna, mieszkały w niej prawdopodobnie dziewice zakonne. Najpóźniej w połowie XVIII wieku, ale prawdopodobnie już około 1670 roku, dom przeszedł w ręce mieszczańskie i tym samym stał się objęty podatkiem.

Po całkowitym zniszczeniu pierwszego piętra w wyniku zamieszek rewolucyjnych około 1793 roku, ówczesny właściciel, sklepikarz Johann Siegel, przeprowadził kilka renowacji. Front z szczytem pokrytym łupkiem od strony zachodniej i południowej oraz nowe trzecie piętro nadawały budynkowi charakterystyczny wygląd aż do lat 80. XX wieku.

W XIX wieku właściciele zmieniali się coraz częściej, aż w 1888 roku dom nabył mistrz tokarski August Schad. Jego prawnuk, K. Schäfer, realizował i finansował projekty renowacji. W 1972 roku miasto ogłosiło budynek obiektem renowacyjnym, a w 1974 roku, w trakcie prac remontowych związanych z konstrukcją budynku, odkryto romańskie pozostałości, a tym samym interesującą z punktu widzenia historii miasta posiadłość.

Problem polegał na tym, że oprócz starych murów obwodowych z okresu romańskiego zachowało się tylko jedno okno w północnej ścianie domu, które mogło posłużyć jako wzór do odtworzenia pierwotnego stanu.

Jest to podwójnie połączona arkada okienna. Nie było żadnych danych dotyczących pierwotnego kształtu dachu, więc jego odtworzenie mogło opierać się wyłącznie na przypuszczeniach. Spowodowało to jednak różnice zdań co do rodzaju i zakresu rekonstrukcji.

Urzędnik ds. społecznych, konserwator zabytków i architekt uzgodnili ostatecznie całkowitą przebudowę z poziomym zakończeniem. Ze względu na wysokie koszty Schäfer przekazał „serce” swojej posiadłości w 1979 roku do majątku powierniczego miasta. W latach 1981–1983 przeprowadzono szeroko zakrojone prace renowacyjne przypuszczalnego kształtu budynku z XIII wieku, z uwzględnieniem historycznej substancji. Miasto Moguncja otrzymało za to specjalną nagrodę w federalnym konkursie „Budowanie i mieszkanie w starym otoczeniu” w 1984 roku.