14. yüzyılın son yarısından itibaren burjuvazinin genel olarak güçlenmesiyle birlikte, konut kulelerinin önemi ve işlevi de değişti. Artık ilgi daha çok konut konforuna yöneldi ve bu durum kulelerin önemini ve prestijini azalttı. Ne yazık ki bugünkü iç düzeni, orijinal halinden hiçbir iz bırakmamaktadır. Ancak konut konforu oldukça yüksek olmalıydı.

16. yüzyılın başında Haus zum Stein, St. Albanstift'in mülkiyetine geçtiğinde, konut kulesi çoktan bir konut binasına dönüşmüştü. Dış cephesi, yeni anlayış ve ihtiyaçlara göre uyarlanmıştı. Yeni kat dağılımının yanı sıra, basit dikdörtgen pencereler, o zamana kadar kapalı olan zemin katını açığa çıkardı ve bu da kulenin savunma karakterini önemli ölçüde azalttı. Anlam

değişikliğinin ardından sakinleri de sık sık değişti. Albanstift'e ait bir prebend evi olarak, başlangıçta St. Alban ve Katedral'in kaptanları, katedral rahipleri, din adamları ve kanonikleri tarafından kullanıldı. 16. yüzyılın sonlarından itibaren binayı Worms Piskoposu Georg Schönborn yönetti. Bina, bir Mainzli

marangoz ustası tarafından kullanıldı. 17. yüzyılın ortalarında, Philipp Schönborn'un mülkiyetine geçtikten sonra, muhtemelen rahibe adayları bu mülkte yaşıyordu. En geç 18. yüzyılın ortalarında, ancak muhtemelen 1670 civarında, Zum Stein evi sivil kişilerin eline geçti ve böylece vergiye tabi hale geldi.

1793 civarında devrim kargaşası sırasında birinci katına kadar tamamen yıkılan bina, o dönemin sahibi bakkal Johann Siegel tarafından bazı yenileme çalışmalarına tabi tutuldu. Batı ve güney cephelerinde arduvaz kaplamalı bir çatı cephesi ile yeni bir üçüncü kat, 1980’lere kadar binanın görünümünü belirledi.

19. yüzyılda mülk sahipleri sık sık değişti; ta ki 1888'de usta tornacı August Schad bu evi satın alana kadar. Onun torununun oğlu K. Schäfer, yenileme planına yönelik taslakları hazırladı ve finanse etti. 1972'de belediye tarafından yenileme projesi olarak ilan edilen binada, 1974'te yapılan inşaat teknik onarım çalışmaları sırasında Roman dönemine ait kalıntılar ve dolayısıyla şehir tarihi açısından ilgi çekici bir mülk keşfedildi.

Sorun, Roman döneminden kalma eski çevre duvarlarının yanı sıra, evin kuzey duvarında orijinal durumun yeniden inşası için örnek teşkil edebilecek tek bir pencerenin kalmış olmasıydı.

Bu, çift kemerli bir pencere kemeridir. Orijinal çatı şekli hakkında hiçbir bulgu bulunmadığından, bunun yeniden inşası sadece varsayımlara dayanabilirdi. Ancak bu durum, rekonstrüksiyonun türü ve kapsamı konusunda fikir ayrılıklarına da yol açtı.

Sosyal işler müdürü, anıt koruma uzmanı ve mimar, sonunda yatay bir sonla tamamlanan toplam bir yapı üzerinde anlaştılar. Schäfer, yüksek maliyetler nedeniyle 1979 yılında mülkünün "kalbini" şehrin emanet varlığına devretmişti. 1981'den 1983'e kadar, tarihi yapıya uygun olarak 13. yüzyıldaki varsayılan bina şekline göre kapsamlı restorasyon çalışmaları gerçekleştirildi. Mainz şehri, 1984 yılında "Eski Çevrede İnşaat ve Konut" adlı federal yarışmada bu çalışma nedeniyle özel bir ödül aldı.