З загальним зміцненням позицій буржуазії з другої половини кінця 14 століття змінилися також значення і функція житлових веж. Інтерес тепер був зосереджений на комфорті проживання, що призвело до зниження значення і престижу веж. На жаль, сучасне внутрішнє планування не залишає ніяких слідів від первісного. Але, ймовірно, комфорт проживання був надзвичайним.

Коли на початку 16 століття будинок «Zum Stein» перейшов у власність монастиря Святого Альбана, житловий вежа вже перетворилася на житловий будинок. Її зовнішній вигляд був пристосований до нових уявлень і потреб. Окрім нового розподілу поверхів, прості прямокутні вікна відкривали раніше закритий перший поверх, що значно зменшило оборонний характер вежі.

Після зміни призначення будівлі її мешканці також частіше змінювалися. Як будинок пребенди, що належав монастирю Святого Альбана, спочатку в ньому мешкали капітуляр і канонік, клірик і канонік Святого Альбана та собору. З кінця 16 століття будівлею керував Георг Шенборн, єпископ Вормса. У ній

мешкав майстер-тесля з Майнца. В середині 17 століття, після того як будинок перейшов у власність Філіпа Шенборна, в ньому, ймовірно, мешкали черниці. Не пізніше середини 18 століття, але, ймовірно, вже близько 1670 року, будинок перейшов у власність міщан і, таким чином, став об'єктом оподаткування.

Після того, як у 1793 році в результаті революційних заворушень будівля була повністю зруйнована до першого поверху, її тодішній власник, крамар Йоганн Зігель, провів кілька ремонтних робіт. Фасад з двосхилим дахом, облицьований шифером із західного та південного боків, і новий третій поверх визначали зовнішній вигляд будинку аж до 1980-х років.

У 19 столітті власники змінювалися частіше, аж поки в 1888 році будинок не придбав майстер-токар Август Шад. Його правнук, К. Шефер, керував і фінансував розробку проекту реконструкції. У 1972 році місто оголосило будинок об'єктом реконструкції, і в ході ремонтних робіт у 1974 році були виявлені романські залишки, а отже, і цікава з історичної точки зору будівля.

Проблемою було те, що крім старих огороджувальних стін романського періоду збереглося лише одне вікно на північній стіні будинку, яке могло слугувати зразком для відновлення первісного стану.

Це подвійна арка вікна. Про первісну форму даху не було жодних відомостей, тому його відновлення могло базуватися лише на припущеннях. Це також призвело до розбіжностей у думках щодо характеру та обсягу реконструкції.

Соціальний департамент, реставратори пам'яток та архітектори врешті-решт домовилися про повну реконструкцію з горизонтальним завершенням. Через високі витрати Шефер у 1979 році передав «серцевину» своєї садиби в довірче управління місту. З 1981 по 1983 рік були проведені масштабні реставраційні роботи, спрямовані на відновлення передбачуваного вигляду будівлі 13 століття з використанням історичних матеріалів. За це місто Майнц отримало спеціальну нагороду в федеральному конкурсі «Будівництво та житло в старовинному оточенні» 1984 року.