Mainz Yahudi Cemaati, Orta Çağ'da Magenza'yı Yahudiliğin bir kültür merkezi haline getiren alimlerinin faaliyetleri sayesinde ün kazandı. Gerschom ben Jehuda, milenyumun başında Mainz'da Batı dünyasının en etkili alimlerinden biri olarak faaliyet gösterdi; onun hukuk görüşleri ve hükümleri, ölümünden yüzyıllar sonra bile geçerliliğini korudu. Bugün bile, asırlık Yahudi mezarlığındaki bir Orta Çağ anıt taşı bu olağanüstü kişiliği anmaktadır.

Yahudilerin yerleşim bölgesi, kuzeybatı yönünde Fischtor ile Karmeliter Kilisesi arasındaki ticaret bölgesine doğrudan bitişikti ve o dönemde henüz Hıristiyanlardan izole değildi. Aksine, Yahudiler ve Hıristiyanlar manastırların ve kiliselerin yakınında, birbirlerine komşu olarak yaşıyorlardı; bu kiliselerden biri olan Flachsmarkt'taki St. Maria Şapeli, "inter judeos" (Yahudilerin arasında) lakabını taşıyordu. 

Mainz'da yangın ve savaş yıkımlarının yanı sıra yeni imar çalışmaları sonucunda Orta Çağ'dan kalma Yahudi mahallesinin hiçbir izi kalmamıştır. Bu durum, Orta Çağ Yahudi mahallesinin kuzeybatısında yer alan daha sonraki dönemdeki getto için de geçerlidir. 15. yüzyılda birçok yerde, Hıristiyanların faiz yasağının gevşetilmesiyle Yahudilere artık ihtiyaç duyulmadığına inanılıyordu. Mainz'daki Yahudiler 1438'de sınır dışı edildi ve sinagogları belediye kömür deposu olarak kullanıldı.

1445 yazında, Yahudi cemaati kısa bir süreliğine yeniden kurulabildi. 1462'deki bir başka sürgünün ardından, 1470/71'de Yahudiler nihayet Mainz Başpiskoposluğu'nun tamamından sınır dışı edildi. Başpiskopos Adolf II, sinagogu Tüm Azizler Şapeli'ne dönüştürerek bu kararın geri alınamaz olduğunu vurguladı. Bundan sonra yaklaşık yüz yıl boyunca Mainz’da hiçbir Yahudi cemaati bulunmadı. Kesintisiz bir geleneği yalnızca Worms cemaati sürdürebildi; ancak bu cemaatin 1000 yıllık tarihi Shoah ile sona erdi. Ancak cemaatler genel olarak zayıflamıştı ve 18. yüzyılda Speyer ve Mainz’da kurulan yeni cemaatler bile artık büyük “SchUM dönemi”nin izinden gidemedi. Her şey, mimari de dahil olmak üzere, değişti. En görkemli yeni sinagog binası, mimar Willy Graf’ın planlarına göre 1911/12 yıllarında inşa edilen Mainz’daki yeni ana sinagogdu. Bu etkileyici yapı, mimarisiyle Mainz’ın büyük şehir cemaatinin ihtiyaçlarına cevap veriyordu.

Bu eserler, 3 Ekim 1926 tarihinde Mainz Neustadt semtinde 1912'de açılışı yapılan ana sinagogun yan kanadında Yahudi Antik Eserler Müzesi'ni açan "Mainz Yahudi Antik Eserleri Koruma Derneği"nin koleksiyonundan gelmektedir. Bu müze, Nazi döneminde Nazi yetkililer tarafından kapatılmıştır. Kült nesneleri, belgeler ve el yazmaları koleksiyonunun büyük bir kısmı, 9 Kasım 1938'deki Pogrom Gecesi'nde tahrip edilmiştir. Kurtarılan kült nesnelerinin çoğu, Mainz Yahudi Cemaati'nin Landesmuseum'a yaptığı kalıcı ödünç verme anlaşması kapsamında sergilenmektedir.