Społeczność żydowska w Moguncji zyskała sławę dzięki działalności swoich uczonych, którzy uczynili Magenzę środkiem kultury żydowskiej w średniowieczu. Na przełomie tysiącleci w Moguncji działał Gerschom ben Jehuda, jeden z najbardziej wpływowych uczonych Zachodu, którego opinie prawne i rozporządzenia zachowały ważność jeszcze wiele wieków po jego śmierci. Do dziś o tej wybitnej postaci przypomina średniowieczny kamień pamiątkowy na starym cmentarzu żydowskim.

Dzielnica żydowska przylegała od północnego zachodu bezpośrednio do dzielnicy handlowej między Fischtor a kościołem karmelitów i w tamtym czasie nie była jeszcze odizolowana od chrześcijan. Żydzi i chrześcijanie mieszkali raczej w bezpośrednim sąsiedztwie i w pobliżu klasztorów i kościołów, z których jeden, kaplica św. Marii przy Flachsmarkt, nosił przydomek „inter judeos” (pośród Żydów). 

W Moguncji nie zachowały się żadne ślady średniowiecznej dzielnicy żydowskiej po zniszczeniach spowodowanych pożarem i wojną oraz po przebudowie miasta. Dotyczy to również późniejszego getta położonego na północny zachód od średniowiecznej dzielnicy żydowskiej. W XV wieku w wielu miejscach uważano, że wraz z złagodzeniem chrześcijańskiego zakazu pobierania odsetek Żydzi nie są już potrzebni. Żydzi z Moguncji zostali wygnani w 1438 roku, a ich synagoga została wykorzystana jako miejski magazyn węgla.

Latem 1445 roku udało się na krótko przywrócić gminę żydowską. Po kolejnym wypędzeniu (1462 r.) w latach 1470/71 nastąpiło ostateczne wydalenie Żydów z całego arcybiskupstwa w Moguncji. Nieodwracalność tej decyzji podkreślił arcybiskup Adolf II, przekształcając synagogę w kaplicę Wszystkich Świętych. Od tego momentu przez około sto lat w Moguncji nie istniała już żadna gmina żydowska. Jedynie gmina w Wormacji może pochwalić się nieprzerwaną tradycją – jej tysiącletnia historia została przerwana przez Zagładę. Ogólnie jednak gminy uległy osłabieniu, a nawet nowo powstałe gminy w Speyer i Moguncji w XVIII wieku nie były już w stanie nawiązać do wielkiej „ery SchUM”. Wszystko, łącznie z architekturą, uległo zmianie. Najbardziej kosztowną nową budową synagogi była główna synagoga w Moguncji, wzniesiona według projektu architekta Willy’ego Grafa w latach 1911–1912. Ta imponująca budowla odpowiadała pod względem architektonicznym potrzebom wielkomiejskiej gminy w Moguncji.

Pochodzą one z kolekcji „Stowarzyszenia na rzecz Ochrony Zabytków Żydowskich w Moguncji”, które 3 października 1926 r. otworzyło Muzeum Zabytków Żydowskich w bocznym skrzydle głównej synagogi w dzielnicy Neustadt w Moguncji, oddanej do użytku w 1912 r. Muzeum to zostało zamknięte przez nazistów w okresie III Rzeszy. Większość zbiorów przedmiotów kultowych, dokumentów i rękopisów została zniszczona podczas nocy pogromu 9 listopada 1938 r. Większość ocalałych przedmiotów kultowych jest wystawiona w muzeum krajowym jako stała wypożyczka od gminy żydowskiej w Moguncji.