Społeczność żydowska w Moguncji zyskała sławę dzięki działalności swoich uczonych, którzy uczynili Magenzę środkiem kultury żydowskiej w średniowieczu. Na przełomie tysiącleci w Moguncji działał Gerschom ben Jehuda, jeden z najbardziej wpływowych uczonych Zachodu, którego opinie prawne i rozporządzenia zachowały ważność jeszcze wiele wieków po jego śmierci. Do dziś o tej wybitnej postaci przypomina średniowieczny kamień pamiątkowy na starym cmentarzu żydowskim.

Dzielnica żydowska przylegała od północnego zachodu bezpośrednio do dzielnicy handlowej między Fischtor a kościołem karmelitów i w tamtym czasie nie była jeszcze odizolowana od chrześcijan. Żydzi i chrześcijanie mieszkali raczej w bezpośrednim sąsiedztwie i w pobliżu klasztorów i kościołów, z których jeden, kaplica św. Marii przy Flachsmarkt, nosił przydomek „inter judeos” (pośród Żydów). 

W Moguncji nie zachowały się żadne ślady średniowiecznej dzielnicy żydowskiej po zniszczeniach spowodowanych pożarem i wojną oraz po przebudowie miasta. Dotyczy to również późniejszego getta położonego na północny zachód od średniowiecznej dzielnicy żydowskiej. W XV wieku w wielu miejscach uważano, że wraz z złagodzeniem chrześcijańskiego zakazu pobierania odsetek Żydzi nie są już potrzebni. Żydzi z Moguncji zostali wygnani w 1438 roku, a ich synagoga została wykorzystana jako miejski magazyn węgla.

W lecie 1445 roku udało się na krótko przywrócić gminę żydowską. Po kolejnym wygnaniu (1462) w latach 1470/71 nastąpiło ostatecznie wydalenie Żydów z całego arcybiskupstwa w Moguncji. Nieodwracalność tej decyzji podkreślił arcybiskup Adolf II, przekształcając synagogę w kaplicę Wszystkich Świętych. Przez około sto lat w Moguncji nie istniała już żadna gmina żydowska. Jedynie gmina w Wormacji może pochwalić się nieprzerwaną tradycją – jej tysiącletnia historia została przerwana przez Zagładę. Gminom żydowskim nie udało się jednak odzyskać dawnej siły, a nawet nowo powstałe gminy w Spire i Moguncji w XVIII wieku nie były w stanie nawiązać do wielkiej „epoki SchUM”. Wszystko się zmieniło, łącznie z architekturą. Najbardziej kosztowną nową synagogą była główna synagoga w Moguncji, zbudowana według planów architekta Willy'ego Grafa w latach 1911/12. Imponująca budowla odpowiadała pod względem architektonicznym potrzebom dużej gminy w Moguncji.

Pochodzą one z kolekcji „Stowarzyszenia na rzecz Ochrony Zabytków Żydowskich w Moguncji”, które 3 października 1926 r. otworzyło Muzeum Zabytków Żydowskich w bocznym skrzydle głównej synagogi w dzielnicy Neustadt w Moguncji, oddanej do użytku w 1912 r. Muzeum to zostało zamknięte przez nazistów w okresie III Rzeszy. Większość zbiorów przedmiotów kultowych, dokumentów i rękopisów została zniszczona podczas nocy pogromu 9 listopada 1938 r. Większość ocalałych przedmiotów kultowych jest wystawiona w muzeum krajowym jako stała wypożyczka od gminy żydowskiej w Moguncji.