La comunidad judía de Maguncia alcanzó fama gracias a la labor de sus eruditos, que convirtieron a Magenza en un centro cultural del judaísmo en la Edad Media. Con Gerschom ben Jehuda, uno de los eruditos más influyentes de Occidente trabajó en Maguncia a principios del milenio, y sus dictámenes jurídicos y decretos siguieron siendo válidos durante siglos después de su muerte. Todavía hoy, una lápida medieval en el antiguo cementerio judío recuerda a esta destacada personalidad.

La zona residencial de los judíos se extendía en dirección noroeste, directamente junto al barrio comercial entre Fischtor y la iglesia de los Carmelitas, y en aquella época aún no estaba aislada de los cristianos. Más bien, judíos y cristianos convivían en vecindad inmediata y cerca de monasterios e iglesias, una de las cuales, la capilla de Santa María en el Flachsmarkt, llevaba el sobrenombre de «inter judeos» (en medio de los judíos). 

En Maguncia, tras los incendios y los destrozos causados por la guerra, así como tras la reconstrucción, no quedan restos visibles del barrio judío medieval. Lo mismo ocurre con el gueto posterior situado al noroeste del barrio judío medieval. En muchos lugares, en el siglo XV se creía que, con la flexibilización de la prohibición cristiana de cobrar intereses, ya no se necesitaba a los judíos. Los judíos de Maguncia fueron expulsados en 1438 y su sinagoga se utilizó como almacén municipal de carbón.

En el verano de 1445 se pudo refundar la comunidad judía por un breve periodo de tiempo. Tras una nueva expulsión (1462), en 1470/71 se produjo finalmente la expulsión de los judíos de todo el arzobispado de Maguncia. El arzobispo Adolf II subrayó la irreversibilidad de esta decisión transformando la sinagoga en una capilla dedicada a Todos los Santos. Durante unos cien años no hubo comunidad judía en Maguncia. Solo la comunidad de Worms puede presumir de una tradición ininterrumpida, cuya historia milenaria terminó con el Holocausto. Sin embargo, las comunidades se vieron debilitadas en su conjunto, y ni siquiera las nuevas fundaciones en Espira y Maguncia en el siglo XVIII pudieron continuar con la gran «época ShUM». Todo cambió, incluida la arquitectura. La sinagoga nueva más elaborada fue la nueva sinagoga principal de Maguncia, construida según los planos del arquitecto Willy Graf en 1911/12. La impresionante construcción respondía en su arquitectura a las necesidades de la gran comunidad de Maguncia.

Estos proceden de la colección de la «Asociación para la Conservación de Antigüedades Judías en Maguncia», que inauguró el 3 de octubre de 1926 el Museo de Antigüedades Judías en el ala lateral de la sinagoga principal, inaugurada en 1912 en el barrio Neustadt de Maguncia. Este museo fue cerrado por los nacionalsocialistas durante el periodo nazi. Gran parte de los objetos de culto, documentos y manuscritos fueron destruidos durante la Noche de los Cristales Rotos, el 9 de noviembre de 1938. La mayoría de los objetos de culto que se salvaron se exhiben en el Museo Regional como préstamo permanente de la comunidad judía de Maguncia.