La communauté juive de Mayence a acquis sa renommée grâce à l'action de ses érudits, qui ont fait de Magenza un centre culturel du judaïsme au Moyen Âge. Au tournant du millénaire, Gerschom ben Jehuda, l'un des érudits les plus influents de l'Occident, œuvra à Mayence. Ses avis juridiques et ses décrets restèrent valables pendant des siècles après sa mort. Aujourd'hui encore, une pierre commémorative médiévale dans l'ancien cimetière juif rappelle cette personnalité exceptionnelle.

Le quartier résidentiel des Juifs jouxtait directement, au nord-ouest, le quartier commerçant situé entre la Fischtor et l'église des Carmélites et n'était pas encore isolé des chrétiens à cette époque. Au contraire, Juifs et chrétiens vivaient en voisinage immédiat et à proximité de monastères et d'églises, dont l'une, la chapelle Sainte-Marie au Flachsmarkt, portait le surnom « inter judeos » (au milieu des Juifs). 

À Mayence, il ne reste aucune trace du quartier juif médiéval après les destructions causées par les incendies et la guerre, ainsi que les nouvelles constructions. Cela vaut également pour le ghetto qui s'est formé plus tard au nord-ouest du quartier juif médiéval. Au XVe siècle, on pensait dans de nombreux endroits qu'avec l'assouplissement de l'interdiction chrétienne d'usurer, les Juifs n'étaient plus nécessaires. Les Juifs de Mayence ont été expulsés en 1438 et leur synagogue a été utilisée comme entrepôt municipal de charbon.

La communauté juive fut brièvement rétablie au cours de l'été 1445. Après une nouvelle expulsion (1462), les Juifs furent finalement chassés de tout l'archevêché de Mayence en 1470/71. L'archevêque Adolf II souligna le caractère irréversible de cette décision en transformant la synagogue en chapelle de Tous-les-Saints. Pendant environ cent ans, il n'y eut plus de communauté juive à Mayence. Seule la communauté de Worms peut se prévaloir d'une tradition ininterrompue, dont l'histoire millénaire a pris fin avec la Shoah. Cependant, les communautés étaient globalement affaiblies et même les nouvelles fondations à Spire et Mayence au XVIIIe siècle ne purent renouer avec la grande « période ShUM ». Tout changea, y compris l'architecture. La synagogue la plus somptueuse fut la nouvelle synagogue principale de Mayence, construite selon les plans de l'architecte Willy Graf en 1911/12. L'architecture de cet édifice impressionnant répondait aux besoins de la grande communauté de Mayence.

Ils proviennent de la collection de l'association « Verein zur Pflege jüdischer Altertümer in Mainz » (Association pour la préservation des antiquités juives à Mayence), qui a inauguré le 3 octobre 1926 le musée des antiquités juives dans l'aile latérale de la synagogue principale, inaugurée en 1912 dans le quartier Neustadt de Mayence. Ce musée a été fermé par les nazis pendant la période nazie. Une grande partie des objets cultuels, documents et manuscrits a été détruite lors de la nuit de Cristal, le 9 novembre 1938. La plupart des objets cultuels sauvés sont exposés au musée régional sous forme de prêt permanent de la communauté juive de Mayence.