Karmelit Kilisesi, Mainz'da günümüze ulaşan tek Orta Çağ dilenci tarikatı kilisesidir – ve kesinlikle "eski bir harabe" değildir! İlk
Karmelitler 1270 civarında Mainz'a geldiler. İlk manastır, kiliseyle birlikte 14. yüzyılın ilk yarısında inşa edildi. Sekülerleşme sürecinde manastır 1802'de kapatılmıştır. Ancak yüz yıldan fazla bir süre sonra, 1924'te, Karmelit Kilisesi 1270'ten beri Mainz'da yerleşik olan dilenci tarikatına geri verilmiştir. O zamana kadar depo olarak kullanılan kilise, Mainz vatandaşlarının protestoları sayesinde yıkımdan kurtulmuştur. Bugünkü manastırın
inşasına 1963'te başlanmıştır. 1964 yılından beri, yeni inşa edilen manastırda tekrar rahipler yaşamakta ve 14. yüzyılın başlarından kalma manastır kilisesine yeniden hayat vermektedir.

Karmelit Kilisesi, yüzyıllar boyunca geçirdiği pek çok değişikliğe rağmen hâlâ orijinal haliyle görülebilir; yalnızca tavan resimleri kopyadır. Görülmeye değer eserler arasında 14. yüzyıldan kalma, 1517 tarihli bir kabartma ile süslenmiş yüksek sunak, "Asma Madonna" (1400 civarı) ve Jan Schoenaker'in (1970) modern kilise pencereleri bulunmaktadır. Orta koro penceresinde Mainz şehir arması ile birlikte iki "Mainzelmännchen" figürü de yer almaktadır.

2009/2010 yıllarında büyük bir iç renovasyon gerçekleştirilmiş ve bu renovasyon kapsamında orta kısımda yeni bir ahşap sunak bulunan bir sunak adası oluşturulmuştur.