En tant qu'assistant de Karl Rahner, il travailla dans les universités de Munich et de Münster, mais fut également témoin direct du Concile Vatican II à Rome. À seulement 32 ans, il fut nommé à la chaire de dogmatique catholique et de propédeutique théologique à Mayence ; trois ans plus tard, il prit la direction de la chaire de dogmatique et de théologie œcuménique à Fribourg. En 1983, le professeur Karl Lehmann a été élu et nommé évêque de Mayence et a reçu la consécration épiscopale dans la cathédrale de Mayence. En 1987, il a été élu président de la Conférence épiscopale allemande, puis réélu en 1993 et 1999 pour deux mandats supplémentaires de six ans chacun. Le 28 janvier 2001, le pape Jean-Paul II a nommé l'évêque Lehmann cardinal. Le 16 mai 2016, jour du 80e anniversaire de Karl Lehmann, le pape François a accepté sa démission en tant qu'évêque de Mayence.

Outre ses fonctions principales, Karl Lehmann s'est engagé dans de nombreuses autres institutions et comités : de 1971 à 1975 au Synode commun des diocèses d'Allemagne, de 1969 à 1983 au Comité central des catholiques allemands, depuis 1969 jusqu'à aujourd'hui au groupe de travail œcuménique des théologiens protestants et catholiques, de 1974 à 1984 à la Commission théologique internationale auprès du Saint-Siège à Rome, depuis 1969 à la Commission de la foi de la Conférence épiscopale allemande.

Il a également été membre de la Congrégation pour les évêques et pour les Églises orientales, du Conseil pontifical pour la promotion de l'unité des chrétiens, de l'Académie des sciences et des lettres de Mayence et de l'Académie européenne des sciences de Salzbourg. En 1991, il a reçu le titre de docteur honoris causa de l'université d'Innsbruck et de l'université catholique de Washington D.C., en 1994 de l'université catholique de Maynooth/Irlande, en 1997 de l'Académie catholique de théologie de Varsovie, en 2000 de la faculté de théologie de l'université Karl-Franzens de Graz et en 2002 de l'université d'Opole/Pologne. Mgr Lehmann était titulaire de la Grande Croix du Mérite avec étoile et ruban et de l'anneau d'honneur de la Société Görres. Lors de la campagne 2004/2005, il a été décoré de l'« Ordre contre le sérieux animal » par l'association carnavalesque d'Aix-la-Chapelle.

En 2023, le diocèse de Mayence a publié un rapport rédigé par des experts externes qui examine de manière critique le rôle du cardinal Karl Lehmann dans les cas d'abus au sein de l'Église. Le rapport EVV est publié sur le site web du diocèse et accessible via un lien vers le site web de l'avocat Ulrich Weber.