Como asistente de Karl Rahner, trabajó en las universidades de Múnich y Münster, pero también vivió de cerca el Concilio Vaticano II en Roma. A los 32 años fue nombrado catedrático de Dogmática Católica y Propedeútica Teológica en Maguncia; tres años más tarde, asumió la cátedra de Dogmática y Teología Ecuménica en Friburgo. En 1983, el Prof. Dr. Dr. Karl Lehmann fue elegido y nombrado obispo de Maguncia y recibió la consagración episcopal en la catedral de Maguncia. En 1987 fue elegido presidente de la Conferencia Episcopal Alemana, cargo en el que fue reelegido en 1993 y 1999 por otros seis años. El 28 de enero de 2001, el papa Juan Pablo II nombró cardenal al obispo Lehmann. El 16 de mayo de 2016, día en que Karl Lehmann cumplía 80 años, el papa Francisco aceptó su renuncia como obispo de Maguncia.

Además de sus principales cargos, Karl Lehmann ha participado activamente en muchas otras instituciones y organismos: de 1971 a 1975 en el Sínodo Conjunto de las Diócesis de Alemania, de 1969 a 1983 en el Comité Central de los Católicos Alemanes, desde 1969 hasta la actualidad en el Grupo de Trabajo Ecuménico de Teólogos Protestantes y Católicos, de 1974 a 1984 en la Comisión Teológica Internacional de la Santa Sede en Roma, desde 1969 en la Comisión de la Fe de la Conferencia Episcopal Alemana.

Además, fue miembro de la Congregación para los Obispos y para las Iglesias Orientales, del Consejo Pontificio para la Promoción de la Unidad de los Cristianos, de la Academia de Ciencias y Literatura de Maguncia y de la Academia Europea de Ciencias de Salzburgo. En 1991 recibió el título de doctor honoris causa por la Universidad de Innsbruck y la Universidad Católica de Washington D. C., en 1994 también de la Universidad Católica de Maynooth (Irlanda), en 1997 de la Academia Católica Teológica de Varsovia, en 2000 de la Facultad de Teología de la Universidad Karl-Franzens de Graz y en 2002 de la Universidad de Opole (Polonia). El obispo Lehmann fue galardonado con la Gran Cruz del Mérito con Estrella y Banda y con el Anillo de Honor de la Sociedad Görres. En la campaña 2004/2005, la Asociación de Carnaval de Aquisgrán le concedió la «Orden contra la seriedad animal».

En 2023, la diócesis de Maguncia publicó un informe elaborado por expertos externos que analiza de forma crítica el papel del cardenal Karl Lehmann en los casos de abusos en la Iglesia. El denominado informe EVV está publicado en la página web de la diócesis y se puede consultar a través de un enlace a la página web del abogado Ulrich Weber.