In qualità di assistente di Karl Rahner, lavorò presso le università di Monaco e Münster, ma visse anche in prima persona il Concilio Vaticano II a Roma. Già all’età di 32 anni fu nominato titolare della cattedra di Dogmatica cattolica e Propedeutica teologica a Magonza; tre anni dopo assunse la cattedra di Dogmatica e Teologia ecumenica a Friburgo. Nel 1983 il Prof. Dr. Dr. Karl Lehmann fu eletto e nominato vescovo di Magonza e ricevette la consacrazione episcopale nella cattedrale di Magonza. Nel 1987 fu eletto presidente della Conferenza Episcopale Tedesca, carica nella quale fu confermato per altri sei anni sia nel 1993 che nel 1999. Il 28 gennaio 2001 Papa Giovanni Paolo II ha nominato cardinale il vescovo Lehmann. Il 16 maggio 2016, in occasione dell’ottantesimo compleanno di Karl Lehmann, Papa Francesco ha accettato le sue dimissioni da vescovo di Magonza.

Oltre ai suoi incarichi principali, Karl Lehmann si è impegnato in molte altre istituzioni e organismi: dal 1971 al 1975 nel Sinodo comune delle diocesi in Germania, dal 1969 al 1983 nel Comitato centrale dei cattolici tedeschi, dal 1969 ad oggi nel Gruppo di lavoro ecumenico di teologi protestanti e cattolici, dal 1974 al 1984 nella Commissione Teologica Internazionale presso la Santa Sede a Roma, dal 1969 nella Commissione per la Dottrina della Fede della Conferenza Episcopale Tedesca.

Inoltre è stato membro della Congregazione per i Vescovi e per le Chiese Orientali, del Pontificio Consiglio per la Promozione dell’Unità dei Cristiani, dell’Accademia delle Scienze e delle Lettere di Magonza e dell’Accademia Europea delle Scienze di Salisburgo. Nel 1991 ha ricevuto il dottorato honoris causa dall’Università di Innsbruck e dall’Università Cattolica di Washington D.C., nel 1994 anche dall’Università Cattolica di Maynooth (Irlanda), nel 1997 dall’Accademia Teologica Cattolica di Varsavia, nel 2000 dalla Facoltà di Teologia dell’Università Karl-Franzens di Graz e nel 2002 dall’Università di Opole (Polonia). Il vescovo Lehmann era insignito della Gran Croce al Merito della Repubblica Federale Tedesca con stella e nastro e dell’anello d’onore della Società Görres. Nella campagna 2004/2005 è stato insignito dall’Associazione Carnevalesca di Aquisgrana dell’«Ordine contro la serietà bestiale».

Nel 2023 la diocesi di Magonza ha pubblicato un rapporto redatto da esperti esterni che esamina in modo critico il ruolo del cardinale Karl Lehmann nei casi di abusi all’interno della Chiesa. Il cosiddetto «rapporto EVV» è disponibile sul sito web della diocesi, dove è possibile accedervi tramite un link al sito web dell’avvocato Ulrich Weber.