Nato a Newton - nel Massachussetts – nel febbraio 1925, dopo alcune esperienze radiofoniche, teatrali e televisive, esordisce al cinema in La ragazza del secolo (1954) di George Cukor e Phffft… e l’amore si sgonfia (1954) di Mark Robson.

L’anno seguente vince l’Oscar come Miglior Attore Non Protagonista al suo terzo film, ovverosia Mister Roberts (1955) di John Ford e Mervyn LeRoy, in cui recita con Henry Fonda.

Dopo alcuni ruoli secondari (Mia sorella Evelina - 1955 - e Off Limits - Proibito ai militari - 1957 - di Richard Quine, Autostop - 1956 - di Dick Powell, Fuoco nella stiva - 1957 - di Robert Parrish, con Robert Mitchum, il western Cowboy - 1958 - di Delmer Daves, con Glenn Ford e Felicia Farr, la commedia Una strega in paradiso - 1958 - di R. Quine, con James Stewart, Kim Novak, Ernie Kovacs e Elsa Lanchester), nel ’59 avvia un lungo e fortunato sodalizio con il grande Billy Wilder: all’esilarante e indiavolata commedia A qualcuno piace caldo (1959), in cui dà prova del suo talento comico vestendosi da donna (insieme a Tony Curtis) ed esibendosi in Florida in un’orchestra al femminile, seguono L’appartamento (1960), con Shirley MacLaine, Fred MacMurray e Jack Kruschen, Irma la dolce (1963), in cui recita nuovamente con S. MacLaine, Non per soldi… ma per denaro (1966), primo fra gli otto film che, nei trent’anni successivi, interpreterà insieme a Walter Matthau (Oscar come Miglior Attore Non Protagonista), Avanti! (1972), con Juliet Mills, Clive Revill, Edward Andrews e Gianfranco Barra, Prima pagina (1974), in cui recita per la terza volta con W. Matthau, interpretato anche da una giovane Susan Sarandon e considerato (insieme a Quarto potere di Orson Welles, L’asso nella manica di B. Wilder, L’ultima minaccia di Richard Brooks, Un volto nella folla di Elia Kazan, Quinto potere di Sidney Lumet, Tutti gli uomini del Presidente di Alan J. Pakula, Sindrome cinese di James Bridges, Diritto di cronaca di Sydney Pollack, Sotto tiro di Roger Spottiswoode e Broadcast News - Dentro la notizia di James L. Brooks) come uno fra i migliori film americani sul giornalismo mai realizzati, Buddy Buddy (1981), in cui lavora per la quarta volta con W. Matthau. Tutti film in cui B. Wilder esalta la versatilità di J. Lemmon, sottolineando il suo straordinario talento comico, ma anche costruendo su di lui la maschera dell’uomo contemporaneo nevrotico che si trova coinvolto in una società in cui il paradosso del vivere va a finire nella farsa.

Lemmon è istrionico e non arginabile nei ruoli comici più riusciti. Insieme a W. Matthau crea un superlativo duo comico (oltre ai già citati Non per soldi… ma per denaro, Prima pagina e Buddy Buddy, i due sono indimenticabili anche in La strana coppia - 1968 - di Gene Saks, tratto dalla commedia teatrale omonima di Neil Simon) e Lemmon dirige l’amico in Vedovo aitante, bisognoso affetto offresi anche babysitter (1971), sua prima ed unica esperienza dietro alla macchina da presa.

Negli anni Settanta vince un secondo Oscar (ma stavolta come Miglior Attore Protagonista) per Salvate la tigre (1973) di John G. Avildsen.

La sua grande versatilità spicca anche nelle sue intense performances drammatiche: l’alcolista che cerca di disintossicarsi in I giorni del vino e delle rose (1962) di Blake Edwards, con Lee Remick e Jack Klugman, e con cui ottiene una Nomination all’Oscar come Miglior Attore Protagonista (Oscar che verrà vinto da Gregory Peck per il bellissimo Il buio oltre la siepe di Robert Mulligan, tratto dal libro omonimo - Premio Pulitzer 1960 - di Harper Lee), l’ingegnere che si sacrifica per rivelare il pericolo nucleare nel già citato Sindrome cinese (1979) di James Bridges, con Jane Fonda e Michael Douglas, il maturo americano che cerca il figlio desaparecido nel sanguinario Cile del regime di Pinochet in Missing (1982) di Costa-Gavras, con Sissy Spacek, il vecchio impiegato a rischio licenziamento in Americani (1992) di James Foley, con Alan Arkin e Alec Baldwin, il nonno indifferente di America oggi (1993) di Robert Altman.   

Fra gli altri film ricordiamo Pepe (1960) di George Sidney, La nave più scassata dell’esercito (1960) di Richard Murphy, L’affittacamere (1962) di Richard Quine, Sotto l’albero yum yum (1963) di David Swift, La grande corsa (1965) di Blake Edwards, con Tony Curtis, Nathalie Wood e Peter Falk pre Tenente Colombo, Luv (1967) di Clive Donner, The April Fools (1969) di Stuart Rosenberg, Un provinciale a New York (1970) di Arthur Hiller, Oggi sposi: sentite condoglianze (1972) di Melville Shavelson, Prigioniero della seconda strada (1975) di Melvin Frank, La zingara di Alex (1976) di John Korty, Airport ’77 (1977) di Jerry Jameson, con Brenda Vaccaro, Lee Grant e James Stewart, Tribute - Serata d’onore (1980) di Bob Clark, Mass Appeal (1984) di Glenn Jordan, Così è la vita (1986) di B. Edwards, con Julie Andrews, Dad - papà (1989) di Gary David Goldberg.

Negli anni Novanta recita in altri quattro film - molto meno riusciti - con l’amico W. Matthau (Due irresistibili brontoloni - 1993 - di Donald Petrie, That’s Amore - Due improbabili seduttori - 1995 - di Howard Deutch, con Sophia Loren, Gli impenitenti - 1997 - di Martha Coolidge e il modesto La strana coppia II - 1998 - di H. Deutch) ed in JFK - Un caso ancora aperto (1991) di Oliver Stone, Matrimonio per colpa (1995) di Harvey Miller, Fuga dalla Casa Bianca (1996) di Peter Segal, Hamlet (1996) di Kenneth Branagh.

La sua ultima apparizione è stata in La leggenda di Bagger Vance (2000) di Robert Redford, con Matt Damon, Charlize Theron e Will Smith, uscito un anno prima della sua scomparsa.

Attivo anche in televisione, a partire dagli anni Settanta è apparso in alcuni film tv: Il grande Jack (1976) di Donald Wrye, Lungo viaggio verso la notte (1987) di Jonathan Miller, tratto dall’opera teatrale omonima di Eugene O’ Neill già portata al cinema con l’omonimo film di Sidney Lumet del 1962 con Katharine Hepburn, Ralph Richardson e Jason Robards Jr, L’assassinio di Mary Phagan (1988) di William Hale, Ricomincio da povero (1992) di Jay Sandrich, A Life in the Theater (1993) di Gregory Mosher, A Weekend in the Country (1996) di Martin Bergman, La parola ai giurati (1997) di William Friedkin, tratto dal dramma televisivo omonimo di Reginald Rose già portato al cinema quarant’anni avanti con il capolavoro del 1957 diretto da Sidney Lumet ed interpretato da Henry Fonda, Lee J. Cobb, Martin Balsam, John Fiedler, E. G. Marshall, Jack Klugman, Ed Binns, Jack Warden, Joseph Sweeney, Ed Begley, George Voskovec e Robert Webber, La strada verso casa (1998) di Glenn Jordan, Ereditare il vento (1998) di Daniel Petrie, I martedì da Morrie (1998) di Mick Jackson.