Nato a Memphis - nel Tennessee - nel 1937, dopo numerose apparizioni in film (L’uomo del banco dei pegni - 1965 - di Sidney Lumet, A Man Called Adam - 1966 - di Leo Penn, Che cosa hai fatto quando siamo rimasti al buio? - 1968 - di Hy Averback, Una fattoria a New York City - 1971 - di Edward Mann, Blade, Il duro della Criminalpol - 1973 - di Ernest Pintoff), telefilm (The Electric Company, 1971-77) e miniserie televisive, si afferma al cinema all’inizio degli anni Ottanta in ruoli secondari in film come Brubaker (1980) di Stuart Rosenberg, in cui lavora con Robert Redford, Uno scomodo testimone (1981) di Peter Yates, Teachers (1984) di Arthur Hiller.

La svolta definitiva della sua carriera avverrà tre anni dopo con Street Smart - Per le strade di New York (1987) di Jerry Schatzberg, in cui “ruba la scena” all’attore protagonista (Christopher Reeve) interpretando magistralmente un gangster della malavita newyorkese.

Nel 1989 è protagonista del pluripremiato A spasso con Daisy di Bruce Beresford, nel ruolo di un saggio autista nero di un’anziana signora razzista (interpretata da Jessica Tandy), della quale riuscirà a conquistare il rispetto e con la quale stabilirà un rapporto di solida amicizia.

Dopo una serie di ruoli da “perdente dal cuore d’oro” ai margini della legge (Gli spietati - 1992 - di e con Clint Eastwood, in cui lavora anche con Gene Hackman e Richard Harris, Le ali della libertà - 1994 - di Frank Darabont) è insieme a Brad Pitt sulle tracce di un pericoloso serial killer (interpretato da Kevin Spacey) nel lugubre poliziesco Seven (1995) di David Fincher.

Ancora nel ruolo di un ispettore di polizia a caccia di serial killer, ne Il collezionista (1997) di Gary Fleder, offre un’altra straordinaria performance in Amistad (1997) di Steven Spielberg.

Dopo una serie di film di genere che esaltano ulteriormente la sua maschera di dolente e disillusa umanità (Pioggia infernale - 1998 - di Mikael Salomon, Under Suspicion - 2000 - di Stephen Hopkins, in cui lavora con Gene Hackman e Monica Bellucci, Nella morsa del ragno - 2001 - di Lea Tamahori, L’acchiappasogni - 2003 - di Lawrence Kasdan), vince un meritato Oscar come Miglior Attore Protagonista per la sua superlativa performance dell’anziano e solitario aiuto allenatore della palestra diretta da Clint Eastwood in Million Dollar Baby (2004) di C. Eastwood, film in cui lavora “per sottrazione”, conferendo alla sua recitazioni i tratti liberi di una sorta di improvvisazione jazz.

Divenuto ormai un’istituzione nel cinema hollywoodiano, negli anni successivi interpreta spesso il ruolo di autorevole “mentore” che assiste ai destini dei protagonisti. È maestro di vita di un ragazzo nato e cresciuto a contatto con la violenza della mafia in Danny The Dog (2005) di Louise Leterrier; uno scienziato che fornisce a Batman gli strumenti tecnologici per affrontare il male in Batman Begins (2005) di Christopher Nolan; un saggio invalido amico di Robert Redford ne Il vento del perdono (2005) di Lasse Hallstrom, in cui lavora anche con Jennifer Lopez; un boss della malavita in Slevin - Patto criminale (2006) di Paul McGuigan.

Nello stesso anno è produttore di 10 cose di noi (2006) di Brad Silberling, in cui recita il ruolo di un vecchio attore in declino che fa amicizia con una cassiera spagnola.

Appare anche in Gone Baby Gone (2007) di Ben Affleck e insieme al coetaneo Jack Nicholson nel malinconico Non è mai troppo tardi (2007) di Rob Reiner, in cui è un malato terminale deciso a vivere al massimo i suoi ultimi giorni di vita.

Ancora attivo in età avanzata, i suoi film più recenti sono stati Invictus - L’invincibile (2009) di Clint Eastwood, in cui interpreta magistralmente Nelson Mandela (in perfetta fusione con il personaggio, più o meno come Kirk Douglas nel ruolo del pittore olandese Vincent van Gogh in Brama di vivere - 1956 - di Vincente Minnelli, o Anthony Quinn nel ruolo dell’armatore greco Aristotele Onassis ne Il magnate greco - 1978 - di Jack Lee Thompson), Red (2010) di Robert Schwentke, L’incredibile storia di Winter il delfino (2011), The Magic of Belle Isle (2012) di Rob Reiner, Now You See Me - I maghi del crimine (2013) di Louis Leterrier, Lucy (2014) di Luc Besson, Last Knights (2015) di Kazuazi Kiriya, Now You See Me 2 (2016) di John M. Chu, Insospettabili sospetti (2017) di Zach Braff.