Nato a New York nel 1940, fra la fine degli anni Cinquanta e l’inizio dei Sessanta recita in teatro ed in televisione.

Esordisce al cinema con una piccola apparizione in Irma la dolce (1963) di Billy Wilder, con Jack Lemmon e Shirley McLaine e, l’anno dopo, è un pericoloso criminale in Un giorno di terrore (1964) di Walter Grauman, con Olivia de Havilland.

Atletico, scanzonato e molto versatile, è interprete ideale per ruoli d’azione, come avviene in Linea rossa 7000 (1965) di Howard Hawks, Doringo! (1965) di Arnold Laven, El Dorado (1967) di H. Hawks, con John Wayne, Robert Mitchum, Arthur Hunnicutt, Michèle Carey, Charlene Holt, Edward Asner e Christopher George, Assassinio al terzo piano (1967) di Curtis Harrington, 7 volontari dal Texas (1968) di William Hale, Conto alla rovescia (1968) di Robert Altman e Sfida negli abissi (1969) di William A. Graham.

Alla fine degli anni Sessanta è protagonista di Non torno a casa stasera (1969) di Francis Ford Coppola, in cui è perfetto nel personaggio di uno svanito ex giocatore di football americano (sport praticato dallo stesso J. Caan).

Figura dai tratti vigorosi, negli anni Settanta affina ulteriormente la sua recitazione e, nei vent’anni successivi, lavora come protagonista o comprimario di alto livello in molti film, fra cui Il padrino (1972) di Francis Ford Coppola, con Marlon Brando, Al Pacino, Diane Keaton, Talia Shire, John Cazale, Al Lettieri e Sterling Hayden, e con cui ottiene una Nomination all’Oscar come Miglior Attore Non Protagonista, Funny Lady (1975) di Herbert Ross, con Barbra Streisand, l’indiavolato Rollerball (1975) di Norman Jewison, Killer Elite (1975) di Sam Peckinpah, Arriva un cavaliere libero e selvaggio (1978) di Alan J. Pakula, Strade violente (1981) di Michael Mann.

Dopo circa quattro anni di assenza, torna a recitare in Giardini di pietra (1987) di Francis Ford Coppola, Dick Tracy (1990) di (e con) Warren Beatty, Misery non deve morire (1990) di Rob Reiner, con Kathy Bates (Oscar come Miglior Attrice Protagonista), Omicidi di provincia (1993) di Steve Kloves, con Dennis Quaid, Meg Ryan e Gwyneth Paltrow.

Fra gli altri film ricordiamo Coniglio, non scappare (1970) di Jack Smight, Appuntamento con una ragazza che si sente sola (1971) di Herbert Ross, L’inseguito (1973) di Howard Zieff, Un grande amore da 50 dollari (1973), Una strana coppia di sbirri (1974) di Richard Rush, 40.000 dollari per non morire (1974) di Karel Reisz, Gone With the West (1975) di Bernard Girard, L’ultima follia di Mel Brooks (1976) di Mel Brooks, Quell’ultimo ponte (1977) di Richard Attenborough, Un altro uomo, un’altra donna (1977) e Bolero (1981) di Claude Lelouch, Capitolo secondo (1979) di Robert Moore, C’è… un fantasma tra noi due (1982) di Robert Mulligan, Alien Nation (1988) di Graham Baker, Destino trasversale (1991) di Adam Rifkin, Giorni di gloria… giorni d’amore (1991) di M. Rydell, Honeymoon in Las Vegas (1992) di Andrew Bergman, The Program (1993) di David S. Ward, A Boy Called Hate (1995) di Mitch Marcus, Duello tra i ghiacci (1996) di Nils Gaup, Un colpo da dilettanti (1996) di Wes Anderson, Eraser - L’eliminatore (1996) di Chuck Russell, Bulletproof (1996) di Ernest Dickerson, This is My Father (1998) di Paul Quinn, Mickey occhi blu (2000) di Kelly Makin, The Yards (2000) di James Gray, Luckytown (2000) di Paul Nicholas, Le vie della violenza (2000) di Christopher McQuarrie, Viva Las Nowhere (2001) di Jason Bloom, The Specialist (2001) di Ric Roman Waugh, City of Ghosts (2002) di Matt Dillon, Dogville (2003) di Lars von Trier, This Thing of Ours (2003) di Danny Provenzano, Jericho Mansion (2003) di Alberto Sciamma, Elf - Un elfo di nome Buddy (2003) di Jon Favreau, Agente Smart - Casino totale (2008) di Peter Segal, New York, I Love You (2009) di Brett Ratner, Middle Men (2009) di George Gallo, Mercy (2009) di Patrick Hoelck, Henry’s Crime (2010) di Malcom Venville, Detachment - Il distacco (2011) di Tony Kaye.

In epoche più recenti è apparso in Small Apartments (2012) di Jonas Akerlund, For the Love of Money (2012) di Ellie Kanner, Blood Ties - La legge del sangue (2013) di Guillaume Canet, A Fighting Man (2014) di Damian Lee, Preggoland (2014) di Jacob Tierney, The Outsider (2014) di Brian A. Miller, The Throwaways - Gli specialisti (2015) di Tony Bui, Sicilian Vampire (2015) e The Red Maple Leaf (2016) di Frank D’Angelo, Undercover Grandpa (2016) di Erik Canuel, The Good Neighbor (2016) di Kasra Farahani, Good Enough (2016) di Anna Rose King, JL Ranch (2016) di Charles Robert Carner, Holy Lands (2017) di Amanda Sthers, Undercover Grandpa (2017) di Erik Canuel, Con Man (2018) di Bruce Caulk, Old of Blue - Indagine pericolosa (2018) di Carol Morley, JL Family Ranch 2 (2020) di Sean McNamara.

Nel 1980 fa la sua unica esperienza dietro alla macchina da presa, dirigendo ed interpretando il drammatico Li troverò ad ogni costo.

Attivo anche in televisione, è apparso in vari film tv (La canzone di Brian - 1971 - di Buzz Kulik, Marlowe - Omicidio a Poodle Springs - 1998 - di Bon Rafelson, Warden of Red Rock - 2001 - di Stephen Gyllenhaal, Come all’inferno - 2001 - di Mikael Salomon, The Lathe of Heaven - 2002 - di Philip Haas, Blood Crime - L’aggressione - 2002 - di William A. Graham, Gioventù ribelle - 2004 - di Paul Johansson, Disposta a tutto - 2008 - di Jerry Ciccoritti, Wuthering High - 2015 - di Anthony Di Blasi), in alcuni episodi di telefilm e serie tv (La città in controluce, Route 66, Alfred Hitchcock Presents, Gli intoccabili, Il dottor Kildare, L’ora di Hitchcock, Carovane verso il West, F.B.I., Les uns et les autres, NewsRadio, Untitled Eric Gilliland Project, Crossing Jordan, The Annoying Orange, Hawaii Five-0, Magic City) e, dal 2003 al 2007 ha fatto parte del cast del telefilm poliziesco Las Vegas, di cui interpreta circa novanta episodi.