Nato a Great Neck - nello Stato di New York - nel febbraio 1934 da genitori figli di emigrati russi, si diploma alla Columbia University e frequenta l’Actor’s Studio.

Dopo alcune apparizioni televisive, esordisce al cinema all’inizio degli anni Sessanta in Giorni senza fine (1961) di Phil Karlson, con Ben Gazzara e Fredric March, e, nel ’62, fa parte del cast corale di Il giorno più lungo di Ken Annakin e Andrew Marton, tratto dall’omonimo saggio storico (1959) di Cornelius Ryan sullo sbarco in Normandia. Segue  un’intensa stagione - che durerà per circa vent’anni - da comprimario e poi da protagonista, dal western psicologico (Invito a una sparatoria - 1964 - di Richard Wilson) al film di spionaggio (l’ottimo Quiller memorandum - 1966 -, scritto da Harold Pinter, diretto da Michael Anderson ed interpretato anche da Senta Berger e Max von Sydow); è un pittore nel drammatico-grottesco  La nave dei folli (1965) di Stanley Kramer, con Simone Signoret e Vivien Leigh (al suo ultimo film); ottiene una Nomination all’Oscar come Miglior Attore Non Protagonista per Chi ha paura di Virginia Woolf? (1966) di Mike Nichols, tratto dall’opera teatrale omonima di Edward Albee, interpretato da Elizabeth Taylor e Richard Burton.

A prove drammatiche (Loving, gioco crudele - 1970 - di Irving Kershner) e di grande intensità (Il mio uomo è una canaglia - 1971 - di Ivan Passer) alterna commedie più indiavolate ed eccentriche (Il gufo e la gattina - 1970 - di Herbert Ross, con Barbra Streisand, Un tocco di classe - 1973 - di Melvin Frank, con Glenda Jackson, California Poker - 1974 - di Robert Altman, con Elliot Gould);

Negli anni Ottanta e Novanta, sia pur continuando a lavorare a pieno ritmo, la sua carriera cinematografica si avvia verso il declino e Segal si orienta al film tv (Intrigo a Berlino - 1984 - di James Dearden) ed alle serie televisive.

Le sue apparizioni al cinema si orienteranno a ruoli di secondo piano, come ad esempio Senti chi parla (1989) di Amy Heckerling, con Kristie Alley e John Travolta, Giorni di gloria… giorni d’amore (1991) di Mark Rydell, Un orso chiamato Arturo (1992) di Sergio Martino, con Carol Alt, Senti chi parla adesso! (1993) di Tom Ropelewski, con K. Alley, J. Travolta e Elias Koteas, Caccia mortale (1993) di Vic Armstrong, Da morire (1995) di Gus Van Sant, Babysitter... Un thriller (1995) di Guy Ferland, Il rompiscatole (1996) di Ben Stiller, L’amore ha due facce (1996) di Barbra Streisand, con B. Streisand, Jeff Bridges, Lauren Bacall e Pierce Brosnan.

Fra gli altri film ricordiamo Squadra di emergenza (1964) di John Rich, Qualcuno da odiare (1965) di Bryan Forbes, Né onore né gloria (1966) di Mark Robson, con Claudia Cardinale, Il massacro del giorno di San Valentino (1967) di Roger Corman, Addio Braverman (1968) di Sidney Lumet, Non si maltrattano così le signore (1968) di Jack Smight, con Rod Steiger e Lee Remick, Il suo modo di fare (1968) di Franco Brusati, Il ponte di Remagen (1969) di John Guillermin, La pietra che scotta (1972) di Peter Yates, con Robert Redford, Una pazza storia d’amore (1973) di Paul Mazursky,  Roulette russa (1975) di Lou Lombardo, La volpe e la duchessa (1976) con Goldie Hawn e Marito in prova (1979) con G. Glackson entrambi di Melvin Frank, Rollercoaster - Il grande brivido (1977) di James Goldstone, con Richard Widmark, Henry Fonda ed una giovanissima Helen Hunt (al suo esordio cinematografico), Non rubare se non è strettamente necessario (1977) e Qualcuno sta uccidendo i più grandi cuochi d’Europa (1978), di Ted Kotcheff, Sfida alla vita (1985) di Michael Tuchner, Scherzare con il fuoco (1985) di Burt Reynolds, Heights (2004) di Chris Terrio, 13 giorni a Las Vegas (2007) di Charlie Picerni, 2012 (2009) di Roland Emmerich, Amore & altri rimedi (2010) di Edward Zwick, Elsa &Fred (2014) di Michael Radford, con Christopher Plummer e Shirley MacLaine.

Molto attivo, come già detto, anche in televisione, è apparso in vari film tv (Death of a  Salesman - 1966 - di Alex Segal, Le piccanti avventure di Robin Hood - 1984 - di Ray Austin) ed in alcuni episodi di serie e miniserie (Channing - 1963 -, La signora in giallo - 1993 -, Just Shoot Me - 1997-2003, circa centocinquanta episodi -, Law & Order - Unità vittime speciali - 2003 -, Retired at 35 - 2011-13, oltre venti episodi -, The Goldbergs - 2013-21, oltre centosettanta episodi).