Nato a Long Island - a New York - nel 1934, dopo alcune apparizioni televisive, esordisce al cinema in Giorni senza fine (1961) di Phil Karlson, film che prepara un’intensa stagione (che durerà per circa vent’anni) dapprima da comprimario e poi da protagonista dal western psicologico (Invito a una sparatoria - 1964 - di Richard Wilson) al film di spionaggio (l’ottimo Quiller memorandum - 1966 -, scritto da Harold Pinter, diretto da Michael Anderson ed interpretato anche da Senta Berger e Max von Sydow).

A prove drammatiche (Loving, gioco crudele - 1970 - di Irving Kershner) e di grande intensità (Il mio uomo è una canaglia - 1971 - di Ivan Passer) alterna commedie più indiavolate ed eccentriche (Il gufo e la gattina - 1970 - di Herbert Ross, con Barbra Streisand, Un tocco di classe - 1973 - di Melvin Frank, con Glenda Jackson, California Poker - 1974 - di Robert Altman).

Negli anni Ottanta e Novanta, sia pur continuando a lavorare a pieno ritmo, la sua carriera cinematografica si avvia verso un rapido declino e Segal si orienta al serial televisivo o al film tv (Intrigo a Berlino - 1984 - di James Dearden). Le apparizioni al cinema diventeranno sempre più marginali (Senti chi parla - 1989 - di Amy Heckerling, con Kristy Alley e John Travolta, Giorni di gloria… giorni d’amore - 1991 - di Mark Rydell, Un orso chiamato Arturo - 1992 - di Sergio Martino, con Carol Alt, Senti chi parla adesso! - 1993 - di Tom Ropelewski, con Kristy Alley, John Travolta ed Elias Koteas, Caccia mortale - 1993 - di Vic Armstrong, Da morire - 1995 - di Gus Van Sant, Babysitter... Un thriller - 1995 - di Guy Ferland, Il rompiscatole - 1996 - di Ben Stiller, L’amore ha due facce - 1996 - di Barbra Streisand, con B. Streisand e Jeff Bridges).

Fra gli altri titoli ricordiamo Il bellico Il giorno più lungo (1962) di Ken Annakin e Andrew Marton, Act One (1963) di Dore Schary, Squadra di emergenza (1964) di John Rich, Qualcuno da odiare (1965) di Bryan Forbes, La nave dei folli (1965) di Stanley Kramer, con Vivien Leigh (al suo ultimo film), Chi ha paura di Virginia Woolf? (1966), tratto dall’opera teatrale omonima di Edward Albee, diretto da Mike Nichols ed interpretato da Elizabeth Taylor e Richard Burton, Né onore né gloria (1966) di Mark Robson, con Claudia Cardinale, Il massacro del giorno di San Valentino (1967) di Roger Corman, Addio Braverman (1968) di Sidney Lumet, Non si maltrattano così le signore (1968) di Jack Smight, Il suo modo di fare (1968) di Franco Brusati, La stella del Sud (1969) di Sidney Hayers, Il ponte di Remagen (1969) di John Guillermin, Senza un filo di classe (1970) di Carl Reiner, La pietra che scotta (1972) di Peter Yates, con Robert Redford, Una pazza storia d’amore (1973) di Paul Mazursky, L’uomo terminale (1974) di Mike Hodges, L’uccello tutto nero (1975) di David Giler, Roulette russa (1975) di Lou Lombardo, La volpe e la duchessa (1976) di Melvin Frank, Rollercoaster - Il grande brivido (1977) di James Goldstone, con Richard Widmark ed una giovanissima Helen Hunt (al suo esordio cinematografico), Non rubare se non è strettamente necessario (1977) e Qualcuno sta uccidendo i più grandi cuochi d’Europa (1978), entrambi diretti da Ted Kotcheff, Marito in prova (1979) di Melvin Frank, L’ultima coppia sposata (1980) di Gilbert Cates, Il pollo si mangia con le mani (1981) di Michael Schultz, Sfida alla vita (1985) di Michael Tuchner, Scherzare con il fuoco (1985) di Burt Reynolds.

Dopo il 2000, sia pur diradando notevolmente la sua attività, appare in film come Heights (2004) di Chris Terrio, 13 giorni a Las Vegas (2007) di Charlie Picerni, Made for Each Other (2009) di Daryl Goldberg, 2012 (2009) di Roland Emmerich, Amore & altri rimedi (2010) di Edward Zwick, Elsa & Fred (2014) di Michael Radford.

A partire dal 2013 fa parte del cast della serie televisiva The Goldbergs, tuttora in corso.