Nato a New York nel giugno 1928, nel '46 comincia a lavorare per il “New York Daily News”, dove rimane per quattro anni come fumettista e illustratore.

Nel ’51 debutta a teatro nel Maine in Detective Story.

Entrato alla prestigiosa Actor’s Studio di Lee Strasberg nel ’55, debutta a Broadway nel ‘57 ed esordisce al cinema due anni dopo, in ruoli secondari in film quali 38° parallelo: missione compiuta (1959) di Lewis Milestone, in cui lavora con Gregory Peck, la commedia Gazebo (1959) di George Marshall, con Glenn Ford, e soprattutto il celebre thriller Intrigo internazionale (1959) di Alfred Hitchcock, in cui lavora con Cary Grant, Eva Marie Saint e James Mason, offrendo una superlativa performance nel ruolo di Leonard, il freddo, inquietante ed efficientissimo sicario al servizio delle spie del controspionaggio.

Una volta smessa la toga di Rufio in Cleopatra (1963) di Joseph L. Mankiewicz, passa al piccolo schermo, interpretando con grande successo i telefilm Mission: impossible (1967-69) e Spazio 1999 (1974-77).

Dopo altri film (Decisione a mezzanotte - 1963 - di Lewis Allen, La più grande storia mai raccontata - 1965 - di George Stevens, il western Nevada Smith - 1966 -  di Henry Hathaway, con Steve McQueen, Omicidio al neon per l’ispettore Tibbs - 1970 - di Gordon Douglas, con Sidney Poitier, Rosolino Paternò, soldato … - 1970 - di Nanny Loy, Una città chiamata bastarda - 1971 - di Robert Parrish, Pistola nera - Spara senza pietà - 1972 - di Robert Hartford-Davis, il poliziottesco Una magnum speciale per Tony Saitta - 1977 - di Martin Herbert, alias Alberto De Martino, Meteor - 1979 - di Ronald Neame, Incontri stellari - 1980 - di Greydon Clark, Nel buio da soli - 1982 - di Jack Sholder, Trial by Terror - 1983 - di Hildy Brooks, Codice d’accesso (1984) di Mark Sobel, L’isola del tesoro - 1985 - di Raul Ruiz, Run If You Can - 1987 - di Virginia L. Stone ) e numerose apparizioni televisive (Doppio shock  1973 -, episodio de Il Tenente Colombo, un episodio - 1984 - de La signora in giallo, e molte altre), la sua carriera cinematografica prosegue con Tucker - Un uomo e il suo sogno  (1988) di Francis Ford Coppola, con cui ottiene una Nomination all'Oscar come Miglior Attore Non Protagonista e con il ruolo del losco marito di Crimini e misfatti (1989) di (e con) Woody Allen, seconda candidatura all’Oscar come Miglior Attore Non Protagonista.

Tuttavia, a fargli portare a casa l'ambito Premio sarà, qualche anno dopo, il suo struggente ritratto di Bela Lugosi in Ed Wood (1994) di Tim Burton.

In seguito, oltre alla sua attività di actor coach presso l'Actor's Studio, appare in Time is Money (1994) di Paolo Harzman, City Hall (1996) di Harold Becker, X Files - Il film (1998) di Rob S. Bowman, Il giocatore - Rounders (1998) di John Dahl, EdTv (1999) di Ron Howard, Shiner - Diamante (2000) di John Irvin, The Majestic (2001) di Frank Darabont, Hollywood Homicide (2002) di Ron Shelton, The Commission (2003) di Mark Sobel, The Aryan Couple (2004) di John Daly, An Existential Affair (2006) di Peggy Bruen.

Attivo anche in età avanzata, i suoi ultimi film sono stati  Ember -  Il mistero della città di luce (2008) di Gil Kenan, Ivory (2010) di Andrew W. Chan, Entourage (2014) di Doug Ellin e Remember (2015) di Atom Egoyan, suo ultimo film, in cui ha recitato con il quasi coetaneo Christopher Plummer.