Nato nella capitale francese nell’aprile 1930, nel ’49 entra al Centre d'Art Dramatique de la rue Blanche e in seguito nel Conservatoire national supérieur d'art dramatique (dove è compagno di studi di Jean-Paul Belmondo).

Dopo il servizio militare, a partire dal ’54 lavora come attore di teatro con la Compagnie Grenier Hussenot, dove viene notato per la sua versatilità nell'interpretare sia i ruoli brillanti sia quelli drammatici.

Il suo esordio cinematografico avviene alla fine degli anni Cinquanta, con ruoli secondari in Rencontre a Paris (1956) di Georges Lampin, in cui non viene accreditato, e La venere della gang (1958) di Michel Deville e Charles Gérard.

Negli anni Sessanta prende parte a Cartouche (1962) di Philippe De Broca, in cui lavora con il suo amico Jean-Paul Belmondo e con Claudia Cardinale, ed ai primi tre film della saga cinematografica di Angelica (Angelica - 1964 -,  Angelica alla corte del re - 1965 - e La meravigliosa Angelica - 1966 -), tutti diretti da Bernard Borderie ed interpretati da Michèle Mercier.

All’inizio degli anni Settanta la svolta nella sua carriera. Jean Rochefort ottenne un ruolo di maggior rilievo ne La Divorziata (1972) di Serge Korber, una coproduzione franco-italiana in cui interpreta il ruolo dell’ex-marito di Annie Girardot e padre della giovane Claude Jade.

Negli anni immediatamente successivi appare ne L’idolo della città (1973) di Yves Robert e in due film di Bertrand Tavernier (L'orologiaio di Saint-Paul - 1974  - e Che la festa cominci... - 1975 -, con cui vince un Premio César come Miglior Attore Non Protagonista), entrambi insieme a Philippe Noiret. Nello stesso anno ottiene un grande successo con la commedia Certi piccolissimi peccati (1975) di Yves Robert.

Nel ’77 interpreta L’uomo del fiume di Pierre Schoendoerferr, con cui vince un Premio César come Miglior Attore Protagonista.

Notevole la sua performance in Tandem, in cui lavora con Gérard Jugnot interpretando il ruolo del presentatore Michel Mortez.

Molto attivo anche in televisione (dal 1957 al 2010), per il pubblico italiano è noto soprattutto per il ruolo di Fernando Mondego (poi conte di Fernand De Morcef), uno fra i traditori di Edmond Dantès (interpretato da Gerard Depardieu) ne Il conte di Montecristo (1998), sceneggiato tv in quattro episodi tratto dall'omonimo libro di Alexandre Dumas padre e diretto da Josée Dayan.

Molto presente ancora in età avanzata dopo circa sessant’anni di carriera, i suoi ultimi film sono stati El artista y la modelo (2012) di Fernando Trueba e Florida (2015) di Philippe Le Guay.

All’inizio degli anni Sessanta, nel corso delle riprese del già citato Cartouche, scopre una grande passione per i cavalli e per l'equitazione, passione che lo porterà a diventare allevatore, ad acquistare un maneggio (Le Haras de Villequoy, che ancora possedeva) e, a partire dal 2003, a far da consulente di equitazione per la televisione francese.