Nato a West Plains - nel Missouri - nel 1925, cresce a Danville (Illinois), dove frequenta le scuole fino al liceo. Fin da bambino si appassiona alla recitazione vedendo i film con Stanlio e Ollio e partecipa sovente alle recite scolastiche. Durante la Seconda guerra mondiale si arruola in Aviazione,  lavora come speaker radiofonico  e partecipa ad alcuni spettacoli.

Fra la fine degli anni Quaranta e l’inizio dei Cinquanta lavora presso emittenti televisive locali ad Atlanta e New Orleans.

Nel ’56 firma un contratto con la CBS in cui esordisce come ospite al CBS Cartoon Theater  e come attore in un episodio del Phil Silvers Show; partecipa anche a quiz e giochi televisivi ed appare in un episodio della serie tv Alfred Hitchcock Presents.

Tre anni dopo abbandona la CBS per Broadway, dove debutta nel musical Bye Bye Birdie (1960), con Chita Rivera, un grande successo con cui ottiene un Tony Award e viene notato dal regista, sceneggiatore e produttore Carl Reiner, che lo vuole per il ruolo di Rob Petrie nella sitcom The Dick Van Dyke Show (1961-1966, circa centosessanta episodi), interpretata con Mary Tyler Moore e Larry Matthews, che avrà un grande successo ed è oggi considerata fra i migliori cinquanta spettacoli televisivi di tutti i tempi.

Circa trent’anni dopo, tornerà ad una grande popolarità presso il pubblico televisivo con Un detective in corsia (1993-2001, circa centoottanta episodi) in cui recita con il figlio Barry Van Dyke (n. 1951), Victoria Rowell, Scott Baio, Charlie Schlatter, Michael Tucci, e, in alcuni episodi, Joanna Cassidy.

Fra il 2005 e il 2008 lavora nuovamente con suo figlio B. Van Dyke nei quattro film tv gialli della serie Lezioni di giallo (Fino a prova contraria - 2005 -, Il frutto dell'ambizione - 2006 -, Il purosangue - 2007 -, Il mistero della sala chiusa- 2008). 

Al cinema esordisce in Ciao, ciao Birdie (1963) di George Sidney, tratto dal già citato musical teatrale omonimo che lo aveva reso noto tre anni avanti, ed in cui recita con Janet Leigh.

Nel ’64 recita nella commedia La signora e i suoi mariti di Jack Lee Thompson, con Shirley MacLaine ed attori quali Robert Mitchum, Paul Newman, Dean Martin, Gene Kelly, Robert Cummings.

Nello stesso anno, chiamato dalla Disney, raggiunge l’apice del suo successo cinematografico con il celebre Mary Poppins di Robert Stevenson, interpretando il doppio ruolo dello spazzacamino Bert e di Mr. Dawes, il severo banchiere per cui lavora il padre di Jane e Michael (i due bambini protagonisti interpretati da Karen Dotrice e Matthew Garber). Il film vince cinque premi Oscar, fra i quali Miglior Attrice Protagonista (Julie Andrews, al suo esordio cinematografico). Anche la strepitosa performance di D. Van Dyke ottiene grandi consensi.

Ancora per la Disney lo troviamo in Il comandante Robin Crusoe (1966) di Byron Paul, liberamente tratto dal romanzo di Daniel Defoe Robinson Crusoe, con Nancy Kwan, e in L’incredibile furto di Mr. Girasole (1968) di Garson Kanin.

Negli anni Sessanta interpreta anche una serie di commedie brillanti come L’arte di amare (1965) di Norman Levinson, con Elke Sommer, Angie Dickinson e James Garner, Divorzio all’americana (1967) di Bud Yorkin, con Debbie Reynolds, Jason Robards e Jean Simmons, Ladri sprint (1967) di Delbert Mann, , Citty Citty Bang Bang (1968) di Ken Hughes, con cui torna alla commedia musicale, con  musiche dei fratelli Sherman - che avevano vinto l’Oscar per la  Migliore Colonna Sonora di Mary Poppins -, The Comic (1969) di C. Reiner, con Michele Lee e Mickey Rooney, e Una scommessa in fumo (1971) di Norman Lear.

A partire dagli anni Settanta, dirada le sue apparizioni cinematografiche privilegiando la televisione (The New Dick Van Dyke Show - 1971-74, oltre settanta episodi - e una superlativa performance nel ruolo del fotografo Galesko, protagonista di Una mossa sbagliata - 1974 -, episodio della serie Il Tenente Colombo)   

Torna al cinema nel ’79 con Uno strano caso di omicidio di Stanley Kramer.

Negli anni Ottanta appare in alcune serie tv, ad esempio in due episodi di Matlock (1986 e 1990), uno di Autostop per il cielo (1987), Airwolf (1987) e Jake & Jason Detectives (1991).

Negli anni successivi ha un ruolo in Dick Tracy (1990) di Warren Beatty, Una notte al museo (2006) Notte al museo - Il segreto del faraone (2014), entrambi di Shawn Levy.

In epoche ancor più recenti, irriducibile nonostante l’età molto avanzata, ha "colpito ancora" danzando su di un tavolo senza bisogno di controfigura tornando ad interpretare il ruolo del vecchio Mr. Dawes  in Il ritorno di Mary Poppins (2018) di Rob Marshall, rivelando una verve e un’agilità invidiabili.