Nato a Roma nel 1926, dopo aver conseguito il diploma all'Accademia Nazionale d'Arte Drammatica di Roma, nel ’48 debutta a Venezia  come mimo e ballerino ne Le maleheur d'Orphée di Milhaud; nello stesso anno, insieme ad Orazio Costa, entra al Piccolo Teatro di Roma.

In radio arriva l’anno seguente - nel ‘49 - quando viene scritturato da Nino Meloni per la Compagnia del teatro comico musicale di Radio Roma.

Attore in grado di dar vita a notevoli caratterizzazioni e dotato di una naturale propensione alla ricerca delle sfumature, a partire dalla fine degli Anni Quaranta, partecipa alle trasmissioni di rivista di maggior successo (La bisarca di Garinei e Giovannini, 1949-50, Briscola di Puntoni e Verde,1949-51, Giringiro - 1951 -, Caccia al tesoro, 1952-54, di Garinei e Giovannini, La canasta di Fiorentini, Rosso e nero, 1951-57,  e Campo de' fiori - 1955 -, diretto da Giovanni Gigliozzi).

Elegante e versatile, nel ‘54 debutta come cantante nell'operetta di Alfredo Cuscinà La barca dei comici, per poi dedicarsi a un'intensa attività teatrale insieme a Febo Conti, Carlo Dapporto, Lauretta Masiero, Wanda Osiris  e Antonella Steni, con la quale ha formerà una fra le coppie più affiatate dello spettacolo leggero italiano.

Negli anni Sessanta, insieme a Dino Verde - con il quale rimarrà fino agli  anni Ottanta - prende parte a numerose trasmissioni radiofoniche di varietà, fra cui Urgentissimo, Scanzonatissimo, con Antonella Steni e Alighiero Noschese, I discoli per l'estate (1974-75) e 20.30 Express, sempre insieme alla Steni.

Molto attivo anche come doppiatore cinematografico, è stato la voce italiana dell'attore francese Jacques Dufilho in tutti i film della serie sul Colonnello Buttiglione e fra i suoi numerosi lavori, ha doppiato Donald O'Connor in Cantando sotto la pioggia (1952) di Stanley Donen. Ha doppiato anche Stan Laurel - della coppia Stanlio e Ollio – insieme a Pino Locchi - che dava la voce a Oliver Hardy - in alcuni film ridoppiati fra cui Allegri eroi (1957) e La bomba comica (1958). Ha doppiato anche due personaggi Disney: Paperino, nei cartoni degli anni Sessanta e Settanta - come seconda voce alternato ad Oreste Lionello - e Le tont ne La bella e la bestia (presente nella colonna sonora in duetto con Carlo Lepore). Negli anni Sessanta e Settanta, ha doppiato anche Daffy Duck, come la seconda voce nei cortometraggi dei Looney Tunes e Merrie Melodies.

Elio Pandolfi ha lavorato molto all'interno di Carosello, dando voce a una serie di personaggi animati, soprattutto della Paul Film di Paul Campani. In particolare era la voce di Toto del duo "Toto e Tata" - interpretata da Isa Di Marzio -.

Al cinema - esordisce nel ‘52 in Altri tempi di Alessandro Blasetti. Oltre che per vari ruoli secondari (e per la versione cinematografica di Scanzonatissimo), viene ricordato come doppiatore di talento: sua la voce di Groucho Marx e di Spencer Tracy in alcuni ridoppiaggi degli anni Ottanta e quella di vari personaggi in 8½ di Fellini (1963), e di Joel Grey in Cabaret (1972) di Bob Fosse.

Negli anni Settanta, fra i numerosi impegni teatrali (Alleluja brava gente - 1970 - di Garinei e Giovannini, Le femmine puntigliose di Carlo Goldoni diretto da Giuseppe Patroni Griffi nel 1977, Il vizietto - 1979 - di Luciano Salce) e televisivi (vari spettacoli sceneggiati tratti da romanzi), continua a partecipare ad alcune trasmissioni radiofoniche come Il fischiatutto (1971) e Lei non sa chi sono io! (1972).

Per il Teatro Verdi di Trieste, nel Teatro Stabile “Politeama Rossetti”, nel ‘72 interpreta il Conte Boni Cancianu, ne La principessa della Czarda, nel ‘74 Leopoldo Branmayer in Al cavallino bianco, nel ‘79 Pancrazio XIV ne La duchessa di Chicago (per la regia di Gino Landi), nel ‘92 L'Imperatore Francesco Giuseppe in Parata di primavera (Frühjahrsparade) di Robert Stolz, nel ‘93 Gioacchino XIII Principe di Flausenthurn in Sogno di un valzer di Oscar Strauss, nel 2002 Toby Gutter in Scugnizza, nel 2005 il Narratore in Gasparone di Karl Millöcker e, nel 2008, il capo degli eunuchi ne Il paese del sorriso.

Nell’88, Al Teatro “La Fenice” di Venezia interpreta Njegus ne La vedova allegra (regia di Mauro Bolognini) e, due anni dopo, interpreta lo stesso ruolo al Teatro dell'Opera di Roma (sempre per la regia di Mauro Bolognini).

Fra la fine degli anni Ottanta e l’inizio dei Novanta, torna in radio - soprattutto come lettore - in trasmissioni come Mi racconti una fiaba? (1987-91), Impara l'arte e Il Signor Bonalettura, condotte da Luciano Rispoli. Continua a frequentare i microfoni della radio, partecipando al programma di Rai Radio Tre Hollywood Party e, a partire dal 2002, conducendo Di tanti palpiti.

Fra il 2004 e il 2005, finanziato dal Teatro “Il Primo” di Arnolfo Petri, si dedica all'operetta, interpretando i recital musicali Operetta mon amour (2004) e Le Vispe Terese (2005). In quello stesso biennio (2004/2005) assume la direzione artistica del Premio Nike per il Teatro e della Accademia Primostudio, diretta dallo stesso Arnolfo Petri.

Molto attivo anche in età avanzata, nel 2012, a ottantasei anni, è in scena al Teatro “Manhattan” di Roma con lo spettacolo Letterine per Silvia e altri sogni (scritto e diretto da Paolo Silvestrini).

Nel febbraio 2016, alla Casa del Cinema di Roma, Elio Pandolfi è stato premiato con il Nastro d'Argento alla carriera per A qualcuno piacerà, documentario a lui stesso dedicato.