Nato a Roma nel settembre 1938, arrivò al cinema come stuntman alla fine degli anni Cinquanta. Esordisce in un piccolo ruolo in Venezia, la luna e tu (1958) di Dino Risi, interpretato da Alberto Sordi.

L’anno dopo il regista americano William Wyler lo nota a Cinecittà e lo sceglie per il ruolo di un centurione nel celeberrimo kolossal Ben-Hur (1959), interpretato da Charlton Heston e Stephen Boyd. Un’apparizione (non accreditata) che gli farà da “trampolino di lancio”.

Tre anni dopo Duccio Tessari lo chiama per interpretare il biondo Krios in Arrivano i titani (1962), film di grande successo commerciale anche all'estero e che affronta con ironia il genere mitologico.

È un ufficiale garibaldino ne Il Gattopardo (1963) di Luchino Visconti, tratto dall’omonimo libro (Premio Strega 1959) di Giuseppe Tomasi di Lampedusa, ed in cui lavora con Burt Lancaster, Claudia Cardinale, Alain Delon, Paolo Stoppa, Serge Reggiani, Romolo Valli, Rina Morelli, con il quasi coetaneo Mario Girotti - non ancora Terence Hill - e con una giovanissima Ottavia Piccolo.

Seguono numerosi film di grande successo, fra cui Angelica (1964), Angelica alla corte del re (1965) e La meravigliosa Angelica (1965), tutti e tre diretti da Bernard Borderie ed interpretati da Michèle Mercier.

In quegli anni arriva anche il filone dei cosiddetti “spaghetti western", che lo consacra definitivamente facendo enormi incassi al botteghino con film quali Una pistola per Ringo (1965) e Il ritorno di Ringo (1966), entrambi diretti da Duccio Tessari, Adiós gringo (1965) di Giorgio Stegani, Un dollaro bucato (1965), Per pochi dollari ancora (1966) e Wanted (1967), tutti e tre diretti da Giorgio Ferroni, I lunghi giorni della vendetta (1967) di Florestano Vancini, I giorni dell'ira (1967) di Tonino Valerii, in cui lavora con Lee Van Cleef (noto in Italia Per un pugno di dollari - 1965 - e Il buono, il brutto, il cattivo - 1966 -, entrambi diretti da Sergio Leone, La resa dei conti - 1967 - di Sergio Sollima, Da uomo a uomo - 1967 - di Giulio Petroni, Al di là della legge - 1968 - di Giorgio Stegani e molti altri). In alcuni i produttori lo fanno recitare sotto lo pseudonimo di Montgomery Wood.

Nel ’69, in Vivi o preferibilmente morti di Duccio Tessari ritrova Nino Benvenuti, suo ex compagno di leva (avevano prestato servizio insieme come vigili del fuoco alle Capannelle, a Roma) ed ormai pugile affermato.

Nel ‘70 ha la parte di Silvio Corbari,  eroe e partigiano faentino, in Corbari di Valentino Orsini e, l’anno seguente, interpreta Robin Hood ne L'arciere di fuoco (1971) di Giorgio Ferroni. 

Nel ’73 fa coppia con Bud Spencer in Anche gli angeli mangiano fagioli di E.B. Clucher (nome d’arte di Enzo Barboni), esilarante parodia del gangster movie. L’anno dopo torna sul genere in coppia con Ricky Bruch in Anche gli angeli tirano di destro (1974), anch’esso diretto da E. B. Clucher.

Cambiando genere, Giuliano Gemma appare anche in film più impegnati, quali Il deserto dei Tartari (1977) di Valerio Zurlini, tratto dall’omonimo libro di Dino Buzzati, Il prefetto di ferro (1977) e Corleone (1978), entrambi diretti da Pasquale Squitieri, e Un uomo in ginocchio (1979) di Damiano Damiani.

Negli anni Ottanta prende parte a Tenebre (1982) di Dario Argento e Speriamo che sia femmina (1986) di Mario Monicelli e dà il volto a Tex Willer in Tex e il signore degli abissi (1985) di Duccio Tesari, originariamente pensato per la televisione. Una curiosità riguarda il fatto che, grazie all'enorme successo avuto dai suoi film in Giappone, all'inizio dello stesso decennio la casa automobilistica Suzuki ha prodotto due modelli di scooter con il suo nome.

A partire dall’inizio degli anni Novanta lavora soprattutto per il piccolo schermo.

Fra gli altri film ricordiamo Arrangiatevi! (1959) di Mauro Bolognini, I cosacchi (1960) di Giorgio Rivalta, Il pianeta degli uomini spenti (1961) di Antonio Margheriti, Boccaccio ’70 (1962) film a episodi diretto da Vittorio De Sica, Federico Fellini, Mario Monicelli e Luchino Visconti, La schiava di Bagdad (1963) di Pierre Gaspard-Huit, La rivolta dei pretoriani (1964) di Alfonso Brescia, Erik il vichingo (1965) di Marco Caiano, Arizona Colt (1966) di Michele Lupo, … e per tetto un cielo di stelle (1968) di Giulio Petroni, I bastardi (1968) di Duccio Tessari, Violenza al sole (1969) di Florestano Vancini, Il prezzo del potere (1969) di Tonino Valerii, L’amante dell’Orsa Maggiore (1971) di Valentino Orsini, Un uomo da rispettare (1972) di Michele Lupo, in cui lavora con il grande Kirk Douglas, Il bianco, il giallo, il nero (1974) di Sergio Corbucci, in cui recita con Eli Wallach (in Italia noto per Il buono, il brutto, il cattivo di Sergio Leone, I quattro dell’Ave Maria - 1968 - di Giuseppe Colizzi), Africa Express (1975) di Michele Lupo, in cui lavora con Ursula Andress e Jack Palance, Safari Express (1977) di Duccio Tessari, California (1977) di Michele Lupo, Il grande attacco (1978) di Umberto Lenzi, Sella d’argento (1978) di Lucio Fulci, Circuito chiuso (1979) di Giuliano Montaldo, L’avvertimento (1980) di Damiano Damiani, La baraonda (1980) di Florestani Vancini, Commando d’assalto (1980) di Raoul Coutard, Le cercle des passions (1983) di Claude d’Anna, Claretta (1984) di Pasquale Squitieri, Il padre americano (1987) di Philippe Charigot, Qualcuno pagherà (1988) di Sergio Martino, L’agguato (1988) di Gerardo Herrero, Il morso del ragno (1988) di Claude d’Anna, Un bel dì vedremo (1996) di Tonino Valerii, Un uomo perbene (1998) di Maurizio Zaccaro, La donna del delitto (2000) di Corrado Colombo.

La sua ultima apparizione è stata in To Rome With Love (2012) di Woody Allen.

Nel corso della sua carriera cinematografica ha interpretato oltre cento film e ricevuto numerosi premi fra cui il David di Donatello (per Il deserto dei Tartari), la Grolla d’Oro (per Corleone e Un uomo in ginocchio), tre Premi De Sica, un Nastro d’Argento alla Carriera (2008), un Globo d’Oro alla Carriera (2008.