Nato a New York nel settembre 1926 in una famiglia di origine ispanica e italiana, cresce ad Harlem ed abbandona la scuola a tredici anni per lavorare come lavapiatti e come cameriere in un hotel di Manhattan.

Nel’55 viene ammesso all’Actors’ Studio, dove partecipa alla pièce A Hatful of Rain (Un cappello pieno di pioggia) di Michael V. Gazzo, interpretato da Paul Richards e Anthony Franciosa. la rappresentazione ha molto successo ed arriva fino a Broadway, interpretata da Ben Gazzara, Shelley Winters, harry Guardino, nonché gli stessi P. Richards, A. Franciosa e H. Silva medesimo.

Nel frattempo aveva avviato la sua carriera cinematografica, recitando in una piccola parte in Viva Zapata! (1952) di Elia Kazan, con Marlon Brando e Anthony Quinn (Oscar come Miglior Attore Non Protagonista).

Negli anni successivi ottiene via via ruoli secondari di maggiori rilievo. fra i quali Un cappello pieno di pioggia (1957) di Fred Zinnemann, con A. Franciosa, Eva Marie Saint e Don Murray, alcuni ruoli da villain western - I tre banditi (1957) di Budd Boetticher, con Randolph Scott, Richard Boone e Skip Homeier, Sfida nella città morta (1958) di John Sturges, con Robert Taylor e Richard Widmark, Bravados (1958) di Henry King, con Gregory Peck, Joan Collins, Stephen Boyd, Albert Salmi ed un giovane Lee Van Cleef pre Sergio Leone, Il sentiero della rapina (1958) di Jesse Hibbs, con Audie Murphy e Walter Matthau, I ribelli del Kansas (1959) di Melvin Frank, con Jeff Chandler - ed altri ruoli secondari - Verdi dimore (1959) di Mel Ferrer, con Audrey Hepburn, Il cenerentolo (1960) di Frank Tashlin, Colpo grosso (1960) di Lewis Milestone, con Frank Sinatra, Dean Martin, Sammy Davis Jr e Angie Dickinson, Tre contro tutti (1962) di John Sturges, Va’ e uccidi (1962) di John Frankenheimer, con F. Sinatra, Laurence Harvey, Janet Leigh e Angela Lansbury.

Il suo primo ruolo da protagonista arriva nel ’63 con Johnny Cool, messaggero di morte di William Asher. Partecipa in ruoli da coprotagonista anche ad altri film quali La veglia delle aquile (1964), con Rock Hudson e Rod Taylor, e 5 per la gloria (1965), con Raf Vallone e Stewart Granger.

A partire dal ’66 comincia a lavorar molto anche in Italia, partecipando a numerose produzioni del filone western e poliziottesco, interpretando Un fiume di dollari (1966) di Carlo Lizzani, con Thomas Hunter. Negli anni successivi è protagonista di Assassination (1967) e Quella carogna dell’ispettore Sterling (1968) di Hal Brady, e La mala ordina (1972) di Fernando Di Leo, con cui ottiene la fama internazionale.

Fra il ’73 e il ’77 recita come protagonista, oltre che in Il boss (1973) di F. Di Leo, in film di registi quali Andrea Bianchi - Quelli che contano (1973) -, Umberto Lenzi -  Milano odia: la polizia non può sparare (1974), L’uomo della strada fa giustizia (1975), Il trucido e lo sbirro (1976) -, Giovanni Fago - Fatevi vivi, la polizia non interverrà (1974) -, Tonino Ricci - Zanna Bianca alla riscossa (1974) - e Mario Caiano - Napoli spara (1977).

Pur continuando a recitare in alcuni film italiani, alla fine degli anni Settanta torna negli Stati Uniti, dove partecipa a Tiro incrociato (1979) di Stuart Rosenberg. Tuttavia, i ruoli in America gli danno meno visibilità in confronto a quelli interpretati in Italia.

Dopo vari ruoli minori - Capitan Rogers nel 25° secolo (1979) di Daniel Haller, Day of the Assassin (1979) di Brian Trenchard-Smith, con Glenn Ford, Virus. Ultimo rifugio: Antartide (1980) di Kinji Fukasaku, anch’esso con G. Ford, Alligator (1980) di Lewis Teague, Pelle di sbirro (1981) di Burt Reynolds,Obiettivo mortale (1982) di Richard Brooks, Trapped (1982) di William Fruet, Megaforce (1982) di Hal Needham, Chained Heat (1982) di Paul Nicholas -, nel 1983 la sua carriera ha un rilancio con Fuga dal Bronx di Enzo G. Castellari, in cui torna ad esser protagonista.

A partire dall’anno seguente comincia ad apparire molto di più in ruoli secondari, anche se si ricordano ruoli da protagonista in Il codice del silenzio(1985) di Andrew Davis, Gli avventurieri della città perduta (1986) di Gary Nelson, Nico (1988) di A. Davis, L’ultima partita (1990) di Fabrizio De Angelis, il suo ultimo film in Italia, e Una chiamata nella notte (1997) di Fred Williamson e Alain Zaloum, con Peter Fonda.

Fra gli altri film ricordiamo Il ritorno del signor Moto (1965) di Ernest Morris, Da New York: la mafia uccide (1965) di Raoul Lévy, La taglia (1965) di Serge Bourguignon, I dominatori della prateria (1966) di David Lowell Rich, L’incredibile furto di Mr. Girasole (1968) di Jerry Paris, Probabilità zero (1969) di Maurizio Lucidi, Le cinque facce della violenza (1970) di Ron Joy, Regolamento di conti (1972) di Daniel Vigne, L’insolente - Il più crudele tra quelli della mala (1972) di Jean-Claude Roy, Il re della mala (1973) di Jurgen Roland, Ocean’s Eleven -Fate il vostro gioco (2001) di Steven Soderbergh,

Attivo anche in televisione, è apparso in film tv - The Black Noon (1971) di Bernard L. Kowalski, Drive Hard Drive Fast (1973) di Douglas Heyes, Happy (1983) di Lee Philips - ed in alcuni episodi di serie e miniserie – Alfred Hitchcock Presents (1956), The Alfred Hitchcock Hour (1963), Harrison Clarke Story (1963), The Outer Limits (1963-64), I giorni di Bryan (1965), Ai confini dell’Arizona (1967), Mistero in galleria (1971), Quark (1978), Buck Rogers (1979).

Nel 2006 si era ritirato a vita privata.