Urodził się w 1931 roku w Los Angeles jako John Anthony Golenor. Początkowo studiował ekonomię, a następnie zaciągnął się do marynarki wojennej. Później zaczął otrzymywać pierwsze role filmowe, z których przełomowa okazała się ta w dramacie "Czas życia i czas umierania" z 1958 roku. Zagrał w nim młodego niemieckiego żołnierza, który w okresie klęsk ponoszonych przez wojska hitlerowskie dostaje urlop i postanawia w rodzinnym mieście zapomnieć o wojennej traumie; na miejscu staje się świadkiem upadku własnej ojczyzny, ale przeżywa wielką miłość. 

W kolejnych latach sławę zapewniły mu role w kinowych klasykach - thrillerze "Psychoza" Alfreda Hitchcocka, "Mrocznych koronkach" Davida Millera i "Spartakusie" Stanleya Kubricka. 

Obok działalności aktorskiej Gavin przez wiele lat był szefem związku zawodowego aktorów, a w latach 80. za prezydentury Ronalda Reagana otrzymał stanowisko ambasadora USA w Meksyku. Był dwukrotnie żonaty, pozostawił dwoje dzieci.