Gavin werd geboren als James Nally Ryan. Het is niet duidelijk wie zijn ouders waren. James verbleef in een weeshuis totdat hij in 1909 werd geadopteerd door Martin en Mary Gavin uit Mount Carmel, Pennsylvania waar Martin Gavin in een kolenmijn werkte. Het gezin had het niet breed en James moest al op 10-jarige leeftijd gaan werken om geld te verdienen.^[bron?]

Op zijn 17de verjaardag vluchtte hij en ging met de trein naar New York, waar hij zich aanmeldde bij het Amerikaanse leger. Omdat zijn stiefouders nooit zouden instemmen met zijn keuze voor het leger vertelde hij de wervingsofficier dat hij wees was. De officier bracht hem naar een advocaat die zichzelf tot voogd benoemde en de ouderlijke toestemmingsverklaring tekende. Gavin werd per 1 april opgenomen in het Amerikaanse leger. Hij werd naar Panama gestuurd, waar hij onder sergeant McCarthy en de Indiaan ‘Chief’ Williams bij een kustbatterij diende. Williams bevorderde hem na zes maanden tot korporaal. Na enkele testen en examens werd hij toegelaten op West Point. In juni 1929 voltooide hij zijn opleiding, waarna hij in het huwelijk trad met Irma Baulsir.

Na drie jaren in Douglas en aan de Mexicaanse grens, ging hij naar de United States Army Infantry School in Fort Benning, Georgia. Hij genoot en leerde dat orders kort moeten zijn zodat commandanten zelf over hun opdracht moeten nadenken. Zijn vrouw was ongelukkig in Georgia en besloot in 1932 na de kerstdagen bij haar ouders in Washington D.C. in te trekken. In 1933 werd hun dochter Barbara geboren.

In 1933 werd Gavin naar Oklahoma overgeplaatst en in 1936 naar de Filipijnen. Daarna keerde hij terug naar Washington, en werd naar Californië overgeplaatst. Tijdens een sportwedstrijd kreeg hij last van zijn rechteroog. De dokter stelde vast dat zijn netvlies een beetje losliet en schreef hem enkele weken rust voor, hetgeen hij negeerde.

Op 17 september was Gavin commandant van de 82ste Airborne Divisie tijdens Operatie Market Garden. Zijn opdracht was de Maasbrug in Grave te bezetten, en minstens een van de vier bruggen over het Maas-Waalkanaal en de brug over de Waal in Nijmegen. Bij de landing beschadigde hij twee tussenwervelschijven, maar de dokter zei dat er niets aan de hand was, dus hij liep ermee door. Pas vijf jaar later werd de schade vastgesteld.

Op 12 november vertrok de 82ste naar Frankrijk.

Gen. James M Gavin Gen. James M Gavin Gen. James M Gavin Gen. James M Gavin Gen. James M Gavin Gen. James M Gavin