Zoon van een spoorwegarbeider. Door te werken kon hij zijn studie bekostigen. Aan de militaire academie van West Point behoorde hij niet tot de goede studenten, maar hij werd gewaardeerd om zijn wilskracht. In de Tweede Wereldoorlog leidde hij als luitenant-kolonel een tankbataljon van Normandië tot in Tsjecho-Slovakije, waarbij zijn eigen tank steeds in de voorste linie opereerde. Zijn grootste overwinning was de bevrijding van Bastenaken in 1945. Na de wapenstilstand werd hij aangesteld als hoofd van de tactische dienst van de pantserschool; bij het uitbreken van de Koreaanse oorlog ging hij weer naar het front. Na de wapenstilstand in Korea verbleef hij enige tijd in Duitsland, waarna hij werd verbonden aan het Pentagon. Bij onlusten trad hij verscheidene keren als bevelhebber op. In 1967 werd hij benoemd tot onder-bevelhebber van de Amerikaanse troepen in Saigon en nam hij de leiding bij de Vietnamisering van de oorlog in Vietnam.

Toen het beleid van de opperbevelhebber, generaal Westmoreland, op een mislukking uitliep, werd generaal Abrams opperbevelhebber in diens plaats. Zijn voornaamste opdracht bestond erin de Amerikaanse troepen geleidelijk te vervangen door Zuidvietnamese. De beveiligingsoperatie in Cambodja (april 1970) tegen de daar gelegerde Noodvietnamese en Vietcong-troepen werd door hem als een onderdeel van deze beleidsvoering beschouwd.