In The Gray Man maken we kennis met voormalig CIA-agent en doorgewinterde huurmoordenaar Court Gentry (Ryan Gosling), ook wel bekend als Sierra Six. Na een flinke tijd in de federale gevangenis wordt Gentry gerekruteerd door zijn contactpersoon Donald Fitzroy (Billy Bob Thornton). Maar dit keer zijn de rollen omgedraaid en blijkt Six zelf een doelwit te zijn. Zijn ex-collega Lloyd Hansen (Chris Evans) heeft een wereldwijde klopjacht op hem ingezet en doet er alles aan om Six uit te schakelen. Agent Dani Miranda (Ana de Armas) schiet Six te hulp en dat blijkt hij hard nodig te hebben…