出道前，张家辉是一名毕业于皇家警察少年训练学校的正式警员。1989年，在电影《壮志雄心》中“本色”出演少年警校学员，开始其演员生涯。

早期的张家辉常以喜剧形象示人，2000年《金装四大才子》中的唐伯虎一角让内地观众开始认识到他。剧中“秋香”的扮演者即当时的女朋友，日后成为其妻子的关咏荷。

2004年起，张家辉转战大银幕，并时常与导演杜琪峰合作。2006年在杜琪峰导演的动作片《放·逐》中饰演五大杀手之一“和”。

2008年凭借电影《证人》，张家辉荣获第28届香港电影金像奖最佳男主角以及第46届金马奖最佳男主角。

2009年前往云南昆明拍摄与张静初合作的《红河》时得过抑郁症，后通过治疗痊愈。该片以战后的中越边境为大背景，讲述了善良纯真的少女阿桃和市井小混混阿夏之间超越世俗的爱情。

2010年出演林超贤执导的警匪大片《线人》，与谢霆锋合作，并提名第30届香港电影金像奖最佳男主角。

2012年，主演犯罪悬疑片《大追捕》，张家辉在片中饰演一位哑巴杀手“王远阳”，获得第49届金马奖最佳男主角提名与第32届香港电影金像奖最佳男主角提名。

2013年，为扮演《激战》中“程辉”一角，时年44岁的张家辉苦练肌肉，凭借该片获得第16届上海国际电影节最佳男演员奖。

2013年出演电影《扫毒》，很好的诠释了警察到毒贩的心理转变。

2016年，与古天乐主演电影《使徒行者》，张家辉所出演的蓝博文是一个有双重身份的卧底。