很快到了人渡之战。他曾经进言袁绍用包围计策，轻骑包抄曹操南面后路，袁绍不听。曹操派兵打乌巢，袁绍很着急，想用郭图所现围魏救赵的计策，派他和高览一起去攻打曹操本营。他又进言说应该先救乌巢，乌巢一失，军心必乱，大势就去了，而曹操本营必定戒备深严，一时半会是打不下来的。袁绍又不听。果然，袁绍兵败。郭图害怕袁绍责备，反怪他未战而先言败，他不得已归降了曹操。
曹操一开始就很信任他，封他做了“偏将军，都亭侯”。邺城，渤海，雍奴，柳城之战后，他做到了“平狄将军”。
之后他又征东莱，讨管承，破马超、韩遂，围安定降杨秋。张鲁投降后，曹操派他和夏侯渊等守汉中，抵挡刘备。汉中也是军事要冲，其要害处不下于张辽所守的合肥。他采用了坚壁清野的策略，“降巴东、巴西二郡，徙其民於汉中”。他屯兵广石相持阳平刘备。刘备用车轮疲兵战术，“以精卒万馀，分为十部，夜急攻郃”，他亲自上阵和刘备厮杀，刘备不能胜。
夏侯渊被黄忠在定军山斩首后，刘备大叹：“怎么杀的不是张郃？”足见刘备对他的忌惮。他接替夏侯渊的位置，做了总督军。“刘备保高山不敢战。”
曹丕登基之际，曾经派他和曹真一起攻打东羌。这时候五子良将只剩下他一人。
曹睿登基以后，又派他率领大军抵挡出祈山的诸葛亮。街亭一战，马谡扎营南山山顶，“郃绝其汲道，击，大破之”。
“郃识变数，善处营陈，料战势地形，无不如计，自诸葛亮皆惮之。”诸葛亮为了除他，费尽心思，在木门一役暗伏诸葛神弩，射杀了他。
“手足头颅皆丧，唯躯干长存。”茂儿不觉叹曰。
魏国五子良将_五子良将 -张郃传
河间鄚人也。汉末应募讨黄巾，为军司马，属韩馥。馥败，以兵归袁绍。绍以郃为校尉，使拒公孙瓒。瓒破，郃功多，迁宁国中郎将。太祖与袁绍相拒於人渡，汉晋春秋曰：郃说绍曰：“公虽连胜，然勿与曹公战也，密遣轻骑钞绝其南，则兵自败矣。”绍不从之。绍遣将淳于琼等督运屯乌巢，太祖自将急击之。郃说绍曰：“曹公兵精，往必破琼等；琼等破，则将军事去矣，宜急引兵救之。”郭图曰：“郃计非也。不如攻其本营，势必还，此为不救而自解也。”郃曰：“曹公营固，攻之必不拔，若琼等见禽，吾属尽为虏矣。”绍但遣轻骑救琼，而以重兵攻太祖营，不能下。太祖果破琼等，绍军溃。图惭，又更谮郃曰：“郃快军败，出言不逊。”郃惧，乃归太祖。臣松之案武纪及袁绍传并云袁绍使张郃、高览攻太祖营，郃等闻淳于琼破，遂来降，绍众於是大溃。是则缘郃等降而后绍军坏也。至如此传，为绍军先溃，惧郭图之谮，然后归太祖，为参错不同矣。