不久，吕布为李傕、郭汜等击败，张辽跟从吕布往东奔至兖州，为曹操所败后前往徐州。
建安三年（公元一百九十八年），吕布遣张辽与高顺等攻破刘备，但其后曹操破吕布于下邳，张辽率领吕布军余众归降曹氏，被拜为中郎将，赐爵关内侯。
建安五年（公元二百年），袁绍派颜良袭击白马，曹操命张辽与关羽同为解白马之围的前锋，击破袁军。数有战功，累迁裨将军。等到曹操击败袁绍的主力部队后，另派张辽平定鲁国诸县。
建安六年，张辽与夏侯渊同围昌豨于东海，历经数月，粮秣将尽，众人商议先引军而还，但张辽却向夏侯渊说：“这些天以来，每次我们巡视围城军情时，昌豨就两眼盯着我看。而且他的士兵所发射的箭日益稀少，此必是昌豨心怀犹豫，所以才没有力战。我希望能试一下他，并与之洽谈，倘若可以成功诱使昌豨下山，不是很好吗？”于是命人向昌豨说：“曹公有命令，让张辽来对你传达。”昌豨果然下山与张辽对话。张辽便说：“曹公神智武勇，正在用他的仁德感化四方各派的势力，先归附的可以受大赏。”于是昌豨便答应投降。张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操。
曹操先遣昌豨还东海，随后训责张辽说：“只身赴敌巢穴，这不是大将所为。”张辽却拜答道：“凭着明公达于四海的威信，我拿着圣旨，昌豨必然不敢害我，所以我才敢去。”
建安七年，张辽跟随曹氏大军讨袁谭、袁尚于黎阳时，累有功劳。建安八年，曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下。因此曹操采纳郭嘉之计，让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南。
建安九年，张辽再次随曹操攻打邺城，这次终于攻破邺城，张辽奉命别巡赵国、常山，招降了缘山一带的贼众及黑山孙轻等，此后再度随曹操攻击袁谭。
建安十年，袁谭败亡后，张辽受命安抚海滨一带，大败公孙度所置的营州刺史柳毅、与长广太守何夔合兵讨平矣平贼从钱等。曹操上表汉献帝，称张辽、于禁、乐进说：“武力强大，计谋周全，品性忠正，操守高洁，每次征战，身先士卒，勇猛顽强，无坚不摧；亲自擂动战鼓，忘了疲倦。他们单独领兵征讨，统率全军，抚慰将士，纪律严明，秋毫无犯；临敌决策，没有失误。论功记职，应该给予显要荣宠。”收复东莱诸县后的张辽引军还邺城，曹操亲自出城迎接，邀请他同乘一辆车，任命他为荡寇将军。
建安十一年，张辽率军攻打荆州，平定江夏诸县，在临颖屯兵，再度受封为都亭侯。
建安十二年，曹操要征讨在柳城的袁尚，张辽进谏道：“许都，是天子所在的地方。现今天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它号令四方，您的形势将会大去。”曹操则判定刘表必不能任用刘备，遂继续出征。行军中途与敌军相遇，张辽壮气奋发，力劝曹操接战，曹操十分欣赏张辽的斗心，又看见乌桓的军队尚未排成阵形，于是将自己的麾旗授予张辽暂用，任命张辽为前锋出战，于是张辽引军突击，大破乌桓，斩单于蹋顿于阵前。
建安十三年，荆州尚未安定，曹操命张辽屯军于长社。军队临出发之际，军中忽有谋反者起事骚动，半夜惊乱起火，全军尽受其扰。此时张辽对左右说：“不可乱动。这一定不会是全营尽反，必然是引起叛变之人，想藉此惑乱他人而已。于是传令军中，只要不是反乱者安坐勿动。而张辽则带领亲兵数十人，守立于阵中。不久情况稳定下来，军中随即擒获首谋者，并将其杀除，动乱亦告平定。赤壁之战时，曹操徙赵俨为都督护军，护于禁、张辽、张合、朱灵、李典、路招、冯楷七军，都是曹军赤壁之战主力，可惜一把火，全军尽墨。
建安十四年，庐江人陈兰、梅成占据氐等六县作叛，曹操于是遣于禁、臧霸等讨伐梅成，又命张辽督领张合、牛盖等讨伐陈兰。当时梅成诈降于禁，于禁引军便还。不料梅成趁机会带其军众往投陈兰，二人转入灊山自守。灊山中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说：“这正是所谓‘一与一，勇者得前耳’”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登上天山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军的功劳。”于是增其邑，假节。
当曹操征孙权无功而还时，任命张辽与乐进、李典等部领七千馀人马屯守于合肥。
建安十八年，与臧霸同为征濡须口的前锋，攻破孙权江西营，擒获孙权都督公孙阳。
本小章还未完，请点击下一页继续阅读后面精彩内容！