张辽不仅长于征伐，而且颇有战略眼光。建安十二年曹操远征袁尚时，张辽劝谏说:“许昌，现在是天下的都会。天子(汉献帝)正居许昌，您千里北征，如果刘表派刘备偷袭，挟持了天子而号令四方，形势就危险了!”果然，曹操北征之后，刘备即向刘表建议袭许，而刘表不能用其计。但就当时形势而言，在刘表为失计，在曹操为侥幸，张辽的担心是很有见识的。
张辽在其二十余年的戎马生涯中，攻无不克，守无不固，其为将之勇力和智略皆有可观。张辽军旅生涯最辉煌的巅峰是对孙权的合肥之战。208年，曹操于赤壁之战大败，派张辽、李典、乐进率七千余人驻合肥，并派护军薛悌送函给张辽，函署“贼至乃发”。建安二十年(215)八月，吴主孙权亲自率兵十万围困合肥。此间，驻守合肥的曹军仅七千余人。两军对阵，众寡悬殊。偏偏在这危急关头，曹操又亲自率兵西征在外，一时无法派遣军队来援救合肥。遇此严峻形势，对于驻守合肥的曹军来说，实在是凶多吉少。守将乐进、李典相觑无奈，猛将张辽见此拍案而起曰:“曹公今远征在外，若坐等曹公派援军来救，即便援军来到，那时吾等也早被吴军击败。现在唯一的上策，是在吴军尚立足未稳之时，主动出击，挫其锐气，方能安定众心，鼓舞士气，得以守住城池。成败之机，在此一战，诸君何疑?”
李典与张辽素有隔阂，然在此危急关头，闻张辽之言，便慷慨陈词曰:“此国家大事，既然将军主意已定，奋不顾身，吾等能以小私而舍弃大义乎?”于是，张辽夜募敢从之士八百人，于破晓时突杀吴阵，直战至日中乃休战，使吴军遭受重创。此战中，“(张)辽披甲持戟，先登陷陈，杀数十人，斩二将。”孙权猝不及防，10万大军被逼迫退守到一片高地。后来见张辽兵少，“乃聚围辽数重”。张辽军左冲右突，勇不可当，一度与数十人杀出重围，后见自己的大部人马还在围中，又折返回阵，救出自己的部下。孙权的军队“皆披靡，无敢当者”。一场大战从清晨杀到中午，“吴人夺气”，孙权只好撤退。
后孙权“守合肥十余日，城不可拔，乃引退”。当孙权与诸将行至逍遥津北时，恰为张辽侦知。辽即率步骑突然而至，甘宁与吕蒙等吴将与辽力战，凌统则率亲兵护权出围。当孙权退至逍遥津桥时，见桥南已拆、丈余无板。在此危急关头，孙权近监谷利急中生智，于孙权坐骑后猛着一鞭，使孙权借助奔马之势飞桥而过，幸免于难。此战史称张辽威震逍遥津，是三国时期魏吴相争中创下的一次以少胜多的著名战例。
此役后曹操大赞张辽，拜征东将军。建安二十一年，曹操又征孙权。军到合肥，曹操巡视昔日张辽作战的地方，赞叹良久。后来继位的曹丕曾评价说:“合肥之役，辽、典以步卒八百，破贼十万，自古用兵，未之有也。”并赞其“此亦古之召虎也。”《三国志魏书十七张辽传》(召虎是与方叔、尹吉甫、秦仲等齐名的东周大将。)
此后，张辽以征东将军之职屯兵居巢(今安徽桐城南)，防范孙权。曹丕接任王位后，改迁张辽为前将军，也封其兄及子为列侯。孙权再叛，曹丕遣张辽还屯合肥，晋爵都乡侯。曹丕准其母乘车及兵马送其家人到他驻军的地方，这在当时是至高荣誉。后曹丕称帝，封张辽为晋阳侯，增食邑至两千六百户。黄初二年，曹丕还特别替张辽建造屋舍，替他母亲兴建殿室，又把跟随张辽的步卒封为虎贲。
张辽不幸在此时得了疾病。曹丕便遣侍中刘晔带太医视疾，甚至亲到其营执其手问候，赐其御衣，更派太官送御食。待张辽之疾稍愈，辽即还屯。正当其时，孙权复叛，黄初三年，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，告诫部下说:“张辽虽病，不可当也，慎之!”其畏张辽如此。同年，张辽抱病与曹休伐吴，打败吴将吕范。