取得郾城大捷以后，岳飞预料到宗弼将转攻颍昌(今河南许昌)，便派岳云等驰援前往。七月中旬，兀术率骑兵三万直抵颍昌城下，后续援兵源源而来，又遭到岳家军的沉重打击。他只得把十万大军驻扎在开封西南四十五里的朱仙镇，企图阻挡岳飞进军。但岳家军前哨五百铁骑抵达后，稍一交锋，金军即奔溃。这时，北方义军也纷纷响应，大河南北捷报频传。
但高宗、秦桧为了向金朝求和以确保自己的统治，竟连下十二道金字牌，下令岳飞立即班师。其时，数万岳家军分布在河南中西部和陕西、两河的局部地区，战线拉长，兵力分散，而张俊、韩世忠和刘锜等部奉命已经或正在后撤，岳飞陷入孤军深入的局面。鉴于形势，最关键的还是君命难违，七月下旬，岳飞违心拒绝了两河遗民要他继续北伐的请求，奉诏“班师”。他眼睁睁看着高宗与秦桧葬送了这次最有希望的北伐战争，痛惜十年之功，废于一旦，悲愤地喊出：“社稷江山，难以中兴;乾坤世界，无由再复!”岳家军南撤以后，河南州县很快被金军重新占领。
岳飞是宗弼碰到的真正敌手，郾城大捷以后，金军哀叹“撼山易，撼岳家军难”，宗弼开始采取和战并用的策略。双方和谈尽管中止，但热线联系仍未中断，宗弼致信秦桧，明确提出条件：“必杀岳飞，而后和可成!”
绍兴十一年正月，宗弼亲率近十万大军直入淮西，企图以战迫和。南宋派张俊、杨存中、刘锜率军迎敌，并命岳飞领兵东援。岳飞尚未赶到，杨存中、刘锜与张俊的部将王德已在柘皋(今安徽巢湖东北)大败金军。张俊准备独吞柘皋之战的功劳，打发杨存中、刘锜还军，岂料宗弼命孔彦舟回师攻陷亳州，并重创前来救援的杨存中与王德军，岳飞闻讯驰援，金军安然渡淮北上。
岳飞两次增援淮西都慢了半拍，其表面理由一是本人“寒嗽”(感冒)，一是军队“乏粮”，是否夹杂有对高宗阻挠北伐的不满，则不得而知。但这点不久就成为他受迫害的口实。
高宗与秦桧本来就处心积虑地企图削夺武将兵权，如今在兀术的要求下，罢兵权又与屈膝求和联系在一起。绍兴十一年四月，他们采纳了给事中范同明升官爵、暗夺兵柄的建议，调虎离山，将张俊、韩世忠和岳飞召到临安，任命张俊与韩世忠为枢密使，岳飞为副枢密使，把三大将原先主持的淮西、淮东与京湖三宣抚司统制以下的官兵都划归三省、枢密院统一指挥调动，一律改称统制御前诸军。
韩世忠与岳飞对朝廷此举感到突然，张俊因与秦桧早已达成幕后交易，约好尽罢诸大将，兵权都归他执掌，便带头交出了兵权。惟恐韩、岳联手，高宗宣布韩世忠留御前任用，张俊、岳飞前往原韩家军驻地楚州措置战守事宜。
张俊所干的尽是肢解韩家军、撤毁江北防务的勾当，岳飞作为副职完全无能为力。当岳飞知道秦桧与张俊正在唆使亲信诬陷韩世忠企图谋求重掌兵权，便通报给了韩世忠。世忠急忙面见高宗，号泣投地，高宗知道他除力主抗金外还是比较听话的，念他在苗刘之变中救驾有功，终于保全了他。
接下来，高宗、秦桧就把迫害的黑手伸向了岳飞。在南渡诸大将中，岳飞是出身最低、功勋最著、抗金最力的。朱熹以为中兴将帅以岳飞为第一，但说他“恃才而不自晦”。确实，岳飞个性刚正耿直，不但不善于保护自己，还在两件大事上冒犯高宗，加深了高宗的忌恨，引来了杀身之祸。
