就在这时，发生了彭德怀、杨尚昆意想不到的一场会理风波。
遵义会议以后，为摆脱追敌，红军大踏步转移，兜圈子、走弓背，战斗频繁，极为疲乏，减员亦多。指战员不明中央意图，埋怨、牢骚不免又多了起来。有人更怀疑指挥有误。红一军团军团长林彪写信给中央，要求由彭德怀来指挥红军北上，与红四方面军会合，毛泽东、周恩来“随军主持大计”。
1934年5月12日，中共中央政治局在四川会理县城外再次举行扩大会议，要求各军负责人前去参加。当时，彭德怀和杨尚昆正率军攻打会理城，爆破没有成功，连忙赶赴参会。会上，毛泽东严厉批评彭德怀说：“林彪的信就是你鼓动的。”对挑起事端的林彪，则说：“你是个娃娃懂得什么！”毛泽东又转头批评杨尚昆说：“你是彭德怀的尾巴！”当时，杨尚昆正发高烧，是用担架抬去的，可见气氛之紧张。其实，林彪写信的事，彭德怀、杨尚昆都不知情。一贯直言不讳的彭德怀，突然受到这样无端的指责，杨尚昆不禁担心。但彭德怀并没有发火，只声明：林彪写这封信我事先并不知道。又批评林彪说：“提出改变前敌指挥是不妥当的，提出我，更不适当。”由于红三军团内这一段时间也有些牢骚，刘少奇为此向中央写过报告，杨尚昆签了名，彭德怀认为部队疲劳了，不知上面意图有点牢骚不足怪，没有签字。在会上，彭德怀还为此作了自我批评。
后来，彭德怀解释他当时没有争辩，是因为大敌当前，应以团结为重，故采取事久自然明的态度。这使杨尚昆感到，彭德怀不仅能征善战，也有胸怀全局，豁达大度的政治胸襟。
1935年6月，中央红军翻越终年积雪的夹金山，在懋功（今小金地区）与张国焘、徐向前率领的红四方面军会合。两军指战员欢欣鼓舞，彭德怀、杨尚昆的心情也十分振奋。但有一天晚上，彭德怀一脸愠怒，对杨尚昆说：“张国焘这个东西，把我彭德怀看成什么人了，把我当成军阀！我要当军阀，就不当红军了，真岂有此理！”杨尚昆忙问原由。原来，张国焘和彭德怀刚第一次见面，谈着谈着，就扯起会理会议毛泽东批评之事。又说，从江西出发，你的队伍打得很苦，损失很重，我给你3个师，听你指挥。当时中央红军长征疲惫，人少装备差，红四方面军兵强马壮。但彭德怀一贯坦荡忠诚，从无本位观念，对此十分反感。特别谈到会理会议，显然是挑拔自己和毛泽东的关系。彭德怀越想越气，就来杨尚昆处相告，希望互相提高警惕。
1935年8月，红军缩编。彭德怀认为红一军团前身是朱德、毛泽东在井冈山会合的红四军，应保留一军团，遂主动提出撤销红三军团的番号。这一顾全大局的做法给杨尚昆以深刻的印象。多年以后，在提到庐山会议上有人诬说彭德怀平江起义是“投机”、“入股革命”的时候，杨尚昆还愤然说，要批评这种说法，为彭老总还历史的公道！他会打仗，要投机，留在湘军不仅当团长，还能升师长、军长，何要起义？撤销红三军团是件很大的事，那是他一手创建指挥的，立下了多少战功！他从来没有争军权的思想，连本位主义都没有！
红三军团缩编为红三军，杨尚昆调任红军总政治部主任，随毛泽东率领的右路军行动。红三军为右路军的一部。1935年10月，中央红军改为陕甘支队，毛泽东为政委。因朱德在四方面军处，由彭德怀任司令员。杨尚昆为支队政治部主任，经历和参加了彭德怀指挥的打垮东北军骑兵的战斗和直罗镇战役。
长征胜利后，红军抗日先锋军随即东渡黄河，入晋作战。毛泽东任先锋军政委，彭德怀任司令员，杨尚昆为先锋军总政治部主任。回师以后，彭德怀受命西征，迎接红二、四方面军北上，实现了红军三大主力的会合。彭德怀为红军前敌总指挥，杨尚昆为前敌总指挥部政治部主任，参加了彭德怀指挥的著名的山城堡战役，协助彭德怀成功地开展对张学良东北军的抗日宣传，争取东北军官兵与红军团结抗日。
1936年秋，在甘肃省的一个小镇街头，彭德怀在和杨尚昆一起行走时，又从口袋里掏出一块银元，还是从中央苏区带出来的那个伙食尾子。别人的早花掉了，彭德怀还珍藏着，经过1年的汗渍水浸，银元已失去了原来的光泽。彭德怀高兴地对老战友说：“这次是庆祝我们的胜利，我再请一次客吧！”回想1年中，党经历了多么严重的路线斗争，红军经历了多么艰难的征战跋涉！现在终于有了正确的方向，打开了新局面，两人一边谈着，一边吃了几斤牛羊肉。
1937年7月，抗日战争爆发，国共实现第二次合作。红军改编为国民革命军第八路军，彭德怀出任副总司令，出师山西，投入抗日战争。杨尚昆任中共中央北方局副书记，和书记刘少奇一起，也到山西前线开展工作。1938年初，日军占领了华北的主要交通线和城镇，杨尚昆时任北方局书记，率北方局机关与八路军总部一起深入敌后发动民众，建立敌后抗日根据地。北方局和八路军总部一直驻在太行，有时同住一村，有时相邻。彭德怀、杨尚昆两个老战友，又在巍巍太行的千山万壑中并肩战斗。
