1931年杨杰当选为国民党中央执行委员，12月任陆军大学校长，1932年1月任军事委员会参谋次长兼陆军大学校长。他不仅有着杰出的军事指挥才能，也是卓越的军事理论家和教育家。他长期从事军事理论研究和军事教育工作，在创造中国的战略战术理论方面颇有建树，在改造中国军队、提高其战斗力方面提出了许多重要方略。他长期担任陆军大学的领导工作，为国家培养了大量军事人才，在抗日战争中发挥了巨大作用。他注重对学员加强品德、人格教育，强调中国的一代军人要具有强烈的爱国主义思想。
1933年3月杨杰和财政部长宋子文、军政部长何应钦、内政部长黄绍竑、外交部长罗干文一起北上，任军事委员会北平分会参谋长兼华北第8军团总指挥，参加长城抗战。他的正确主张遭到投降派何应钦的阻挠，愤然退出。9月任军事考察团团长赴欧洲考察军事，此后近1年时间里先后到了德、法、苏等29个国家，在苏联斯大林多次接见他，对他写的《蒙古骑兵之性质及使用方法》赞赏不已，称他为“战略专家”。在英国，国防大臣赞叹他为“军学泰斗”。从此他的军事、外交才能闻名于世。回国后写成《欧洲各国军事考察报告》，要蒋介石立即加强重工业建设，进行以国防工业为重心的计划。
但蒋介石并没有采纳他的意见，只是在1934年12月任他为参谋本部参谋次长、代参谋总长、城塞组长、防空委员会主任。他在任航委主任时，检查新买的几架飞机，发觉是用报废飞机改装的，遂向蒋告状。但由于飞机是宋美龄和孔祥熙买的，蒋避而不作处理，他只好辞去职务。后来，宋美龄联合陈果夫、何应钦控告他贪污公款，他的城塞组长和代参谋总长职务被撤销。
1935年1月杨杰兼任陆军大学教育长，按照日本陆军大学校的教育和管理方法来教育学员。1936年两广反蒋，他讲评时说：如果军事解决，不是两广胜，也不是中央胜，而是日本胜了。学员从心坎里佩服他的远见和谋国忠贞。有一次在上海，他指着金山卫对学生说：“一旦战争爆发，这里将是敌人看中的登陆地点。”果然，抗日战争中，日军在不受重视的金山卫登陆成功。
1935年8月组织庐山军官训练团，蒋介石任团长，杨杰任团附。11月再次当选国民党中央执行委员。他名声即响，脾气也大，看谁不顺眼就骂，完全不给人面子。陈诚第四次围剿江西的中央红军，被朱德打得惨败，他放言陈诚就是一头猪，连敌情都摸不清就瞎撞。蒋介石把何应钦写的对日作战计划拿给他看，他看完就撕碎了骂道：“狗屁计划。”自己立即另外写了一份交给蒋。方天说他实际上连蒋介石也看不上，只不过不敢公开骂而已。当时他还确实对国民党的消极抗日进行了抨击，弄得老蒋如坐针毡。
1937年7月卢沟桥事变发生后，杨杰在军事会议上高呼积极全心全力抗日。他满以为自己会被任命为总参谋长，主持对日持久战争，蒋却在组建大本营时任命何应钦为总参谋长，令他大为失望。8月他被任命为赴苏考察团团长，实际上是争取中苏结盟和苏联的武器援助。斯大林没有答应中苏结盟，但同意给国民政府1亿卢布的军火组建20个苏械师，另附送一个援华航空队，他因此功绩加上将衔，次年2月任军令部次长，5月任驻苏联大使。在苏期间他经常受到斯大林、伏罗希洛夫等领导人接见，争取到总共2.5亿美元的物资和贷款，有力地支援了中国的抗战。
杨杰认真研究了苏联社会主义制度，还研读了《共产党宣言》、《资本论》等著作，认为苏联的社会主义制度有利于国防建设;加上多年与共产党人的接触，逐渐从思想上产生了对共产党、对社会主义由同情到支持和赞成的转变。在军事战略上，他主张在中苏边境布置重兵，挑拨日本和苏联发生战争，在南线一定要克复广州，引导日军向南发展和英美对立。
1940年杨杰回国，向蒋介石提出联苏抗战的建议和具体作战战术，蒋却送他一本《曾文正公全集》要他好好阅读。他气得打了3个月麻将，然后胡乱写了一些批注送去交差。蒋看了批注大发脾气，只给他一个军事委员会顾问的闲差留在重庆，后任中央训练团教官，撰写了上百万字的军事巨著。1944年任中国军事代表团团长赴英、美考察军事设施。1945年5月再次当选国民党中央执行委员。蒋介石在武装解决龙云后，想让他出任云南省政府主席，被他拒绝。
1948年杨杰已成为民革在西南地区的领导人，专心致力于策动云、贵、川、康地区实力派武装的起义(他还是新中国政协特邀委员)。1949年7月，杨派秘书策反刘文辉部某团团长的证据落到徐远举手里，经毛人凤汇报，蒋介石立即指示逮捕他。徐奉命执行，杨突然赴昆明，得到好友云南省政府主席卢汉庇护，于是逮捕令改为密杀令。不料杨又化名杨漱石赴香港，毛再指示叶翔之“迅即追杀杨”。此年9月18日被国民党特务在香港杀害。
