南京政府初期，外交中另一引人注目的动向是中苏关系严重恶化。这一趋势在南京政府取得全国政权前便已出现。国共决裂后，国民党便决定改变其联俄政策，断绝与苏联的关系。1927年12月13日，南京政府发表《对苏绝交决议》。14日，以苏联驻广州领事馆及国营商业机关充当中共广州暴动的指挥机关为由，南京政府颁布命令：“应即将驻在各省之苏维埃社会联邦共和国领事一律撤销承认，所有各省的苏俄国营商业机关应一律勒令停止营业，以杜乱源。”南京政府要求苏联领事馆、商船、商务代办处须在一周内撤出。广州军队曾包围搜查了苏联驻广州领事馆，所有的领事馆人员被拘捕，并有部分馆员被杀害。此后，除东北地区外，苏联在中国各地的领事馆均被迫撤退或遭遣送。
1928年12月，东北归入国民政府统治之下。此后，围绕着中东路问题，中苏矛盾不断激化。，根据《中俄解决悬案大纲协定》及《暂行管理中东路协定》，中东路应由中苏两国共管。但苏籍铁路管理局长独揽大权，机务、车务、总务、商务、财务、进款6个主要处的处长职务也为苏方掌握。1929年3月，中方提出铁路局长的命令需由华籍副局长会同签署及中苏平均分配各科、处、段、站管领人员等要求，但未能为苏方所接受，交涉陷入僵局。东北地方当局在南京政府的支持下，准备以强制手段解决问题。
5月27日，东北当局以清查共产党活动为名，派军警搜查了苏联驻哈尔滨总领事馆。7月10日，中东路铁路督办兼理事长吕荣寰下令：从即日起，铁路局局长的命令须有华籍副局长会签，车务、机务、商务等交由华籍处长处理。苏方人员对此拒不遵命。次日，中方宣布免除苏籍局长和副局长职务，由华籍副局长代行局长职务。中方还查封了中东路沿线的苏联各商业机关，解散苏联职工联合会等组织，逮捕苏籍人士，并将包括铁路局正副局长在内的苏籍高级职员60余人驱逐出境。7月18日，苏联宣布与中国断交，声明召回其驻华领事馆人员、商务代表及中东路全体职员，并要求中国驻苏联的外交代表和领事官员也迅速撤离苏联。7月19日，南京政府宣布召回驻苏使领人员。中苏外交关系就此断绝。
此后，中苏矛盾发展到军事冲突阶段。10月12日，苏军占领中国边境要镇同江。11月中旬，苏军出动4万余人的兵力，在飞机坦克的掩护下猛攻扎兰诺尔和满洲里，中国军队伤亡惨重，两地皆告失守。在此军事形势严重不利的情况下，中国寻求国际调停。由于国联不愿介入中苏冲突，中国遂将这一问题向《非战公约》各签字国提出。12月初，美、英、法三国分别照会中苏两国，对中苏冲突表示关注，希望用和平方式解决争端。但苏联政府拒绝第三国调停，坚持中东路事件须由中苏两国的直接谈判来解决。
南京政府只得接受与战场上的胜利者苏联直接谈判这一不利的要求。12月22日，基本是在苏方提案的基础上，中苏签订了《伯力会议议定书》。并将其驱逐出境；恢复苏联在东三省的领事馆及中国在苏联远东地区的领事馆，恢复双方的商务机构等。议定书还约定，所有合办中东路争议问题及恢复中苏国交问题，另由中苏会议解决。但这一原定于1930年1月举行的中苏会议，由于中国国内内战及苏方拖延等原因，迟至1930年10月才得以举行。谈判长时间内没有取得进展。九--//事变发生后，中国政府事实上不能保持对中东路的主权。苏联政府遂宣布，待东ItI'~J题解决后再继续举行中苏会议。中苏谈判就此中断。
