蒋介石受到共产党和各方面的强烈反对和谴责，陷入四面楚歌、进退两难的窘境。这时他发现自己权力毕竟有限，地位不稳，力量又不足，若继续一意孤行，势必一败涂地。他被迫释放了被拘捕的50多名共产党员，发还缴去的枪支，并表示中山舰事件只是一场“误会”，不认为“共产党有什么阴谋”。为了掩盖其反革命罪恶真相，蒋介石还玩弄了一系列骗术。他向军事委员会递交了一份“自请从严处分”的呈文；致书汪精卫“负荆请罪”，请汪出山；把特别引人憎恨的亲信作为他的“替罪羊”分别作了处分，罢免了陈肇英、王柏龄、欧阳格、吴铁城等人职，以示其公允。为了迷惑人，蒋介石又说什么：“我对于共产党同志亲爱的精神是不言而喻的”，“对共产主义，不但不反对，并且很赞成的”。明明是背叛孙中山革命的三民主义和三大政策，却高喊拥护三民主义和三大政策。
在当时形势下，如果给蒋介石以坚决的回击，是有可能取得胜利的。但以季山嘉为首的苏俄军事顾问团却从单纯的军事观点看问题，认为蒋介石武力占优势，不敢回击。总书记陈独秀在蒋介石的突然袭击面前表现得软弱无能。他错误地认为，“当时不仅有戴季陶主义思想，不仅有蒋介石的武装力量，而且在他们后面还有整个资产阶级。我们的力量不足以镇压蒋介石”，“况且蒋介石还没有公开地暴露出自己的反革命面目，社会舆论也不会同意对他进行镇压”，因此决定采取“退守和让步的策略”。他甚至荒谬地认为中山舰事件的发生，是因为“共产分子在国民党一切工作中都太过负责任”，是“当退让而没有退让”的结果，强调今后在统一战线中必须采取“办而不包，退而不出”的方针。
4月初，他派张国焘来广州代表中共中央处理中山舰事件一案。张国焘积极贯彻陈独秀的右倾退让政策。在同蒋介石谈判时，张国焘对蒋表示：“中共始终支持他，希望彼此仍能精诚无间的合作”，当时在广州考察的、以布布诺夫为团长的苏联使团对蒋的反苏反共行为采取了容忍态度。在24日苏联顾问团举行的会议上，布布诺夫认为“中山舰事件”是一次针对“俄国顾问和中国党代表的小型的半暴动”。但是会议仍然决定接受蒋介石的要求撤换季山嘉等顾问。布布诺夫在对《向导》记者的谈话中为蒋开脱。他说：“蒋介石表示他此次举动只是防止有叛党之事发生，他本人并无反俄反共，……他并未发出包围俄人住宅及罢工委员会之命令。此时蒋氏似已了解共产党确未有谋危及政府及蒋氏个人之计划，风波已归平静。”4月底，鲍罗廷和胡汉民回到广州。于是广州盛传胡蒋合作。胡汉民提出“党外无党，党内无派”等反共口号，并向蒋建议逮捕鲍罗廷，全面反共。蒋表示不同意，并利用这一形势向鲍罗廷施加压力。鲍罗廷遂决定支持蒋介石以避免出现蒋胡合作反共的反动局面。在此情况下，汪、胡离粤。为谋与蒋介石妥协，鲍罗廷同蒋等会谈了调整国共关系等问题，达成所谓三项“君子活动”：鲍罗廷接受蒋介石的建议，限制共产党在国民党中的活动；蒋介石同意鲍罗廷的主张，采取反对右派的措施；鲍罗廷同意支持北伐。
由于陈独秀、鲍罗廷等对中山舰事件采取右倾退让政策，使蒋介石不但没有受到应有的打击和清算，反而轻易地达到了反共排俄、篡夺军权的目的。在4月7日召开的国民党中央政治委员会议上，蒋介石取得了“考察任免”第一军和黄埔军校各级党代表的权力，随即下令党代表“统统调回政治训练部来再行训练”，迫使250多名已暴露身份的共产党员退出第一军和黄埔军校。季山嘉、罗加觉夫和拉兹贡等苏俄顾问被解聘回国，鲍罗廷在国民政府中的政治地位也被削弱。不仅如此，蒋介石还利用这一阴谋事件达到了打击、孤立和分化国民党左派的目的。汪精卫慑于蒋的淫威，离粤去法国。汪精卫隐退后，国民党左派群龙无首，逐渐分化：“一部分不满现状，而又无法解决现状，■徨无主”；“一部分根本动摇，行动右倾”。谭延闿、朱培德等原来主张反蒋，这时反而赞成蒋介石对共产党和苏俄顾问实行制裁。4月16日，国民党中央执行委员与国民党政府委员举行联席会议，选举谭延闿为国民政府主席，蒋介石为军事委员会主席，填补了汪精卫出走后两项要职的空缺。
陈独秀等在中山舰事件上妥协退让，是对蒋介石等国民党右派势力的又一次大让步。从此，蒋介石等国民党新右派更加猖狂起来，准备向我党和革命人民发动新的挑衅和进攻。
