在鲍罗廷、张国焘的影响下，国民党中央执行委员中的共产党员，“对于此项议案并未表示异议”。整理党务案被顺利通过了。这是中国共产党在党务上的大让步，也是第三次大让步。
蒋介石的“提案”被通过后，陈独秀等以中共中央的名义写信给国民党中央，说什么整理党务案是“贵党内部问题，无论如何决定，他党均无权赞否。”6月4日，他在给蒋介石的公开信中竟然说：“倒蒋必以蒋确有不可挽回的不断的反革命行动为前提，而事实上从建立黄埔军校一直到3月20日，都找不出蒋有一件反革命的行动。”由于陈独秀等人的妥协退步，蒋介石的反共阴谋又一次得逞。“整理党务案”通过后，蒋介石立即把老右派张静江捧出来做国民党中央常务委员会主席，充当他的傀儡。原来担任国民党中央部长职务的共产党员，其中包括组织部部长谭平山，农民部部长林伯渠，宣传部代理部长毛泽东，一无例外，全部辞职，大部分都换上了国民党右派政客。叶楚伧当上了秘书长，邵元冲当上了青年部长，甘乃光当上了农民部长。蒋介石自己则当上了组织部长（不久即由陈果夫接任）和新设立的军人部长。从此，在国民党中央各部门的领导机构中，以蒋介石为首的右派分子占据了极大优势，而共产党在党务方面则毫无地位了。
在广东的共产党人，对蒋介石等国民党右派借“整理党务案”打击共产党的罪恶行径表示极大愤慨，进行了揭露和斗争。中共广东区委于5月23日发表了《对中国国民党第二次中央全体会议宣言》，全面阐述了中国人民反帝反封建的革命任务和共产党参加革命的坚定立场，严正驳斥了国民党右派污蔑共产党参加国民革命“没有诚意”，加入国民党是为了谋“一党的私利”等反动谰言。并指出：反革命政客制造谣言，挑拨离间，在革命内部搞分裂，都是破坏国民革命的最恶毒的手段。中共广东区委还指示所属组织对整理党务案要加以抵制，不把共产党员名单交给国民党，并要加强、扩大工会和农会组织，加强工人纠察队和农民自卫军的群众武装力量，提高警惕，随时预防和对付国民党右派的突然袭击。
但这时，蒋介石还不敢同共产党彻底决裂，而要暂时维持某种“合作”关系。一是因为他力量尚不足，还有所顾忌；二是因为还要继续借助共产党和工农的革命力量，借助苏联的援助，在北伐中做一番更大的买卖，以实现他取代北洋军阀充当全国独裁者的政治野心。蒋介石当时也承认：两年来联俄、联共，“对于革命势力的增厚，革命方略之进步，唤起民众，及对敌帝国主义的影响，实有一日千里之势。由此观之，对于此二种势力，仍有联合之必要”。他要利用孙中山三大政策的威力继续为自己服务。因此，在“整理党务案”通过后，蒋介石继续玩弄两面派的手法，一面大唱革命高调，表示赞成联俄、联共、扶助农工，说他的“整理党务案”不是放弃国民党联合共产党的政策，而只是规定国民党联合共产党的方法，以此掩饰他右派的真面目，麻痹人们对他的警惕；另一方面则伙同陈果夫等右派，利用他们的地位和职权，加紧在各省发展右派势力，排斥共产党和国民党左派，攫取实权，以便等待时机实现更大的反革命阴谋。
