3月26日，蒋介石到达上海。28日，国民党中央监察委员蔡元培、吴稚晖、李煜瀛（李石曾）等5人聚会，由蔡元培主持。吴稚晖报告了陈独秀与他的谈话经过，提议对共产党“应行纠察”。蔡元培表示同意，主张“取消共产党人在国民党党籍”。达成共识后，4月2日，国民党中央监察委员会举行正式会议，将有关文件送国民党中央执行委员会，但不让其中有共产党员身份的委员知晓。
吴稚晖、蔡元培都是文人，他们的反共使蒋介石有了理论上的支持。但如何实施清党，则要做好各方面的准备。蒋在上海频繁活动，与租界当局达成协议，维护西方国家在华利益，并与日本领事会谈，使外国人了解蒋的立场，并给予支持。他与上海青帮头目杜月笙等密谈，让他们组织“中华共进会”，配合清党，还与广东的李济深、广西的李宗仁在上海商定：同步在各地开展清党。
“四一二”：蒋介石开了杀戒
其实，陈独秀与中共中央负责人对蒋介石的阴谋活动已有警惕。陈独秀在3月25日晚特委会上明确指出：“我们现在要准备一个抵抗，如果右派军队来缴械，我们就与之决斗。此决斗或许胜利，即使失败则蒋介石的政治生命完全断绝。”中共中央决定加强工人纠察队的力量，调百余干部，作为纠察队的骨干，加紧训练。
但请示莫斯科后，这个武力反蒋的计划不仅未获准，联共（布）中央政治局反而于3月27日、28日、31日连续指示中共中央：“请你们务必严格遵守我们关于不准现在举行要求归还租界的总罢工或起义的指示。请你们务必千方百计避免与上海国民军及其长官发生冲突”；“暂不进行公开作战，不要交武器，万不得已将武器收藏起来。”“开展一次反右运动。鉴于力量对比上处于非常不利地位，我们不要仓促地进行公开斗争。武器不要交，必要时隐藏起来”，“勿以武装力量扰乱租界。”
共产国际的指示，捆住了中共的手脚。而蒋要清党，也必须求得国民党主席汪精卫的同意。汪刚被蒋排挤下台，去苏联考察，4月1日回到上海。蒋介石、蔡元培、吴稚晖、李石曾等立即上门拜访，吴稚晖告诉汪：“陈仲甫（陈独秀）他说二十年就把中国变成共产党国了。”汪说：“哪里要二十年呢？两年吧。”这表明汪对中共也是怀有戒心的。于是蒋明确提出两件事：一是赶走苏联顾问鲍罗廷，二是分共，要汪同意。但汪心里另有想法，他手里没有军队，要维持他的领袖地位，对抗蒋介石，还离不开共产党的支持。汪表示这两件事情关系全局，要回武汉召开国民党中央委员会议讨论。为了平息蒋对他的不满，汪在上海直接找陈独秀谈话，陈否认他对吴稚晖说过的话，并表示要继续与国民党合作。于是，陈起草了《汪陈联合宣言》。
这个宣言的发表，使陈独秀背上了“右倾投降主义”的黑锅，导致了他日后的下台。陈后来在给中共中央的信中，对当年的行为表示深为悔恨。
其实汪精卫也不是坚定地要和共产党合作。蒋介石听说此事后，立即找汪陈述利害。汪遂有反悔之意。但报馆已经开印，撤不回来了。《汪陈联合宣言》刊出后，吴稚晖激烈反对，斥责汪的“联共政策”和“两党合作”立场，激愤之余，对汪开口辱骂“一个兔子白面书生和横眉竖眼的陈独秀吊膀子”。汪大受刺激，甩手不管，次日就离开上海去了武汉。
蒋介石一面秘密准备清党，一面麻痹中共。要清除共产党，蒋仅靠自己手里的武装是不够的，如果用军队出面，政治上也很不策略，于是他借助上海青帮的势力。
当时的上海社会，成分非常复杂。代表黑社会势力的各种帮会渗入上海社会各界，组织庞杂，人数众多。青帮是上海势力最大、影响最广的帮会，青帮首领黄金荣、杜月笙、张啸林形成了一个独立于政府的地下社会秩序网。他们操纵着上海工人、商贩、无业游民等社会底层的生计，控制着上海大多数的工厂。工厂里的工头和监工大多数都是青帮中人，他们掌握着对工人的招聘和解雇、监督和管理等权力，不加入青帮几乎不可能在工厂找到工作，还会在工厂受到排挤和欺负。因此，工人不得不投靠帮会，把帮会作为求职谋生的靠山。
在国民革命的背景下，青帮也在政治上逐渐靠近国民党。特别是蒋本人年轻时也有青帮背景，所以黄、杜、张等转为支持蒋介石。黄金荣刚开始怕国民党斗不过共产党，一时拿不定主意，想观望一下再说。但杜月笙认识到共产党当家，不会有他们的好处，因此力劝黄、张与蒋合作。在这个关键时刻，杜月笙的立场对蒋在上海发动清党起到了重要的作用。
