筹建黄埔军校 陈立夫担任蒋介石机要秘书
在黄埔军校筹备期间，蒋介石曾电邀陈果夫到广州协助工作，但此时陈果夫因病未能前往。后来蒋介石又亲自写信，要陈果夫在上海代为办理军校学生的制服及一切军用品和印刷品、机器等。后孙中山又任命陈果夫为招兵委员，主要任务是为黄埔军校一、二两个教导团招募士兵。陈果夫总计为黄埔军校教导团招募了4000多新兵，这些人后来成为黄埔军校的基本力量，并为后来的北伐战争作了军事上的准备。更重要的是，为蒋介石建立自己的党军打下了坚实的基础。
除为军校教导团招兵外，陈果夫还为黄埔军校第三期招了1400多新生。
1926年4月底，陈果夫和刚从美国留学回来的弟弟陈立夫应蒋介石之邀前往广州。陈立夫的到来，让蒋介石喜出望外，他当即安排把陈立夫留在身边，担任校长办公室机要秘书，参与机密事宜。陈立夫住在广州东山区蒋介石的官邸，与蒋吃住在一起。
帮助蒋介石掌握政权 策划“中山舰事件”
1926年初，在军费分配和出师北伐等重大问题上，蒋介石与苏联顾问季山嘉以及当时国民党的头号人物、国民政府常务委员会主席兼军事委员会主席汪精卫发生严重分歧。蒋欲以辞去军事委员会委员及广州卫戍司令两职相挟，但汪精卫对此爱答不理。羞怒之下，蒋介石决定带着陈立夫离开广州。正当他们乘车前往码头的途中，陈立夫忍不住问蒋介石：“校长，为什么我们一定得走？军事权在校长掌握之中，为什么我们不干一下？”陈的话打动了蒋介石，他折回公馆，召集亲信，密谋反击。
3月18日，蒋命陈立夫等心腹策划了“中山舰事件”，扣留了国民革命军第一军中的共产党员，还派兵包围了苏联顾问团和省港罢工委员会，收缴了两处卫队的枪械。“中山舰事件”既打击了中共的势力，也降低了国民党左派汪精卫等的威信。陈立夫在整个“中山舰”事件中表现出的坚毅、忠诚、多谋，深得蒋介石赞赏。北伐开始后，陈立夫被提拔为国民革命军总司令部秘书处秘书兼机要科长，主管整个秘书处的工作。从此，他便长期跟随蒋介石，参与重大事情的策划谋略，成为国民党新右派的主要干将。
此后，蒋介石重拳频频出击，强力通过了限制和打击共产党的“整理党务案”。蒋本人取代共产党人谭平山当上了中央组织部长，毛泽东、林伯渠等共产党人也分别被剥夺了国民党中央宣传部长和农民部长的职务。这样，共产党人完全被排除出国民党中央党部，蒋介石等新右派篡夺了国民党中央的重要领导权。
为进一步排挤共产党人，蒋介石任命陈果夫出任国民党中央组织部秘书，后又出任组织部长，具体实施“整理党务案”。周恩来在回忆这段历史时说：“右派的蒋介石占了极大的优势。他把张静江捧出来做中央执委会的主席，实际上这人是陈果夫的傀儡。蒋介石亲自做了组织部长，组织部实际上由陈果夫代理。原来我们好几个部长（宣传部长、农民部长等）的位置都让出来了。……陈果夫、陈立夫便利用他们的地位，在各省发展右派。”
