因为罗瑞卿总是反对林彪，林彪对此感到十分恼怒，但由于毛泽东对罗瑞卿很信任，林彪就不敢对罗瑞卿过分发作。于是他和叶群就利用请罗瑞卿一起看电影等手段和罗瑞卿套近乎，妄图把罗瑞卿拉上他的贼船，但都被耿直的罗瑞卿不卑不亢地拒绝了。特别是1959年林彪主持中央军委工作，任国防部长后，由于这位怕风怕光的部长的身体原因，许多事务实际上都是由罗瑞卿来具体抓。刘少奇曾公开表示过，罗瑞卿是国防部长的接班人。因此，在林彪看来，对他地位和权力威胁最大的人，莫过于罗瑞卿，而罗瑞卿又不为他的威逼利诱所动，只好找机会来除掉罗瑞卿。因此，在罗瑞卿被诬陷和关押期间，林彪把罗瑞卿和他的意见分歧都当成罗瑞卿“反革命的罪证”，像一磅磅重型炮弹一样轰向罗瑞卿。
江青要一套军装，罗瑞卿明确交代：军衣可以发，但不给领章、帽徽导致罗瑞卿遭受迫害的另一个致命的因素就是他得罪了当时的“第一夫人”、“迫害狂”江青。
1965年11月，在《评新编历史剧〈海瑞罢官〉》一文发表前后，江青想以文艺为缺口在中国大地上大显威风，从而为实现她更大的野心铺平道路。她想到了军队，想到了与毛泽东关系亲密的罗瑞卿。她多次打电话给罗瑞卿，说她要召开一个“部队文艺工作座谈会”，请罗瑞卿参加。谁知罗瑞卿“不识抬举”，对江青的要求置之不理。其实罗瑞卿对江青本来就很反感，江青曾经要罗瑞卿发给她一套军装，罗瑞卿明确交代：军衣可以发一套，但不给领章、帽徽，因为她没有军籍。江青感到她的话对一直跟随毛泽东身边的耿直的罗瑞卿似乎不起任何作用，她想出风头的路也被罗瑞卿堵死了。因此，江青对罗瑞卿怀恨在心，一直在暗中想方设法置罗瑞卿于死地。
江青在罗瑞卿这儿碰壁后，并没有动摇她以文艺界为突破口而大出风头的野心，这时，她又选中了林彪。在对待罗瑞卿问题上，二人狼狈为奸，可谓是不谋而合。从此二人勾结起来，终于把罗瑞卿一步步地推向深渊。
1965年秋冬之际，林彪开始行动了。他叫秘书打电话授意海军副司令员李作鹏写一个关于近年来海军两种思想斗争的情况，重点是罗瑞卿的表现。林彪的老婆叶群则亲自打电话给李作鹏，说罗瑞卿“有野心”，“想当国防部长”，“正在组织新班子”，要李作鹏“从海军的角度”写材料。接着又给空军司令员吴法宪打电话：“你要彻底揭发罗瑞卿在空军的活动。你听到刘亚楼(前空军司令员)生前对罗瑞卿有什么意见要讲。”这是明显的示意、出题目。接着叶群又说：“林总讲，你是跟罗长子还是跟林总？”
