于是，罗瑞卿便去劝毛泽东：“主席，长江不能游。”“为什么？”“因为太危险，万一出点事，我负不起责任。”“出什么事？无非你们就是怕我死在这个地方么！你怎么知道我就会淹死？”罗瑞卿吓了一跳，连忙解释：“主席，我不是这个意思。保护您的安全是党和人民交给我们的任务。我们不能让您冒一点风险。”毛泽东吩咐先派人试试，结果证明能游。5月31日，毛泽东第一次游了长江。
1961年底，罗瑞卿奉命负责组织一个班子为林彪起草在“七千人大会”上的发言稿。在讨论第四稿时，叶群提出，稿中“毛泽东思想是在党和人民集体奋斗中形成的”这句话意思不完备，应加上“毛泽东同志的个人天才”这几个字。罗瑞卿用商量的口吻说：“现在已经不再提个人天才了呀！”叶群坚持要提。双方相持不下，到第五稿时，罗瑞卿仍然坚持不加“个人天才”字样。发言稿送到林彪处，林决定撇开这个稿子，另起炉灶。在会上，林彪讲完后，毛泽东带头鼓掌。
毛泽东于1962年4月29日、30日在武汉同罗瑞卿谈了两次话。他问罗瑞卿：“林彪同志在七千人大会上的讲话，你能不能讲出这样一篇来？”罗瑞卿答：“我水平差得远，恐怕永远也讲不出来。”毛泽东说：“讲不出来，可以学嘛！这次你们给他准备的稿子不能用，还不是他自己写出提纲去讲的。”毛泽东还要求他认真读一些马列的书。
可以看出，毛泽东对罗瑞卿的批评有时比较随便，有时又循循善诱。1960年12月25日，毛泽东在过生日前夕，对他的部分亲属和身边工作人员说的：“今天在座的，受过我批评最厉害的是汪东兴同志，除他之外，还有罗瑞卿同志。我骂过他们，要他们从房子里滚出去。罗瑞卿说，就是因为受过我的严厉批评，他就谨慎些了。他和汪东兴都是部长、副部长一级的干部，批评后没有什么嘛。”
罗瑞卿把毛泽东看成是老师和长辈，对他一直是忠心耿耿，恭恭敬敬。而毛泽东也把罗瑞卿看成是学生和子弟，对他十分信任。由此可以说明，批判罗瑞卿不是毛泽东的本意。当林彪向毛泽东汇报罗瑞卿的事情时，他就对林彪说：“他反对你，还没有反对我嘛。反对我（到长江）游泳，那也是好意。”到1973年12月12日，毛泽东在中央政治局会议上说：“小平讲，在上海的时候，对罗瑞卿搞突然袭击，他不满意，我赞成他。也是听了林彪的话，整了罗瑞卿呢。有几次听一面之词，就是不好呢。向同志们做点自我批评呢。”
林彪曾选择罗瑞卿当自己的左膀右臂，最终却将帅失和；叶群称之为“不预之隙”，真正的原因却是道不同不相与谋
林彪和罗瑞卿的关系曾经是非常密切的。他们相识于红军时期，罗瑞卿一直是林彪的下级。林彪当红四军军长时，罗瑞卿是十一师的政委。林彪当一军团军团长时，罗瑞卿是军团的保卫局长。
1959年庐山会议以后，罗瑞卿当总长也是林彪建议的，所以后来叶群称他们的失和是“不预之隙”。但是，仅仅过了一年，他们的关系就出了裂痕。1965年秋天，当林彪已经决心整罗瑞卿以后，曾经对陶铸说：“1960年，罗瑞卿对我的合作是好的。但是从1961年起，就开始疏远我、封锁我，到1965年便正式反对我了。”
林彪对于罗瑞卿有时不经过他向毛泽东直接请示和自行决定问题不满，同时还对罗瑞卿有时支持别的元帅而不支持他不满。
1961年春天，罗荣桓和林彪对如何学习毛著产生分歧。林彪恨罗瑞卿没有支持他，并在一次接见罗瑞卿时冲他发了一通火。1965年2月，林彪托刘亚楼转话给罗瑞卿，说那次冲他发火是针对其他人的，是“迁怒”。
1962年秋，叶群向中央反映，林彪指挥部队入闽，累病了，需要休息。毛泽东决定，在林彪生病期间，由贺龙主持军委日常工作。罗瑞卿因此同贺龙交往多了起来。这也引起林彪的不满。有一次，他在同罗瑞卿谈话时，突然说：“我们的威信不够吧？因为我们不是南昌起义的领导人。”罗瑞卿不太明白林彪的意思。萧华对他说：“林总是不是觉得你和贺老总接触太多，而和别的元帅接近得太少啊？”这期间，叶群也几次打电话给罗瑞卿，进行旁敲侧击：“总长啊，我们这里是个病人，又不会陪你钓鱼、打牌，你还是多来些吧。”
可以为这些材料当注脚的是林彪写的一条仅供自己的备忘录：“大捧别人，大跟别人，回京后根本不来见面。……让他做绝。”如果说1961年林彪对罗瑞卿是“迁怒”的话，到1962年，他不满的主要对象已经是罗瑞卿了。
促成林彪下决心整罗瑞卿的，是1964年的大比武和毛泽东在十三陵关于战略问题的讲话。
