有人说林彪反对大比武，这不是事实。全军大比武半年后林彪听取军训工作汇报时讲话，说这几年军事训练工作有成绩。已有的成绩要巩固住，不能减弱，不能退下来。对普及工作要造成声势，这个意见很好。但是毛泽东对大比武有自己的看法，他通过林彪的嘴说了出来。
１９６４年１１月３０日，在全军组织工作会议上，林彪提出各级党委一定要把政治思想工作放在首要地位，一定要突出政治。根据林彪意见，叶群和总政副主任刘志坚带着总政工作组到基层连队，整理了四份调查报告，认为部队军事冒尖，政治不浓，脱离了毛主席的建军路线。１２月２８日，林彪在广州紧急召见总政负责人，说今年的比武把政治工作冲垮了，“四个第一”不落实。而且说这是全军性的问题，强调一定要突出政治。这次谈话内容整理出来，以中央军委《关于当前部队工作的指示》下发全军。１２月２９日，林彪接见总政副主任刘志坚和《解放军报》总编辑唐平铸，说１９６４年在军事训练上有的搞得过于突出，时间也占得多了一些，冲击了政治；有的过分强调抓军事技术，忽视政治思想工作；有的甚至弄虚作假，搞锦标主义和形式主义，需要加以纠正。明年应当着重抓政治思想工作，首要的是大抓学习毛主席着作。１９６５年１月１５日，毛泽东在《军委贯彻林彪关于突出政治指示的通知》上批示完全同意，照此办理执行。２月２２日，毛泽东接见海军干部会议和《解放军报》编辑记者会议的代表，再次表示对林彪的支持。１１月１８日，林彪提出“突出政治”的五项原则，中心是活学活用毛主席着作，特别是要在“用”字上狠下功夫，要把毛主席的书当作全军各项工作的最高指示。毛泽东不仅批准，还要求将此作为全军各项工作的总方针和总任务。这些实际上都是针对罗瑞卿的，因为毛泽东认为罗瑞卿与突出政治对着干。
在毛泽东看来，罗瑞卿肯定是有自己的问题，他最大的问题是什么？
林彪的大撒手，使罗瑞卿的权力大到无边。罗瑞卿拥有很多重要的军内外职务，中央书记处书记、国务院副总理、军委秘书长、总参谋长等，集党政军大权于一身。以前和以后的总参谋长从来没有过这么多、这么高的位置。甚至可以说，他和林彪平起平坐。林彪是国务院副总理，罗瑞卿也是国务院副总理，只不过林彪是国防部长，罗瑞卿是国防部副部长，可罗瑞卿还是中央书记处书记呢。更何况林彪几次讲过，他要辞去国防部长的职务。
刘少奇认为，毛主席提出培养接班人，每个人都要准备接班人。国防部长的接班人是罗瑞卿。战备空前紧张，国防部长和军委第一副主席的位置坐着一个“病人”，总不是一件好事。邱会作回忆：毛主席让贺龙主持军委日常工作，上边有人对罗瑞卿打招呼，让他当上国防部长。罗瑞卿自己也认为林彪要下台，下届国防部长可能要换人，所以１９６３年、１９６４年罗瑞卿的“工作方针”是冷林热贺，疏远林彪，亲近贺龙。罗瑞卿翅膀硬了，也有些变了，不怎么登林彪的门，有些大的事情也不向林彪请示报告了。甚至在突出政治的问题上，罗瑞卿与林彪公开唱对台戏。不止罗瑞卿，贺（龙）胡子也领错了情，没想到１９６４年１２月三届人大公布，国防部长、第一副总理仍然是林彪。
林彪对罗瑞卿的疏远倒没有什么，本来就是他放手让罗瑞卿干工作的嘛。至于罗瑞卿对林彪的“顶峰”、“最高最活”提出不同看法，林彪认为只不过是文字上的事情，没有认为是什么大是大非。林彪说，罗长子抠得还挺细的嘛，对嘛。叶群说，那你过去讲话说过“顶峰”、“最高最活”呢？林彪很生气地摇头，说有没有讲过，我忘了，我不过是照本宣读，也可能错，甚至错得更大。文字上的问题，怎么准确你斟酌，多听罗长子的意见，他接触实际多。
可是罗瑞卿对一些元帅和老同志不太尊重，叶剑英、聂荣臻、刘伯承等一些老同志却很有意见，认为罗瑞卿不把他们放在眼里。那时毛泽东深居简出，老帅都不可能随时见到他，而罗瑞卿可以，并由他把“圣旨”传达给各位老帅。吴法宪曾听叶剑英说过，罗瑞卿对他不够尊重。叶剑英分管军事训练及科研，所需要的经费罗瑞卿就不那么支持，因而产生了一些意见和矛盾，状告到了毛泽东那里。除了老帅，军内外也不断有人到林彪这里告状。
杨成武回忆：１９６５年５月３日下午，我和罗瑞卿两家去看刘亚楼。刘亚楼已经神志不清，医生打了一针，才恢复了意识。大家都心情沉重地在那里默默地坐了许久。晚上罗瑞卿约我在锦江饭店花园里散步，说昨晚他去看了林总。林总发了一通脾气，说一是封锁他，总参封锁他，办公厅、总参作战部、政治部的文件不送给他。二是第一颗原子弹爆炸的电影解说词中只提在周总理和罗总长的领导下，没有提毛主席、刘少奇主席，没有提党中央、中央军委和其他老帅。三是在庆祝原子弹爆炸成功的宴会上，将自己安排在第一桌，把老帅安排在第二、第三桌。林彪说今后要加强通气，规定了五条，如果林彪在北京，要×日汇报一次工作，如果在外地，要×月汇报一次，到他那里汇报用不着联系，也用不着打电话，随时可以去。林彪还一句句念党章和毛主席的话，罗瑞卿感到他这一次态度并非一般。
林彪是个自尊心极强的人，他不愿意自己分管的工作搞不好。罗瑞卿不和他通气，他不了解罗瑞卿的工作状况。面对这一大堆意见，别人会以为罗瑞卿依仗着林彪而不把别人放在眼里，所以林彪批评罗瑞卿，你要到我这里来汇报，一旦老帅来找，我好帮你说话。否则老帅来了，我只能听他们说，我说不出话来。不能否认罗瑞卿“代理”林彪的权力后，有了骄傲情绪，对老帅不够尊重。林彪批评他，甚至狠狠地批评，都理所应当。但批评和打倒是两个完全不同的概念，批评并不意味着打倒，林彪一直想保罗瑞卿，直到最后还想保他。罗瑞卿被打倒后，林豆豆曾问过父亲：为什么打倒罗瑞卿？林彪反问：为什么打倒罗瑞卿？从历史上看，罗瑞卿是林彪的老部下，林彪任红４军军长，罗瑞卿是红４军保卫局长。到延安林彪是红军大学校长，罗瑞卿是教育长，相处融洽。平津战役结束，罗瑞卿曾提出到四野，因毛泽东让他出任公安部长才作罢。在林彪眼中，罗瑞卿有工作能力，身体又好，他如果不能当总长，大将中还有谁能当总长呢？所以林彪多次批评罗瑞卿，希望罗瑞卿改正缺点，继续工作。
邱会作回忆：１９６５年８月，叶剑英去看望林彪，林彪有些不好意思。平时不管谁来看望林彪，林彪很少先说话，这次他主动说，他这个总长尽在外面惹事，罗长子这人，他对你们不尊敬，我要不断地刮他鼻子。叶帅笑了，说林总，今天主席叫我来，罗瑞卿的事你以后不要管了，罗的事以后由中央解决。
◇ 罗瑞卿与叶群的深夜谈话
林豆豆回忆：１９６５年的一个夏夜，叶群叫我和老虎陪她见罗总长。我说应该让总长和爸爸直接谈。叶群说：总长知道你爸爸睡了，说今晚一定要来，不知总长有什么急事。我不想参与，就睡了。凌晨２点叶群叫我起来，说总长和她谈了好一会了，他们想吃点东西。因为罗瑞卿来得急，这么晚了，没做准备，叶群叫我去端茶点。我说爸爸不是规定不准我参与这种事嘛！总长和你已经谈了很长时间，我不去了。你叫老王（淑媛）去吧。叶群说总长想见见你们两个小孩，说好久没见了（总长见我时也说了这些话）。你去见见总长，端一下茶点就回来。我去时，睡眼惺忪的老虎也在。总长关注地看着我，并拉我坐在他身边。过去我住院或者病了，总长和郝阿姨常来看我，叶群不关心的事，他们都深切地关心到了。总长知道我和叶群的一些（不好的）关系，他非常关心地对我说，豆豆身体怎么还这么瘦弱？战争年代，你妈妈怀着你，几次打胎，都没有打下来，你算命大了！在延安洞子里七个月就生下来，全靠糊糊，什么奶也没吃一口，身体本来就弱一些。那时候生活真艰苦，我儿子猛猛比你小一岁，没衣服穿，就穿你穿过的小衣服。叶群说那时豆豆动不动就高烧昏迷，她急了，身体也虚，打电话找医生时昏倒在地。几次都是你罗伯伯碰巧来看，才救起来。我说罗伯伯叫我经常吃生萝卜后，我生病就少了。总长笑着说：嘿，豆豆记性这么好！我说爸爸经常给我讲这些事，我一直没忘，现在还喜欢吃生萝卜呢。
那天夜里，叶群对总长说了许多尊重和赞誉的话。叶群说：１９６２年以后，林总身体很不好。这几年军队工作如果没有总长，不会有这样好的局面。林总对你发了脾气，我相信你是不会见怪的，他只对像你这样的人才发脾气。你也知道他在家里总说你的好话。罗瑞卿也连连检讨，说以为“定级名单”送给林总看了，后来才知道是秘书误了大事，我狠狠批评了他们，我也疏忽了。叶群说这不怪你啊，对秘书也不要批得太厉害。你确实太忙了，除了军队工作，还有那么多的中央会议和外事活动要参加。你心脏有点毛病，也要注意休息，注意身体。罗瑞卿说小毛病，很轻微，不要紧的。只要林总身体好，我工作就好做多了，还是你把林总的身体照顾好要紧啊！
罗瑞卿对林彪的身体非常关心，总希望林彪的病能治好。每次见到林豆豆总是问林彪的身体怎么样，并意味深长地说，要是你爸爸身体好，那就好啦！叶群说林总身体不好，动不动就对我大发脾气。为了他的身体，我牺牲了自己，没有为党干一番事业。他不像你会当丈夫，跟他在一起，我也是很为难呀……我要是在地方继续做教育工作，为党早干出一番成果来了。“文革”中叶群又说，要是我继续做教育工作，肯定打成“黑线”人物了，１９５７年就差点儿打成大右派，以后还不知道要打成什么呢。罗瑞卿说不要这样想，好好照顾林总的身体，这也是为党工作嘛！叶群说我们常不在北京，两个孩子都靠你们照顾了，以后还得托你们照顾和管教。叶群对两个孩子说，你们以后要好好听伯伯的话……总长马上插话，可不要叫伯伯，还是叫叔叔吧。我这个做叔叔的老是很忙，也没照顾好。林豆豆看他们谈得很好，提出告辞，罗瑞卿说，我这个叔叔没当好，早就想看看你们，又让你们也睡不成觉了。我确实很忙，好久没见到你们了，你们来了，就陪我再坐一会吧。林豆豆稍坐了一会，再次向总长告别，拉着老虎走了。她最后听见叶群对总长说，你不分昼夜的，一心想怎么把军队工作搞得更好，敢管敢负责，当然难能可贵。但是你忙得东跑西跑，也别使人觉得你好像是横冲直撞、盛气凌人的。有些事别看得那么太简单了，各个方面都要想到。林总是了解你的，但有些领导同志有意见，也许以为你是按林彪同志的意见办的，他们也不好说。特别是对最上面的事情，好心办了好事，你还不知道犯了什么忌讳。政治上你也请细心谨慎些，同各方面的领导同志、老帅们的联系更广些，多请示多尊重他们，这样，是否更好些……还是要多通气，要不然有些事情反映到林总这里，他都不好替你说话。今天总长专门来看我，是对我的信任。我劝你不要来，我是怕林总认为我插手办什么坏事了。我听到一些反映，作为总长的下级，我感到有责任向总长反映，这都是我个人的意见，不见得对，供总长参考……
第二天，叶群拉着两个孩子专门对林彪说：昨天晚上总长找我谈话，谈得很好，我可是非常尊重和团结总长的，完全是出于好意。林彪说：叫你不要插手，你又插手！叶群说：接电话的秘书和两个孩子都知道是总长一定要找我谈话的，叫我不要叫醒你，怕影响你休息。林彪说：谁知道你说了些什么？！叶群说：两个孩子可以作证。林办工作人员都知道，叶群拉上儿女，是为了使林彪相信她是尊重总长的。在１９６５年９月之前的好几年，叶群在工作人员中总是说她怎样尊重总长，生怕林彪认为她在挑拨。因为林彪严格规定叶群不准在他和别人面前说总长和任何人的什么不好。林彪多次严厉告诫叶群：不准干扰总长的工作。还专门给叶群写了“要搞德智体，不要搞名位权”的大条幅，挂在她的床头。并规定不准摘下来，以至挂了好几年，一直挂到“文化大革命”开始以后（以上均引自１９９６年１０月１１日，采访林豆豆笔记）。
◇ 毛泽东让叶群到杭州来汇报
１９６５年杭州的毛泽东已经不是１９５９年庐山上的毛泽东了，那时他面对面地与彭德怀干仗，连个转圜的余地都没有。这回揪罗瑞卿，他可不能冲在第一线了，一定要有一个冲锋陷阵的“羊”。
１９６５年１１月，叶剑英突然来苏州，向林彪传达毛泽东的指示，说不要再保罗瑞卿了，再保对你没好处。叶剑英没想到墙后有耳，叶群和林豆豆在屏风后面全听到了。毛泽东认为罗瑞卿是刘少奇的人，明确要求林彪表态，林彪藉口身体不好拒绝了。毛泽东说：如果林彪身体不好，可由叶群代为汇报。
此时，叶群在江苏太仓县农村，毛泽东、江青让她和林豆豆去搞“四清”（清政治、清经济、清组织、清思想）。
