粟裕密切注视着中原战场动向，筹谋即将开始的战略行动。在他面前，展开的是一幅中原战场敌我态势图。在中原战场上，国民党军集结有25个整编师（军）57个旅（师）。其中13个整编师30个旅担任重要点线的守备，控制着郑州、开封、徐州、蚌埠、信阳、商丘等城市，以及陇海路东段、津浦路和平汉路南段交通线。另外12个整编师27个旅和4个快速纵队编成4个兵团，执行机动作战任务，邱清泉兵团在鲁西南，胡琏兵团在驻马店，孙元良兵团在郑州，张轸兵团在南阳。人民解放军在中原战场上共有13个野战纵队以及各个军区的地方部队。其中，刘邓指挥的中野4个纵队和暂归刘邓指挥的华野第十纵队，分布在大别山、桐柏山地区；粟裕指挥的8个纵队，第一、四、六和两广、特种兵纵队在濮阳地区，第三、八纵队在许昌、襄城地区，中野第十一纵队在豫皖苏地区，兵力尚未集中。
根据中央军委赋予的作战任务，粟裕首先认真地考虑在鲁西南地区歼灭第五军的作战方案，认为歼灭第五军虽然具有一定有利条件，但不利因素较多，主要是我军兵力尚未集中，打援兵力不足，又是背水作战，地形对我不利，不能稳操胜券，钓第五军这条大鱼并不是理想的作战方案。这时又得到开封守军兵力薄弱的重要情报。因此设计了一个“先打开封，后歼援敌”的作战方案。但是，他考虑到中央军委已经明确规定以歼灭第五军为夏季作战的中心目标，朱德总司令又亲自作了动员，不宜强调打第五军的不利，而把“先打开封，后歼援敌”作为腹案，没有上报下达。但在作战部署上是预有准备的。5月23日，粟裕作出了在鲁西南歼灭整编第五军的部署：命第三纵队何以祥部和第八纵队王建安部，由许昌地区向濮阳方向转移，吸引邱清泉部南下，又以第一、四、六纵队、两广纵队、特种兵纵队自张秋镇、范县之间南渡黄河，进抵定陶、成武地区，再引邱清泉回头北上。由第三、八纵队、中原第十一纵队尾敌北进，各路夹击歼灭之。他设想：如果歼灭第五军的条件成熟，即南北夹击其于鲁西南地区；如果歼灭第五军的条件不成熟，也可造成敌人的错觉，使敌人误以为我军要在鲁西南与其决战，我军即可对开封之敌实行出其不意的攻击。
果如粟裕所料，敌人跟着粟裕的指挥棒频繁调动：华野第三、第八两个纵队向淮阳开进，邱清泉的第五军即南下截击；华野第一、第四、第六和两广、特种兵纵队渡河南下，国民党统帅部急令第五军主力和整编第七十五师北返，并且增调3个整编师加1个旅到鲁西南地区，企图与华野渡河南下部队决战。
