“我错了，我错了，我罪该万死！”王耀武哭出声来，“我没有办法，我的老母、妻子全都在南京……”说着号啕大哭起来。济南战役仅8天时间就克城而去，歼敌10万余，是敌我双方都未预料到的。由于敌人的援兵迟迟未来，“攻济打援”的战役计划变成了“攻济”一项。这一方面说明了克城之快，敌来不及增援，另一方面说明粟裕在济、徐之间摆以重兵，使敌不敢贸然增援，眼睁睁看着济南10万守军被歼。这从另一个方面说明攻济打援的方针和重兵打援的布势是正确的。
9月29日，毛泽东以中国共产党中央委员会的名义给粟裕发电：“庆祝你们的解放济南、歼敌10万的伟大胜利。你们这一勇猛、果断、敏捷的行动……证明人民解放军的攻坚能力已大大提高，胜利影响动摇了蒋介石反动军队的内部，这是两年多革命战争发展中给予敌人的最严重的打击之一……”数日后，毛泽东审定的新华社社论《庆祝济南解放的伟大胜利》指出：济南的解放，证明“任何一个国民党城市已无法逃脱人民解放军的攻击了”。济南守敌10万之众被歼后，粟裕手中还有18万生力军未动。因此，在济南城破巷战仍在继续之时，粟裕已开始运筹策划下一个战役——淮海战役。淮海战役的建议是粟裕提出来的。关于这个问题，他说：“在济南战役前，我就考虑到打下济南以后，华野向何处出动？1948年8月23日我们在上报军委的一个电报中提出：两个月以后，我们即可举全力沿运河及津浦南下，以一个兵团攻占两淮及高邮、宝应，则苏北局势即可大大开展。当时就是想以这一作战行动为下一个作战和渡江创造条件。济南战役敌人援兵没有来，我们有必要，也有足够的力量，同敌人在江北再作大的较量。所以，我在济南战役即将结束时，1948年9月24日早晨向中央军委提出举行淮海战役的建议。”1948年9月25日，中央军委复示：“我们认为举行淮海战役，甚为必要。”我军在这边积极准备下一个战役，蒋介石那里也开始有所察觉。
1948年10月23日晚。北平东城圆恩寺。蒋介石行邸小客厅。厅内在放映电影。先映出的是蒋介石与宋美龄1927年12月1日结婚时的纪录影片。接着又放映了一段蒋介石在“双十节”阅兵的短片。当看到银幕出现国民党军队金戈铁马、滚滚如流的镜头时，蒋介石显得十分兴奋。官邸门外。一辆轿车停稳后，郭汝瑰手夹黑皮包走进了大门。
蒋介石起身从小客厅出来去办公室。办公室内，蒋介石在大声咳嗽。稍停，向郭汝瑰问道：“你是从南京来的吗？”郭汝瑰：“是的，总统。”蒋介石：“有什么事情吗？”郭汝瑰：“报告总统，中原共军在近来占我兖州、济南之后，频繁调动，兵力不断集中。国防部判断，共军很可能利用我在东北战场不利的境地，突然发起徐蚌会战，使我国军首尾不能相顾。”蒋介石：“神经过敏、谈虎色变。我谅共军还没有准备好，他们在没有解决东北、华北的问题前，是不会在南京大门外做手脚。”郭汝瑰：“总统，据国防部通信总队所属的监察台侦听到的情况表明：共军‘华野’纵队一级的电台均南移，河南共军‘中野’纵队级电台也东移。为此国防部第二厅派了104部电台进入共区侦察，由于共军防范太严，仅在鲁北地区打进了4部电台，但目前为止，一封电报也没有发回来。这一切说明，共军正在准备搞一次战略型的行动。”蒋介石沉吟良久，然后痛苦地咳嗽起来。郭汝瑰一惊：“总统……”蒋介石使劲一控嘴巴说道：“国防部有什么意见？”郭汝瑰：“何部长昨天召开了紧急军事会议，研究了应变作战方案。会议建议，一旦徐蚌开战，由白崇禧统一指挥华中、徐州两个‘剿总’的部队，俟会战结束后，华中、徐州继续分治。这是方案的文本，请总统过目。”蒋介石接过文本道：“徐州还有多少粮食？”郭汝瑰：“维持20天左右。”蒋介石琢磨了一会儿道：“楚汉相持决于彭城，这个四战之地不易久守。你回去告诉何应钦、顾祝同，徐州方面应取攻势防御。开封、郑州、兰封可以放弃。如果陈毅部南下，徐州也可放弃，退守江淮，在淮河一带挫败共军攻势，争取第二线战略配置的时间。第二嘛，‘陆总’所属的12个陆军训练处加紧补训二线兵团。华中、徐州两总部由白崇禧统一指挥。
可是，白崇禧不愿来当“徐州王”。蒋介石吃了一惊：“为什么？”顾祝同：“昨天，白健生一到南京，就参加了何部长主持的军事会议。会上，他答应指挥徐蚌会战，并对一些部署提出了调整意见。可他今天一旦又变卦了，说什么也不肯挂帅了。”蒋介石：“为什么？”顾祝同：“他说守江必守淮。”蒋介石一摆手：“这个我知道。”
顾祝同：“他说主力应部署在淮河以南采取攻势防御，可现在徐州‘剿总’的几个兵团，却以徐州为中心，一字摆在陇海线上。”蒋介石：“他有权变更部署嘛！”顾祝同摇头道：“他说来不及了。”蒋介石哈哈一笑：“当年的‘小诸葛’，今天怎么变成司马‘疑’？你找他来，我和他谈谈。”顾祝同：“晚了，他不辞而别，已经飞回汉口了。何部长刚才打电话促其到蚌埠指挥，回话说‘南京可以直接指挥，不必重床叠架’给拒绝了。”蒋介石大怒：“娘希皮！狗上轿子不知抬举！立刻传我的命令，叫刘峙指挥徐蚌会战。徐州的部署不变！就是要用徐州做南京的屏障。”蒋介石看着顾祝同离去，他慢慢地踱到窗前，口中喃喃道：“真的来不及了吗？”
真的来不及了！11月6日，粟裕指挥华野大军按规定任务，从临（沂）邹（县）线分别齐头南进。粟裕本人率华野司令部于当天进驻临沂。各部以雷霆万钧之势发起攻击，淮海大战拉开了序幕。刘峙发现解放军已发动声势浩大的进攻，在徐州坐卧不安，连电告急，蒋介石五心不定，先令其第一百军星夜开往海州，以增强李延年部的防务；后又令其中途返回，改令黄百韬兵团及李弥兵团一部在运河以东、陇海路以北掩护李延年部西撤。朝令夕改，举棋不定。黄百韬兵团于6日晚接到蒋的命令，在新安镇等了2天。粟裕知悉李延年和黄百韬的行动后，及时捕捉住这一战机，命令担负歼黄任务的几个纵队急速前进，发起猛攻。黄百韬见解放大军如排山倒海之势压来，惊恐万状，急忙边打边撤。解放军穷追猛打，黄百韬的掩护部队被打得落花流水。黄百韬率主力逃到运河一线，面对滔滔河水，大吃一惊。原来他事前没有考虑到运河上只有一座铁桥，临时在那里架桥又不可能。偌大一个兵团，5个军加上直属部队，共好几万人，你推我挤，争着逃命，建制大乱，落水者、被俘者不计其数，辎重丢弃殆尽，好不容易才将部队撤到运河西岸，派兵封锁住铁桥，将队伍拉到碾庄、窑湾一带，想把部队整理一下，挖灶做饭，另想他策。
解放军追到运河一线，发现铁桥已被重兵封锁。战士们一边攻夺铁桥，一边纷纷跳入冰冷的河水，用肩膀扛着扎紧的云梯和门板，架起多座人桥，让大部队和骡马从人桥上过河。追击部队过河后又分成若干箭头，向西穷追猛打。黄百韬部惊魂未定，黄粱未熟，发现追击的枪炮声越来越近，更为慌乱，立即边打边向西撤。这时，突然听到西边也响起了密集的枪声，黄百韬以为援军赶到，喜出望外。殊不知西边来的也是解放军。原来徐州以西贾汪一线的国民党军第五十九军两个师、第七十七军一个半师，计2.3万余官兵，已在中共单线领导的特别党员、第三绥靖区副司令长官张克侠、何基沛率领下举行战场起义。徐州西大门因此洞开，另一路解放大军毫无阻挡地迅速东进，堵住了黄兵团西撤的去路。黄百韬派人查明西面来的不是援兵而是共军，大惊失色，怆然涕下，急急忙忙布置部队占据各村庄坚守，并向徐州刘峙连连呼救。徐州“剿总”前线指挥部内也已乱成一团。刘峙在电话中受到蒋介石的严厉训斥，神态十分憔悴，打电话命令派兵追赶张克侠、何基沛的队伍电话又不通，急得如热锅上的蚂蚁。第三绥靖区司令长官冯治安涕泪纵横，正向刘峙请罪，连自己的行李也带来了，连连说：“请总座将我冯某关起来吧，我对不起总统，请总座送我去南京请罪吧！”刘峙叹了口气，拂袖而去。他心里乱极了，黄百韬的不断呼救，更扰得他心烦，只得命黄坚守待援，并吩咐通知空军做好给碾庄黄百韬部空投物资补给的准备。
粟裕看到淮海大战的序幕揭开不久，一切发展均比预期的还要顺利。他想，而今东北全境已经解放，解放战争已到了一个新的转折点。从这个角度出发，我们这里应该调整作战计划，应该考虑怎样打法才能给蒋介石以决定性的打击，从而加快解放战争在全面胜利的步伐。他征询华野其他负责同志的意见，大家认为：在淮海战场上，蒋介石可能采取的方针大体有两种：一种情况是以徐州部队和葫芦岛撤退的部队继续在江北与我们周旋，争取时间，加强沿江、江南和华南的防御；另一种情况是放弃徐州、蚌埠等地，将徐州附近的部队撤过江去，加强沿江防线，企图与我划江而治，俟机反攻。如果出现前一种情况，我军应在长江以北大量消灭敌人的有生力量，为渡江作战造成更为有利的条件，并使江南各省免遭大的破坏，解放以后易于恢复。但这样打法，老解放区的负担势必会加重一些。如果出现后一种情况，沿江和江南一下子增加了五六十万国民党军队，会大大增加我军今后渡江作战的困难，渡江以后向苏浙皖赣进军也还要进行严酷的战斗。粟裕反复考虑后，向中央积极建议：如果老解放区能继续支持战争，我军应迫使蒋介石采取第一种方针，让徐州之敌滞留长江以北地区，我军在歼灭黄百韬兵团后，不再向两淮进攻，而以主力向徐州、固镇线进击，把敌逐步削弱和歼灭在徐州附近地区。中央军委和毛泽东主席对粟裕这第二次建议也十分赞赏，立即给粟裕回了电报并告陈毅、邓小平和华东局、中原局，同意了粟裕等的意见。接着，中央军委决定由刘伯承、陈毅、邓小平、粟裕、谭震林5人组成淮海战役总前委，邓小平为书记，统一指挥华东、中原两大野战军。同时，要求组织好后方人力物力，支援前线，以保证淮海战役的胜利。这样一来，就把粟裕在济南战役时提出的淮海战役（史称“小淮海战役”）变成了后来的淮海战役（史称“大淮海战役”），这其中，粟裕仍然功不可没。关于“小淮海战役”计划演变成“大淮海战役”（南线战略作战），粟裕说：淮海战役演变为南线战略决战，是中央军委审时度势，不失时机作出的战略决策。我于9月24日向中央军委的建议是：战役可分为两个阶段，攻占两淮，并乘胜收复宝应、高邮，而以全军主力位于宿迁至运河车站沿线两岸，以歼灭可能来援之敌，如敌不援或被阻，即行战役第二步，以三个纵队攻占海州、淮海战役中解放军的运粮队伍。连云港。中央军委在9月25日复电中指示：黄百韬兵团将回至新安镇、运河车站地区，你们第一个作战应以歼灭黄兵团于新安、运河之线为目标，歼灭两淮、高宝地区之敌为第二个作战，歼灭海州、连云港、灌云地区之敌为第三个作战。先打黄百韬，加重了我们的任务，我们预计第一仗打黄百韬是个大仗、硬仗。
但是，这时的淮海战役计划，还只是由华野在中野的战略配合下来进行的。中央军委在10月11日指示中提出：孙元良3个师将东进，望刘伯承、陈毅、邓小平即速部署攻击郑徐线牵制孙兵团。这个指示，估计淮海战役结束“将是开辟了苏北战场，山东、苏北打成一片，邱、李两兵团固守徐蚌一线及其周围，使我难于歼击”。
这时，刘伯承同志率中野两个纵队在豫西作战，把敌人引向桐柏山区；陈毅、邓小平同志率中野主力于10月22日晚攻克郑州，24日收复开封。25日陈毅、邓小平同志向中央军委建议所部下一步不去淮南，而是集结于永城、亳州地区，无论出宿蚌线或打孙元良都更方便。中央军委同意了他们的建议，并于30日指示陈、邓进至肖县地区，对徐宿（县）、徐砀（山）两线相机行动。这样，中野、华野便将在战役上协同作战了。我于10月31日电报中央军委：“此次战役规模很大，请陈军长、邓政委统一指挥。”中央军委于11月1日复示：“整个战役受陈邓统一指挥。”这就从组织领导上明确了两大野战军在一个战场进行战役协同。这是淮海战役演变为南线决战的一个重要条件。演变为南线决战的第二个重要条件是辽沈战役的胜利结束，没有辽沈战役的胜利，我们也不敢下那样的决心。11月2日辽沈战役胜利结束，一个多月东北野战军歼敌45万人，全国敌我力量对比发生了根本变化，我军已在全国范围内，在数量上、质量上、技术上都占优势了。
这时，当面敌情也发生了重要变化。11月7日我们得知敌四十四军已在6日撤离海州，向黄百韬兵团靠拢，我军立即进占海州、连云港。原定攻打海州已不需进行。当时东北之敌只剩下锦西葫芦岛一处。中央军委几次通知我们这处敌人的动向。海州、连云港被我攻占后，如蒋介石将该处敌人经海路南调徐州战场，也只能绕道上海、浦口，再转运到蚌埠，将失去及时支援的时机。同时，长期隐蔽在国民党军中的何基沛、张克侠两将军即将率部在台儿庄、贾汪地区起义，一旦起义成功，华野可以通过其防区迅速切断黄百韬的退路，全歼黄百韬兵团已更有把握。此外，我们又得到敌人有撤退徐州，以淮河为第一线防御之说。有了上述这些条件和情况，我觉得淮海战役发展为南线决战的时机已经成熟。于是我们对战役发起后及下一步作战形势作了估计，我和陈士榘、张震于11月7日午时联名发电谭震林、王建安，并报中央军委、陈邓，建议中野主力直出徐蚌段，切断徐敌退路，使邱、李不能南撤；华野主力于歼灭黄百韬后，协同中野攻击徐蚌段，孤立徐州；下一步或继歼黄维兵团，或歼灭孙元良兵团，或夺取徐州。当时我们认为，不论如何发展，孤立徐州、截断徐敌陆上退路，甚为必要。
