他带着刘镇湘、杨廷宴等人向北逃去，到了六十四军一五六师的阵地上。一五六师师长张越秀告诉他“昨晚共军曾派人来劝降”。应当说，这是黄百韬得以求生的最后一次机会。可是，他却听信了他的参谋长魏翱的建议，还想继续与我军耍花招。魏翱说：“司令官，我们可以借这个机会，与共军联系，拖延一段时间，等待援军到来。”黄百韬沉思片刻之后说：“决定今晚同他们接头。”但是，当黄百韬等人还打算拖下去时，我军向残存的敌军发起了最后的攻击。敌军的据点一个个被攻克，六十四军大部队被歼，军长刘镇湘、一五六师师长张越秀等人被俘，那个最后时刻还想耍花招的魏翱本人也同样当了俘虏。一五九师师长钟世谦等率残部2000余人向我投降。
在混战之中，黄百韬亲自指挥一五六师一部分人从吴庄向西北突围，妄图逃出包围圈到三塔地区与李弥兵团会合。但是，未走出多远就被我军的炮火所击溃。在一片夜色之中，黄百韬带领杨廷宴等人向尤家湖方向逃去。行至一芦苇地时，在周围的一片枪炮声中，刚过了50岁生日的黄百韬举枪自杀。作为蒋介石军队中的死硬派，黄百韬曾想用他的死来“使那些醉生梦死的人醒悟过来”。可是，他想错了，蒋家王朝已经是病入膏肓，腐败透顶，无可救药，他的自杀绝对不可能让那些醉生梦死的国民党要员有所醒悟，醉生梦死者仍然醉生梦死如故，只不过后来者是或被打死，或当了俘虏。
关于黄百韬自杀时的具体情况，各种记载小有出入。据当时陪同黄百韬出逃、黄自杀时又在场的二十五军副军长杨廷宴的回忆是这样的：
当时黄百韬、陈士章、刘镇湘等见情势危急，决心各带一部分人向西突围。黄突出后走至一茅棚附近，只剩我们两人，见四面皆有解放军包围，无法再走，即举枪自杀，但并未断气，我又加了一枪。黄死后我正在哭，解放军来盘问我，我说：“我是伙夫，死的是伙夫头，是我的哥哥。”解放军未再追究，我把黄掩埋后，钻空子跑了出来。
可笑的是，刘峙关于“徐东大捷”的“喜讯”还在南京、上海的报纸上吹嘘之时，黄百韬兵团就已完蛋了。按照蒋介石的命令组成的以国民党中央宣传部长张道藩为团长的徐州前线劳军慰问团，正好在黄百韬自杀的这天来到徐州，随团而来的还有中外记者数十人。刘峙为了欺骗中外记者，临时在邱清泉兵团搞了一个“战绩展览”让人参观。当一位有疑心的记者发问：“这样的大捷，请问黄百韬将军到哪里去了？”杜聿明只好回答说：“黄百韬回家休息去了。”
黄百韬兵团所属的5个军竟会如此迅速而干净地全军覆没，在当时是出乎不少人的意料。连黄百韬本人在自知已经陷于不可挽救的结局时，也曾对杨廷宴说过他的“三不解”，这就是：
一是我为什么那么傻，要在新安镇等四十四军两天？如果我早两天向西撤退，解放军不一定抓得住我；二是我在新安镇等两天之久，为什么不在运河上架设军桥？结果因运河阻隔，再一次影响了我的西撤行动；三是李弥既然以后要向东进攻来援救我，为什么当初不在曹八集附近掩护我西撤？结果因其过早撤往徐州，陷我于孤军之地。
黄百韬看到了在具体的战术方案上的一些问题，却未能看到国民党军队在全局上的败局，未能看到蒋家王朝早已处于必败的命运。退一万步说，如果黄百韬在战术行动上能按他的设想加以实现，让他顺利退往徐州，他也只是多活几天而已。在淮海战场上被我军消灭的国民党军队的高级将领中，包括杜聿明本人在内，有好些都是从东北战场上侥幸回到中原来的，结果不是和东北战场上被消灭的结局一样吗？不过，黄百韬在临死之前总还算对失败的具体原因做了一点检讨，要比蒋介石强。
蒋介石得知黄百韬全军覆没之后，却只会发气骂下属。他在给刘峙和杜聿明的电报中说：“查此次徐州会战，我东进各兵团行动迟缓，未能彻底奉命，致陷友军于覆灭，实有失军人武德。”“另据统计，此次作战共消耗各种炮弹12万余发，而我军每日进展尚不及一公里，如此消耗浪费，不计成效，亦我革命军人之奇耻大辱。”蒋介石当然未曾想到，有失军人武德和奇耻大辱之事还多，即将源源到来。
黄百韬兵团的5个军共12万人被消灭，中央军委关于淮海战役第一阶段的任务胜利完成。第一阶段的胜利不仅消灭了以黄百韬兵团为主的总共18个整师（包括起义的三个半师），给邱清泉、李弥、孙元良、刘汝明兵团以相当的打击，斩断了徐州国民党军队的右翼，总共歼敌17.8万余人，而且还使山东解放区和苏北解放区连成了一片，完全切断了敌人在徐州和蚌埠之间的联系，控制了津浦铁路南段近200公里的铁路线，使徐州之敌完全处于孤立之中，敌人所经营的“一点两线”的防御体系完全被打破。还有一个很重要的成果是使会战双方的力量对比发生了变化，使我军兵力取得了优势并掌握了主动权。所以，连刘峙也不得不承认：“黄百韬覆灭，所谓徐蚌会战的命运已经决定了。”
上述好消息立即报告到设在周家寨的粟裕临时指挥部。当华野副参谋长张震向粟裕报告“黄百韬兵团已被全部歼灭”之后，一直处在高度紧张中的粟裕竟然一下子晕过去了，从上午一直睡到掌灯。为了这一仗，他太辛苦、太紧张了。若干年后，粟裕在回忆这一段历史时说过，在整个淮海战役中，他紧张过两次，第一次就是打黄百韬。他说：
上至中央军委，包括主席，下至我们，开始都对黄百韬兵团的战斗力估计不足啊！后来我们碰了钉子，可又不敢向主席叫苦，只有豁出命来打。主席天天来电催问战况，我心里很着急。部队打得很苦啊！
是的，粟裕的部队的确打得很苦。消灭黄百韬兵团和阻击援黄兵团都是在一马平川的淮北大平原上打的，时间又十分紧迫，战士们一般都只能利用敌人原来的工事，来不及修筑适合自己的工事，在敌人从地面和空中的强大火力之下，战士们虽然个个英勇奋战，取得了一个又一个胜利，可是部队的伤亡也不小，四纵、七纵、八纵、九纵、十纵、十一纵、十三纵的伤亡人数都在2000以上，最多的高达五千。直到现在，在碾庄曹门楼的烈士陵园中，还排列着上千座同一形状的烈士墓，墓碑上刻着刘少奇同志题写的“浩气长存”四个大字。
黄百韬兵团被消灭的第二天，毛泽东和中央军委就淮海战役第一阶段的胜利致电淮海战役总前委和两大野战军总部，电报说：
淮海战役第一阶段，你们歼灭黄百韬兵团等部18个整师，隔断徐蚌联系，使徐敌处于孤立地位，这是一个伟大的胜利。
在战役发起前，我们已估计到第一阶段可能消灭敌人18个师，但对隔断徐蚌、使徐敌完全孤立这一点，那时我们尚不敢作这种估计。这种形势的造成，主观上是因为我华东、中原两大野战军合并并攻克宿县，客观上是敌人只有某种程度的防御能力（对于这一点决不可轻视），很少有攻击能力（对于这一点必须有充分认识）。刘峙集团除被歼者外，尚有50个师左右，这个敌人是可以消灭的。但是，必须准备给全战役以3个月至5个月的时间，必须准备以几个作战阶段（你们已完成了第一个作战阶段）去取得全战役的胜利，必须准备全军部队及民夫130万人左右，3个月至5个月的粮食、草料、弹药，10万至20万伤员的医治，必须争取全军各部队在全战役所需时间中有二分之一以上时间的休息整补，务使士气旺盛，精力饱满，对于兵员必须实行随战随补、随补随战的方针，对于人民必须实行耕战互助的方针。在战术方面，必须不是依靠奇袭，而是依靠充分的侦察和技术准备（近迫作业、步炮协同等）去取得成功。必须对于我军和居民进行充分的政治工作，对于敌军进行猛烈的有实效的政治攻势，对于刘汝明等部则进行内部策反工作。只要你们注意了和完成了这些条件，你们就有可能取得这一具有全国意义的伟大战役的胜利。
毛泽东和中央军委的这封电报，既是对淮海战役第一阶段的总结，更是对以后阶段的全面部署，对于以后的作战与后方工作具有十分重要的指导意义。
