经过近一周的守城激烈残酷战斗，台儿庄守军伤亡惨重，到4月3日，全庄2/3已为敌有，我军仍守南关一隅，死拼不退。敌方更调集重炮、坦克，急于攻克台儿庄。日本电台且宣称已将台儿庄全部占领。我方守庄指挥官第三十一师师长池峰城，深觉如此死守下去，有全军覆没的危险，于是向孙连仲总司令请示，可否转移阵地，暂时退至运河南岸。孙连仲打电话请示长官部参谋长徐祖诒，徐以事关重大，报告司令长官李宗仁，李宗仁回答：已令汤恩伯军团迅速南下，援军不日可到，严令该部死守，决不许后撤。孙连仲随后直接打电话给李宗仁说：“报告长官，第二集团军已伤亡7/10，敌人火力强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第二集团军留点种子，也是长官的大恩大德！”
李宗仁理解、体谅孙连仲，但他考虑，汤恩伯部队明日中午可赶到台儿庄北部战场，如果今天第二集团军放弃台儿庄，岂不功亏一篑？因此，李宗仁坚决回答：“敌我在台儿庄已血战一周，胜负之数决定于最后5分钟。援军明日中午可到，我本人也将于明晨亲来台儿庄督战。你务必守至明天拂晓。这是我的命令，如违抗命令，当军法从事。”孙连仲看李宗仁态度坚决，便说：“好罢，长官，我绝对服从命令，整个集团军打完为止。”
在电话中，李宗仁还指示孙连仲，不但要守到明天拂晓之后，今夜还须向敌夜袭，以打破敌军明晨拂晓攻击的计划，则汤军团于明日中午到达后，我们便可对敌人实行内外夹击！孙连仲说，他的预备队已全部用完，夜袭甚为不易。
李宗仁说：“你将后方凡可拿枪的士兵、担架兵、炊事兵与前线士兵一齐集合起来，组织一敢死队，实行夜袭。胜负之数，在此一举。”
孙连仲说：“服从长官命令，绝对照办！”
孙连仲与李宗仁通话后，在台儿庄内亲自督战。随后池峰城又来电向他请求准备撤退。孙连仲命令：“士兵打完了你就自己上前线去。你填过了，我就来填进去。有谁敢退过运河者，杀无赦！”
池师长奉命后，乃以必死决心，逐屋抵抗，任凭敌人如何冲杀，也死守不退。
下午3时，台儿庄内日军在城东南地区之敌配合下，向我军全线总攻，我防线均被突破，敌又施放催泪瓦斯。我官兵坚忍苦撑。
3日2时，日军为解除台儿庄左侧的威胁，向我右翼第二十七师大举进犯，我园上、孟庄、彭村、邵庄、陶沟桥各村阵地均被敌突破，日军冲入街市，与我守军发生最激烈、最悲惨的巷战，双方白刃相接，弹雨横飞，我官兵均抱牺牲之决心，与敌血拼到底。鏖战至上午4时，我园上之焦营、孟庄之田营、陶沟桥之王营，彭村、邵庄之王营，官兵均伤亡惨重。
拂晓，日军又集中强大炮火向我阵地轰击，随后以步骑兵200名，附战车30余辆，向我沧浪庙、边庄、赵村、纪庄、丁家桥、东庄、五窑路、火石埠等处阵地猛攻。我二十七师官兵奋力抵抗。战至上午10时，我沧浪庙、边庄、赵村、东庄、纪庄、火石埠一带阵地，悉被敌炮轰成焦土，守兵牺牲大半，经八九昼夜血战，该师战斗员兵牺牲甚众，仅剩官兵千余。适逢我四十四旅增援之一团，已到运河北岸，我友军一三九师及第二师、第六师部队，已向敌之侧背袭击，敌受威胁，不得不抽调兵力策应，我阵地方减轻压力，至下午2时，战况始逐趋和缓。
是日，日军在台儿庄东南地区多次发起进攻。上午7时30分，敌集中炮火攻击我二十七师新阵地，占领陈庄、李庄，我军退守石拉、梁王城。
上午9时20分，台儿庄南门外敌步兵300余、坦克4辆进占黄林庄，图谋渡运河，时我河防空虚，台儿庄中央守备队奉命急调一营兵力向左延伸至黄林庄之线，防敌强渡。
下午3时，黄林庄又发生战事，敌步兵400余、战车数辆，向我二十七师工兵营第一连阵地进攻，该连沉着应战，第二、三连向敌侧背出击，敌不支而退。
下午5时，台儿庄东南之敌以战车10辆掩护，向石拉、梁王城进攻，与我二十七师激战，石拉被敌占领，旋即敌又施放烟幕，企图强渡运河，第四十四旅奉命速往堵截，运河南岸我炮兵队亦向北岸之敌射击，敌未能得逞。
3日上午，第一一○师第三二八旅向峄县县城发起攻击。该师自担任运河河防守备以来，虽训练不足，装备又差，但每日都向韩庄东站及日军重要据点发炮射击，并不时以小部队出击。该师自豫西带来红枪会的一支梭镖队，勇于夜袭，敢于肉搏，使敌胆寒。自3月28日以来，多次与敌接仗，一度中断了敌人由枣庄、峄县向台儿庄的弹药输送。日军整整一天没有补充上炮弹，几乎停止了对台儿庄的炮击。
3日上午，第一一○师第三二八旅官兵抬着云梯向峄县县城发起了进攻。城里的残敌闻讯就向城东北逃窜。中午，敌五六架飞机向我部扫射，北洛的敌人也向峄县增援，我调转兵力迎击敌人。第六五五团团长鲍汝澧派出一个营的兵力击退了来犯之敌，还破坏了日军的通信联络。接着临城方面之敌又派出200多人，在飞机掩护下，分两路向我围攻，我五六五团团长廖运周派两个连向枣庄附近佯攻，诱敌向东北方向转移兵力，又派第二营从左翼猛攻进犯之敌，敌猝不及防，狼狈而逃。枣庄之敌惊恐万状，不敢迎战。
在津浦线北段左翼，我孙桐萱第三集团军在鲁西开展游击战，向
日军主动出击。
4日1时，台儿庄城内之敌步、炮联合，连续向我守军猛攻4次，敌机四五架竟日凌空轰炸，敌我双方肉搏10余次。敌用燃烧弹燃烧我民房，房舍中弹后，四处起火，适值东南大风，火遇风势燃烧益猛，无法扑灭，我仅存东南之房舍，全部付之一炬。我官兵在烈焰之下，奋不顾身，修补被毁工事，并严密监视敌人。12时，敌乘火势减弱，即发动进攻。首先进攻我东南阵地，我第二营第二连伤亡50余，仍坚守阵地。后在我迫击炮射击下，敌进攻受阻，我军恢复原阵地。下午4时，敌步兵500余，战车37辆，以炮火掩护，猛攻台儿庄西北角，我守军又与敌激烈搏斗，毙敌百余。
与此同时，敌兵四五百人在两辆坦克的掩护下，向我北门进攻。我禹营严阵以待，适敌进至我射击范围之内，我官兵一齐运用火器进行射击，敌人在数十米的近距离内无任何遮蔽，完全处于暴露状态，故被我火力痛击。敌进攻被打退。
三十一师决心以一部攻略小金庄，以主力扫荡台儿庄城内之敌。为此组织200余人的奋勇队。该奋勇队于晚7时集合，晚9时在炮火掩护下，勇猛进攻，奋不顾身，皆以牺牲精神攻入阵地，终将大庙之敌消灭并占领之。日军败退大庙后，仍据附近房屋死守顽抗，我攻势受阻。
与此同时，三十一师师部令北站地区守备队以一部攻击小金庄，车队进至南北洛之间协助攻略。后因铁甲车队在运河站受交通阻塞，失去支援，我北站守备队仍奋勇进攻，占领小金庄。
4日中午，第七十五军张琪第六师第三十二团一部（该部队于前日开抵李家圩）开始向火石埠之敌进攻，与敌激战1时许，发现敌步兵200余，由火石埠山后向山下村内增援。另派步兵约一连，由五窑路向火石埠增援。同时敌炮4门向我李家圩、梁王城两处射击，企图阻止我第六师前进。
二十七师令侯旅游击队由杨庄向火石埠之敌进攻，并协助我第六师右翼，郭团第一营由王庄向火石埠以西，李团第一营派兵进占李家圩东南之坟地，协助第六师夹击该敌。双方激战至下午4时，敌受重创，退村内坚守顽抗。下午1时许，我杨团第一营营副赵汝沣，率兵百余名将赵村之敌驱逐，收复该村，残敌六七十人，向纪庄退去，该营乘胜率队追击，又将纪庄夺回，与斗沟、边庄之敌对峙。
4日，敌兵再兴攻势，重点指向我台儿庄右翼禹王城，晨7时，敌骑兵约一联队向大东庄作试探攻击，遭我第二十七师一五七团之伏击，死伤百余，旋即退却。9时，敌约一旅团，炮约40门，进占我禹王城高地，瞰制我运河全线阵地，以优势炮火，掩护其步工兵，企图强渡运河。我官兵坚守阵地，以机动部队予以截击，敌数次强渡，均予击退，并消灭其大半。
午后，我二十七师一五七团选奋勇队200名，携带炸药、手榴弹、大刀等轻便武器，袭禹城高地之敌炮兵阵地，卒炸毁敌炮十数门，并利用此丘陵地带，疏散隐伏，出没于敌后，迄敌败退，晚始返回。
4日，田镇南军长亲自督战，令三十师指向南、北洛，一一○师（欠一旅）向泥沟，作楔式攻击。但因装备不足以破敌，未获战果，日军亦未敢反击。
台儿庄左翼战场，第三十师也陷入与日军苦战中。
4日，最高军事当局以台儿庄战事须派队增援，令李仙洲第九十二军吴良琛第十三师已用一团作运河线预备队，三团到台儿庄作孙连仲二集团军总部预备队，又令李仙洲第二十一师由郑州开徐州，第七十五军甘丽初第九十三师到时开兰封。
4月5日，第一战区司令长官程潜到达徐州督战，命令6至8日，3天内歼灭台儿庄日军。
5日拂晓，台儿庄当面之敌集中炮火向我猛烈轰击，我工营及禹营伤亡百余。同时敌人向大庙反攻，在我抗击下，敌未得逞。
二十七师奉命亦于本日开始进攻黄林庄一带敌人。5日1时，占领该村。上午8时，我杨团一营先后攻占纪庄、斗沟，续向边庄、沧浪庙之敌进攻。我杜团占领孟庄、裴庄、前彭村、后彭村。我军进展顺利，李团亦占领毛梁、沧浪庙。
6日，台儿庄各战场形势急转直下。上午10时，台儿庄以北汤军团五十二军先头部队已抵刘庄，七十五军已到东庄，正分别向台儿庄推进。
11时50分，五十二军通报，该军已到岔路口，拟今晚8时向台儿庄之敌攻击，并相互通报夜间协同作战之联络信号。由于我汤军迅速向台儿庄南下，对敌之包围圈正在缩小，坂本支队被我大军围攻后撤返临沂，濑谷支队久战疲困，孤军无援，处于困境之中，濑谷支队于6日下午3时30分下令支队主力于黄昏自台儿庄向北撤退。6日1时，第二集团军孙总司令已察觉敌已全线动摇，于上午12时下达总攻命令。
二十七师接到命令后，根据战场形势，为策应友军扩张战果，决定今日晚由两旅各派小部袭击敌人。
6日下午6时，我侯、黄两旅长奉命后，即选精锐袭击队各一连，分由纪庄、王庄两处，各分3组向敌开始袭击。敌因连日来受我友军三面包围猛攻，其归路将被切断，弹尽粮绝，全部动摇，均纷纷向峄县方向溃退。边庄有敌步兵约200名，炮4门。陶沟桥、李庄各有敌数十名，东庄、火石埠之敌各约200余，机枪数挺。我袭击队到达沧浪庙、园上、东庄、李庄、陶沟桥等处，即向敌猛烈袭击，敌仓皇应战，稍行抵抗即纷向峄县方向撤退。晚8时，我即将各村先后占领，我大部随后跟进。复向前后刘桥、刘家湖之敌进击，此时敌汽车、马骡辎重等正向东北两方撤退，状极纷乱。我官兵奋勇进攻，争先恐后，至7日上午3时，适将前后刘桥、刘家湖等处之敌击溃，确实占领。我复派小部多组向北追击。
6日，一一○师自金陵寺向泥沟前进，当夜发起进攻。令李世勋旅长率兵一营佯攻峄县，令王振淮团长带兵一营佯攻泥沟，令袁国贤营佯攻北洛，张轸师长亲自率辛少亭全旅及张继烈第六六○团猛攻南洛，夜10时开始，各按原计划进攻，南洛之敌，被我南北西三面包围，我以迫击炮八门、重机枪八挺集中向村庄两端猛射，使坚守该村之敌死伤惨重，救援不及，遂于7日拂晓前廖运周团完全占领南洛。台儿庄前线之敌与后方联络线被截断，全线退却。
台儿庄中央战场三十一师于晚7时后，以重炮队向台儿庄近郊之敌展开歼灭性射击，19时30分，园上敌之弹药库经我重炮击中爆炸，火光四起，敌兵纷乱四逃，我吴团即乘机于西北城角向园上进攻，敌纷向北窜，我军收复园上，即以张营守之，后又向裴庄追击。
此时，城内之敌已成恐慌状态，约有一小队由西北门向园上增援，我禹营即乘机将该敌击回，乘势又将西北门占领，即沿城上直趋北门，与园上我张营之协力进攻，于夜11时将北门攻占。
夜11时30分，我乜旅率队入城，协同王旅肃清城内之敌，时该旅之一连已将东门占领。城内之敌均潜匿不动，我各部搜索前进。
同时我北站韩团已攻占小金庄，毙敌20余名，残敌向三里庄溃退，各地战况进展良好，敌已全线崩溃。台儿庄经16日苦撑，胜利在即。
7日1时，我吴团已占领裴庄，向邵庄进攻，残敌顽抗时许，最后被击退。敌烧毁炮车及装甲汽车约50余辆，击毙战马百余匹，狼狈逃窜。
池师长当时电令各部：（1）吴团应即西进击扰陈堂之敌，尔后进击刘家湖与孙团联络；（2）韩团即向刘家湖前进，占领后进击枣庄，与吴军联络；（3）乜旅、王旅之现部队迅即肃清台儿庄城内之敌，使无脱逃；（4）四十四旅杨团（欠两营）速即拆除北站之障碍物，俾铁甲车驶向北洛追击；（5）铁甲车第一中队即驶至北站，尔后进击南洛、北洛协力第三十师之追击。
凌晨3时，我吴团已攻入陈堂，敌遗伤兵10余名，均自杀。我韩团进抵刘家湖，敌稍经抵抗即北逃，刘家湖为我军收复。台儿庄城内之敌，时有猛烈之战斗，2时，将文昌阁之弹药及炮等，举火自焚，敌兵投火百余名，东北之敌已肃清。其东南之敌亦举火自焚，致使东南房舍为烈焰所吞没，我官兵亦有伤亡，时有潜匿掩蔽之敌，经我招降未效，遂投火自焚之。4时台儿庄遂完全收复。
