为了一个国际观瞻，为了能博取西方列强一点吝啬的正义同情之心，能够在谈判桌上争上几句，88师只得留下部分守军维持在闸北苏州河北岸的存在。当然，掩护大部队，拖延日军的脚步也是其应有之责。在孙元良师长的命令下，就以第524团第1营为基干，配属必要的特种部队，组成了一个四百多人的加强营。对外号称一个团，八百人。由中校团附谢晋元、少校团附上官志标，和少校营长杨瑞符率领。选择的坚守地点就是在四行仓库。
此时的上海市区已经被打得成了一片废墟。据统计闸北100%的房屋被毁损，其他地区的毁坏程度也高达六七成。但就隔着一条窄窄的苏州河，公共租界却是灯火通明、灯红酒绿，歌照唱，舞照跳，好莱坞的电影照放，俨然是战争之外的“东方夜巴黎”。大批的难民涌入租界，给本已十分畸形繁荣的租界带来了更大的刺激。
四行仓库是位于上海闸北区苏州河西岸的一座钢筋混凝土建筑，在新垃圾桥（今西藏北路桥）西北沿，修建的相当牢固。是四间银行──金城、中南、、盐业共同出资建设的仓库，所以称为“四行”。它建于1931年，占地0.3公顷，建筑面积2万平方米，屋宽64米，深54米，高25米，是该地区最高的建筑。由于先前被当作第八十八师师部，因此仓库中贮存了大量食物、救护用品及弹药。
这为守军创造了条件，总兵力423人，每人装备一支中国仿造毛瑟88或毛瑟98式步枪，300发7.92毫米毛瑟子弹，两箱手榴弹，一顶德制M1935式头盔，一副防毒面具及食物袋。整营共装备有27挺轻机枪，大部分为ZB26式轻机枪（布伦式轻机枪），接近每班一挺。4挺24式水冷马克沁机枪以及一个迫击炮排。
四行仓库就在苏州河边，隔着几米宽的苏州河对岸就是租界。对于这种地方，日本人也是相当头疼，飞机、重炮、舰炮全部不可使用。万一落点误差集中租界，那可就会引来国际纠纷，西方红毛鬼正因为日本的不听话而挑刺呢，不可没事找事！这样，日军的进攻就只能依靠轻武器来攻击，进攻力度和手段都大打折扣。
10月26日当晚各连陆续抵达四行仓库，在谢晋元、杨瑞符的指挥下，为了垒造工事，守军就用仓库内的沙袋、装玉米、大豆和其他货物的麻袋抢筑工事。一连沿西藏路部署在四行仓库右翼，三连在左翼交通银行大楼对面，二连在在中央担任四行仓库外围之守备。机枪连除以两挺布置在楼顶担任防空其余分配一、三两连完成全营火力网的编成。苏州河北路有原为防御租借内欧美军队的防御工事，但工事的枪眼是向现在中国守军方向开的。为了防止日军利用，中国守军便在其中埋下炸药，以备日军进入其中，对我军造成威胁。
此时，中国军队后撤的消息已经传到了租界，所有的中国民众心头都阴沉沉的。从26日开始，一队队疲惫的中国军队陆续向上海西郊退却，让隔着苏州河看到的市民倍感失望，我们败了！知道吗？在闸北还有军队在保卫！听说就在四行仓库，真呃！四行仓库大楼顶上都垒起了沙包了！刹那娘，小日本以为我们全退了，咱们还有军人在呶！
女童子军杨惠敏听到这个消息，不顾凌晨4点的夜色，急步向着四行仓库跑去。新垃圾桥头的英国士兵封锁了桥面，但还保持着和中国军人的联系。面对装备落后、拼死抵抗的中国军人，普通的英军士兵还是同情与钦佩的。杨惠敏询问英军士兵，得知真有中国守军在此坚持守卫，马上写了个纸条搭在英军支援香芋的袋子里送了过去，内容就是问有什么可以帮助的。很快，回信的纸条到了，守军要求能弄些吃的和弹药。杨惠敏马上向上海商会求助，但上海商会没有得到军方的要求，大伙都不相信。
上午7时日军第3师团开至上海北站，午后1时开至四行仓库附近。沿途守军已经后撤，日军来的很快。打头的十多名日军尖兵，一路侦察着向前推进。接近防御工事时，由于认为中国守军一全部撤离了市区，所以根本就是敷衍差使，被守军一顿火力射击，这个班组的鬼子被全部歼灭了。跟着2点钟，日军又摸过来50多名，正遇上外出侦察的尹求成排侦察兵，两边对射了一阵，日军遂知道此处还有成建制的守军在守卫。接报的日军马上开来一个中队，在轻重机关枪的掩护下展开攻击。三连连长石美豪面部中弹贯穿了腮帮，但他继续指挥战斗，跟着腿部又再次中弹。趁着守军救援连长的混乱，约有七十多鬼子靠到了仓库西南墙根中国军队火力死角。可是由于仓库封闭的很是牢固，鬼子一时也难以突破。守军当然不能放任鬼子研究破墙办法，派出战士爬上楼顶，直接向墙根投掷迫击炮弹及手榴弹，炸死日军七名，伤约二三十名。其余的鬼子兵四处逃窜，被打退了下去。
心有不甘的鬼子马上想到了火攻，向着储存燃料及木材的仓库西区投掷烧夷弹放火。但由于这仓库乃是钢筋水泥结构，燃料烧尽火就很快被扑灭了。27日的战斗基本就此结束，有两名守军阵亡，四人受伤。部队到晚上九点才抽出空来做饭，大家饿得前心贴后背了！晚饭就一点英军扔过来的芋头，大家分着多少吃了点。
28日一大早，谢晋元用从杨惠敏处得到的上海商会的电话号码与上海商会联系。请求给予援助。上海商会得到了中国守军仍在闸北的消息后相当激动，这个消息很快通过电台传遍全城。上海市民向守军捐献了十多卡车给养。卡车于夜间抵达四行仓库附近，守军用沙袋筑墙到卡车旁，将给养拖至仓库。搬运给养用了四个小时，在此期间三名掩护的守军阵亡。守军收到了食物、水果、衣物、器具和来自市民的慰问信，士气大振。一队记者也来到了四行仓库，但由于谢晋元与杨瑞符因事繁忙，由机枪连雷连长代为接见。
日军对于这个背靠公告租界的坚固堡垒式大楼，有些狗咬刺猬无处下口的感受。因为怕炮弹落入公共租界内，海军舰炮、陆军重炮都不能使用，而加农炮、山炮对于厚实的仓库墙壁根本无法造成致命伤害。早7时倒是有一架日军轰炸机在仓库上方盘旋，但因为害怕误中公共租界并未投弹。反而俯冲作势的时候被楼顶的守军防空机枪在机身上钻了几个洞。吓得飞行员赶忙拉起机头，快速离去。日军也不敢像在上海其他地方那样使用芥子毒气，因为这将在全世界面前。怎么拿下这个大楼还真是令人头疼啊！
四行大楼修的高大，站在楼顶上谢晋元与杨瑞符可以清晰地视察工事并观察日军动向。哪边鬼子多，情况危急他们可以临场判断，指挥起来相当方便。日军也占领了邻近的交通银行大楼，可由于高度落差，很容易被占领制高点的中国守军压制住。用加农炮、轻型坦克冒雨攻击，又没有效果，气得日军只得于两小时后放弃进攻，将四行仓库的供电及供水切断了事！
当晚谢晋元通过上海商会向美军要求送十名重伤员离开战场。美军同意了此要求，因此伤员趁夜幕掩护被抬离战场进入了租界，当然，武器是不允许带的。杨惠敏站在对岸给守军呐喊鼓劲，可始终觉得少了点什么。英雄们抗击鬼子，怎么能让人们知道呢？旗帜，对了，只有国旗在高高飘扬，就意味着勇士们在不屈地战斗！上海商会得报决定向守军送一面中国国旗。10月28日夜间，杨惠敏将一面12尺长的中华民国国旗裹在身上所穿着的童军服底下，冒着战火危险自公共租界出发成功泳渡苏州河，将国旗送到了谢晋元的手上。望着浑身湿漉漉的少女，谢团长召集官兵列队敬礼，接过沉甸甸的国旗。杨惠敏也携带了一份四行仓库守军人员的名单返回公共租界，出于军事需要，当时名单上共有800个人名，因此被称为“八百壮士”。
10月29日早晨，迎着初升的太阳，谢团列队楼顶举行升旗仪式。苏州河对岸，超过三万的百姓见证着这一刻：用竹子和草绳临时制作的旗杆，没有军乐伴奏，有的只是呐喊声、枪炮声和万众一心的高唱。人们欢呼“中华民国万岁！”，高唱“中国不会亡，你看那，八百壮士，孤军奋守东战场。”
一见到大楼顶上的青天白日旗，日军气歪了鼻子。日军气急败坏开始对中国国旗发动空袭。奈何又怕炸到了租界，又怕守军的防空炮火，做样子绕了几圈就撤了。中午日军发动了迄今最大规模的攻击。加农炮和轻装坦克从各个方向发动进攻，迫使中国守军第三连从仓库外的工事中撤回仓库内。日军见有了现成的工事，马上进去了一个中队。岂料地下早就埋下了炸药，一声轰鸣，直接将这个中队的鬼子给活埋了！
鬼子攻到楼下，依旧进不去。匆匆搬来几架梯子，就马上往上爬，准备由二楼的窗户进入楼内。谢晋元当时恰好在二楼窗户前。他一手夺过第一个上来的日本兵的枪，另一只手将其推下，之后向第二名日军射击，最后推倒了梯子。望着楼下密集的鬼子兵似乎在准备埋设炸药，一个负伤的士兵急了，将自己绑上手榴弹纵身跳下仓库，炸死了自己和约二十名日军。战斗一直持续到天黑，日军在装甲车和加农炮的掩护采用贴近墙根，用挖掘机向四行仓库挖隧道。对岸围观的百姓急了，马上用大字报通知守军日军的行动。楼上一通手榴弹将鬼子砸跑。
30日日军鉴于步兵强攻伤亡太大，几乎全天采用加农炮进行直瞄攻击。谢团沉着应对，及时赶修工事，还抓住时机摧毁了日军数辆装甲车。
黔驴技穷的日军没法只得转而压迫租界方面，要求撤让一块便于日军攻击。上海租界中的外籍人士当然不愿意战斗地点与他们如此接近。面对日本的压力他们同意劝说中国军队停止作战。29日外籍人士派代表向国民政府递交请愿书，要求以“人道主义原因”停止战斗。老蒋见88师谢团已经抵抗了四个昼夜，完全达到了引起西方西方世界的注意、掩护大部队后撤的目的，就下达了10月31日撤离四行仓库的命令。经上海警备司令杨虎与英军将军斯马莱特面谈，决定第524团撤至公共租界，并和正在上海西部战斗的第八十八师汇合。日本人原本答应同意并保证允许中国守军撤退，但事后很快就反悔了。这一点各方都不奇怪，出尔反尔本就是日本人的特色。
谢晋元希望能够继续留守四行仓库直到战斗至最后一人，他和手下早已做好了以死报国的决心。但军令已达，11月1日凌晨2点，谢晋元带领376人分小队分批通过新垃圾桥撤入公共租界。约十人在撤退中被日军机枪打伤。
日军对于这支部队耿耿于怀，压迫租界不得放其离开。英军只得没收谢团武器并限制自由，将他们送至公共租界西部意大利防区的胶州路进行隔离。蒋介石提升了所有参加保卫战的军人的军衔（各晋一级），并授予谢晋元与杨瑞符青天白日勋章。
被软禁期间，谢晋元率领士兵继续每日进行军事训练并保持高昂的斗志。他们抵住外界的压力坚持升国旗、唱国歌，直到被白俄雇佣兵以武力强制禁止。如此一直被羁押了三年多。谢晋元拒绝日本方面解除武装并以难民的身份为条件离开上海。其后多次拒绝了中华民国维新政府（1938年1940年）及汪精卫政权（1940年1945年）的劝降。1941年4月24日凌晨5点，由汪伪政权收买的郝鼎诚等四名士兵下手刺杀了谢晋元，汉奸办成了鬼子达不到的愿望。可恼，可恨！
谢晋元死后被追赠少将军衔。三天内拥进孤军军营瞻仰其遗体的共达二十五万人次，超过10万人参加了他的葬礼。英烈远去，但“八百壮士”死守四行仓库的事迹，永远激励着抗日军民向前！向前！
将军泉下有知，当含笑矣！
