李士群年轻时曾在莫斯科大学留学，回国后加入中统，抗战前在上海做秘密工作，曾被租界捕房逮捕，不久获释。上海、南京沦陷后，撤回重庆。至1938年，只身来沪，与日方搭上了关系，为日方刺探情报，从事间谍活动，同时拜上海青帮有名人物季云卿（名瑞庭，无锡人）为老头子，利用青帮门徒，增强自己的势力。这时他住居大西路67号，平日深居简出，行踪诡秘，不大在外露脸，但日本宪兵队便衣警探和驻沪领事馆人员，常出入其门。
当时沪西环境相当复杂，成为各种犯罪分子的孳生场所。
李士群与开设好莱坞、华人俱乐部（六国钣店）、荣生公司、利生公司等大赌窟的流氓恶霸朱仁林、顾文达、钱国栋、吴四宝、潘三省等，互相勾结，狼狈为奸，做下许多危害人民的罪恶勾当。
不久，李通过日方关系，获得日本内河轮船株式会社的许可，在苏州北路998号开设大福运输公司，代客装运上海、无锡、常州之间的货物运输，自任董事长，经理为马叔涛，业务由陆鸿泰主持。几个月后，大福结束，改归陆鸿泰负责，更名为大福驳运公司，每月盈余，仍然送至李处。
比李士群稍晚一些时候，中统特务丁默邨从香港到了上海。他和李士群、唐惠民都是抗战前的朋友，当下三人密谋组织秘密机关，从事政治活动。因李士群原与日方有渊源，遂于1939年春，由李士群之妻叶吉卿出面，向上海银行经租处租到沪西越界筑路地区忆定盘路（现江苏路）95弄10号大洋房一座，对外称作“叶公馆”，雇用大批流氓作警卫，由日本宪兵队拨给枪支，专为日方刺探情报，迫害爱国人士。他们对外并无正式名称，内部由丁默邨主持，李士群与唐惠民副之。
叶公馆成立后，开始招兵买马，各色各样的亡命之徒，纷纷投奔门下，土匪、恶霸、惯窃、强盗应有尽有。吴四宝的门徒张国震、沈忠美、邱大宝等尤为活跃。他们除收集抗日情报、暗杀爱国人士外，仗势兴风作浪，绑票勒索，贩毒走私，到处寻衅滋事，鱼肉人民。当时租界里层出不穷的绑架暗杀案件，就是他们干下的罪恶，著名的《大美晚报》、《华美晚报》等报馆被炸，也是他们一手造成。租界当局明知这些案件出自叶公馆主使，但一则该处属越界筑路区域，管辖权力受到限制；二则他们有日本宪兵队作后台，投鼠忌器，奈何不得，虽然租界当局经常把红色警备车停在弄口，无非掩人耳目而已。
不久，叶公馆扩大组织，日本宪兵队拨给军管的极司菲尔路76号（现万航渡路435号）大花园洋房作为新址。这所洋房，原属国民党军事参议院院长陈调元所有，沦陷后由日军管理。于是他们正式成立“特工总部”（简称“76号”），由丁默邨任主任，李士群、唐惠民分任副主任。又成立“警卫总队”由李士群兼总队长，吴四宝（改名世宝，字云甫）为副总队长，张鲁为参谋长，叶吉卿为财务主任，吴四宝之妻佘爱珍为经理主任，“76号”前沿马路华村20多幢三层楼房以及对面75号五层大楼的居民，全部被逼迁移，这些房屋即占为特工总部的办公处和宿舍。
警卫总队的枪械来源有两起。一是由日本宪兵队用大皮包装来，都是二、三号驳壳枪和6寸手枪，约有60支，由李士群转交张鲁接收，经范雨人造册后拨给警卫总队使用。又有一起是在伪警政部成立后，由部拨交旧式步枪100支，在南京三叉河装上惠民兵舰，由特工总队常驻南京区的日本宪兵曹长大桥护送至沪交给“76号”。
日本宪兵队还在“76号”里成立了一个名叫“梅机关”的指挥机构，对外称为顾问。特工总部南京区则由南京日本宪兵队本部特高科长（后调上海北四川路宪兵队长）的藤冈英雄负责指挥。这里常驻日本宪兵特务班一班，有班长马场准尉和曹长、军曹等七八人，南京区每天收集的情报，都要向特务班汇报，对外行动，事前要和他们取得联系，才得执行。
伪国民政府“还都”时，汉奸大员都由他们协助保护。南京区的职员宿舍，由日方供给，门上悬挂“南京日本宪兵队特务班宿舍”的牌子。南京区直辖的芜湖、镇江、蚌埠三个特工站，则由特务班各派宪兵一人常驻。
被一般人目为魔窟的“76号”，大门日夜敞开，武装守卫，戒备森严。头道二道大门，砌成牌楼，上书“天下为公”四个大字，院内高竖青天白日满地红的国民党国旗，内部另辟一室，悬挂国民党党旗和孙中山遗像，这些都是做幌子的。
“76号”的主要工作对象是镇压沦陷区的抗日志士。被捕的人，先由吴四宝手下的亡命之徒非刑逼供，惯用的有灌水、抽打、上老虎凳等酷刑。其他区、站、组的情况也是如此。
特工总部成立后，为避免租界当局注意，请领汽车执照时，都用私人名义，内有用岳光烈（财务科长）名义领照的一辆，1940年春，“76号”人员乘该车在租界内有所行动未遂，执照号码为捕房抄去。某次岳光烈乘该车去戈登路（现江宁路）立泰银号途中，为戈登路捕房连人带车关进捕房。岳的同事孙时霖前往探询，也被扣留，并将司机名老李者用电刑逼供，要他招出在租界内的绑架案件。后由“76号”向捕房疏通，才取保释放。事后听说，“76号”曾被戈登路捕房敲去一笔很大的竹杠。此后，“76号”有几辆汽车出事，无法再在上海行驶，曾运至南京区使用。
这一时期，重庆也有军统中统的“上海区”人员留驻上海，与“76号”勾心斗角，互施报复。季云卿（李士群的老头子）、曹炳生（法租界捕房督察处长）、陈明楚（特工总部南京副区长）、余王介（特工总部无线电台长）等，都因与“76号”关系密切，被对方暗杀。季云卿被杀地点，即在成都路季宅附近，算是给“76号”的一次示威行动。季死后，一应丧仪都由李士群负责，并对季妻金宝师娘始终敬如上宾，可见他们之间的关系非同寻常。
1938年12月，汪精卫离开重庆，转道昆明到越南河内，发表艳电，主张“响应日本首相近卫文麿的三原则，停战言和”。这时日方一手扶植的南北两个傀儡政权（以王克敏、王揖唐为首的“华北临时政府”和以梁鸿志、温宗尧为首的南京“维新政府”）因资望不孚，作用不大，因此以“南北统一，恢复国民党政府”为饵，诱汪上钩，派人与汪秘密接洽，一拍就合，即由日方护送汪秘密来到上海。汪在来沪前，先派陈春圃到上海，与丁默邨、李士群等联系，布置汪精卫来沪后的安全和警卫问题。陈春圃住在“76号”，李士群乘机大献殷勤，极力招待。不久汪精卫到上海，住在愚园路1136弄内，对外严守秘密，李士群命张鲁兼任警卫总队第一大队长，挑选身强力壮的警卫人员100余人，驻在该弄弄口洋房内，负责汪精卫的安全。
汪精卫到上海后，首先发动宣传攻势，进行舆论准备，不久汪系机关报《中华日报》即在沪复刊。该报在抗战前本由曾仲鸣主持，曾随汪离开重庆，在河内被暗杀，此次则由林柏生主持。复刊后的《中华日报》大量散播汉奸言论，汪本人也不时为该报写文章。他在所写的《举一个例》一文中，曾公开宣布，南京未陷落前，蒋介石通过德国驻华大使陶德曼试探日方媾和条件，现拟继续寻求和平途径，以此证明国民党的主要目标是和平，和平未到绝望关头，决不放弃和平等等。这篇文章的发表，曾在沦陷区人民中引起很大的反感。
随汪精卫一起脱离重庆的周佛海、褚民谊、陈公博、梅思平等，都是在南京时的“低调俱乐部”人物（这名称是周佛海起的，他们认为抗战前途无望，和平才是唯一出路）。他们伴汪来到上海，赤手空拳，在日军卵翼下生活，而丁默邨李士群等握有一定的实力，因此，在汪精卫筹备所谓“还都”的活动中，充当了重要的角色（当然内中还有日方的牵线关系）。
汪精卫在上海召开了“国民党六中全会”，决定“还都”和“组府”方针。会议是在“76号”召开的，一班汉奸新贵，为了避人耳目，不走正门，都从“76号”的后门开纳路（现武定路）进出。汪在上海期间，还开了一个“和运遇难烈士追悼会”，追悼在河内被暗杀的曾仲鸣和上海的季云卿等人。
