现在，徐庶虽然对南海郡下辖的另外五个县掌控力度不强，但是只要有自己的军兵驻守，就能在明面上控制住，不使事态超出自己的掌控。而且，郡治这里还有五千军兵，“枪杆子”在手，震慑下面的县令和小吏足够了。
至于安抚当地的士族、豪强、大户之心，日后徐徐图之即可。
此前的南海兵之所以战力太弱，就是缺乏操练。现在，五千军兵集聚在郡治番禺，由赵云负责统一操练，虽然战斗力上不能在短时间内大幅度提高，但经过数日的就练，整体看上去还是有模有样的。
这些事情处理下来，差不多又过去半个月时间。由于打下南海郡比想象的容易很多，因此徐庶决定再顺便迅速拿下附近的苍梧郡、郁林郡和合浦郡。
徐庶给裴元绍留下一千军兵，并命其继续招募五千士兵进行操练，然后率领四千多人，打着南海郡兵的旗号，使出“瞒天过海”之计，如狂风扫落叶般横扫苍梧郡、郁林郡和合浦郡，在不到一个月时间内就全部攻略下来。由于是出其不意，而且在夺城时少有杀伤，因此在这四郡中都只是郡治所在县城的人们有所发现，掌权者已经换人，其他地方都不太知道上层的变故。
之后，徐庶任命赵云为郁林郡太守，在郡治布山县驻扎，给他留下一千人，然后又收拢了郁林郡原有的大约五千人马，总计六千人守在这里，基本上就将士燮的南交州三郡跟这四郡以及大汉朝的主要地区给隔绝开来。
徐庶离开的时候跟赵云交代，在这里的主要任务就是阻挡士燮对这四郡的反扑，另外就是尽量低调做事，不要引起周围如零陵郡、武陵郡的注意。
然后，徐庶任命廖化为合浦郡都尉，掌管六千军兵，守卫郡治合浦县以及下辖的多个县城。
徐庶率领剩下的兵力回到苍梧郡郡治广信县，苍梧郡下辖广信、谢沐、高要、封阳、临贺、端溪、冯乘、富川、荔浦、猛陵等十县。在这里，徐庶也是从自己带来的人马中分出一千人，然后将苍梧郡的原有军兵进行混编整顿，并对这些军卒进行训练。力争在让这些人吃饱穿暖以及足额兵饷的基础上，训练成为一支精锐之师。
由于徐庶不能在此久留，因此安排人急调向朗前来出任合浦郡太守，调李严出任苍梧郡太守。等赵云在郁林郡稳定一段时间，如果没有战事的话，再准备调派裴潜出任郁林郡太守，让赵云回归桂阳郡，仍然掌控中军。
一段时间之后，李严到来，徐庶跟他交代好各项事务，嘱咐他低调做事，并训练好军兵。另一边，向朗也接到调令前往接任合浦郡太守之职。
之后，徐庶率领剩余的一千多军兵回返，途径南海郡治，再与石韬进行了一番详谈。他交代石韬，要在番禺这边招募工匠建港造海船，培养水军。至少要在一年之内或造或买、组成一个由五艘大海船组成的水军，小船另说。至于水军的领军之人，他再想办法去寻找。另外，他还让石韬在刚刚打下来的四郡的郡治开设“仙人居”酒楼，以弥补财力上的不足。
