193年五月，诸事安排妥当之后，徐庶率军直接返回了桂阳郡治郴县。
徐庶的返回，在郴县并没有引起什么关注，因为从一开始就没打算将消息扩散出去。而且，古代消息的传递都很慢，再加上徐庶派人刻意隔绝消息，因此桂阳方面基本上没有人知道徐庶已经在不知不觉间夺得了四郡之地。
这时候的桂阳郡一如既往，并没有什么异常情况。除了太守刘琦仍旧醉心于吃喝玩乐，其他人都恪尽职守处理自己手头的事务。
这一年，荆州在刘表的统领下，营造了一个相对中原来说比较安全的割据势力。许多士民在当时都逃离中原，而选择前往荆州避难，其中比较著名的就有诸葛亮。不过诸葛亮今年才只有12岁。
在年初被曹操打败的袁术失掉根据地南阳郡后，退至淮水流域。三月，袁术集散兵进攻寿春，驱逐扬州刺史陈瑀，自称扬州刺史，兼领徐州牧，并占据了淮南。不久，李傕等人把持的朝廷拜袁术为左将军、假节，封阳翟侯，实际上承认了他的扬州刺史职位。
初平四年（193年），大汉天下其实并不太平。此前，袁绍与公孙瓒、曹操与袁术都曾展开大战。
这一年秋季，曹操又从兖州出兵徐州，向东南扩展势力。大军连下十余城，一直打到彭城，和徐州牧陶谦的军队展开激战。结果大胜，斩首万余级，陶谦退守郯县，只能守住城池不敢出城一步。曹操纵兵杀掠徐州百姓，坑杀数万人于泗水，使泗水断流。然后，曹军又进军取虑、睢陵、夏丘等县，曹军所过之处，鸡犬不留。但不久之后，曹军却因为军粮不继无奈退军。
现在，徐庶所率领的集团虽然在近期闪电般打下了交州四郡，但是短期内并不能给予他们太大的帮助。因此，在袁术、袁绍、曹操、公孙瓒、陶谦等大诸侯面前，徐庶的势力还显得非常弱小。而且，在大义名分上，徐庶和刘琦的桂阳郡还隶属于荆州刘表，这时候也没有独立出去的理由。因此，桂阳郡只能是韬光养晦，积攒力量，默默发展。
现在，徐庶面临的最主要问题就是练兵。在这个乱世，没有强兵就意味着不能自保。而像刘表那样故步自封的守家之犬，最终也是将自己的地盘便宜给别人。
因此，在时间充裕的情况下，徐庶开始梳理自己旗下军队的情况。
在刚刚打下来的交州四郡，每个郡大约有军兵六千人，四个郡共计二万四千人。这些人在长期的训练下，将会成为精锐，但是现在的军力还很差，暂时用不上。
桂阳郡内的军兵约有一万人，现在荆州境内比较平静，因此这个人数已经是极限，如果再招募士兵，将会引起周围的三郡以及州牧府的忌讳和打压，你一郡之地养这么多的军队是何居心？
所以，现在的重中之重就是把这1万军队训练成精锐中的精锐，使之能够以一敌十。好在，黄忠、魏延都是世上少有的勇将、能将，只要给出时间，必能训练出能战、敢战的军队。
