隗嚣遂遣将军杨文率兵驻守险关隘口。杨文通晓兵法，熟识地形，引兵埋伏在赤眉军必经之路的险要地带，迎头截击，猛攻赤眉。几十万人马的赤眉军被阻在狭窄地带，无法展开队形，完全处于挨打的境地。队伍慌乱，马踏人挤，三十座大营不能统一指挥，伤亡惨重，只得将所掠财物抛弃殆尽，轻骑脱逃。
这一仗，是赤眉军起兵以来败得最惨的一仗，数十万大军一下子损失不少。樊崇召集渠帅商议对策。徐宣叹息说：
“隗嚣占据陇西，兵马精壮。而我人地两生，恐难取胜。”
诸将想起刚刚遭遇到的伏击，仍心有余悸，无不赞同徐宣的意见。
赤眉渠帅至此才知道西行的道路是不通的。
既然西行不通，惟有复返旧路。
樊崇下令，取道阳城，东归长安。
漫长的队伍行进在荒凉的旷野中，虽是初冬，但西北的风已是异常寒冷，身穿破旧单衣的将士冻得上下牙打架。
行至番须山，西北风更加刺骨，天上阴云翻滚，不多时，鹅毛般的雪片纷纷扬扬飘落下来。
雪越下越大，天渐渐黑了下来，眼前白茫茫一遍，脚下厚厚积雪。
到了下半夜，积雪没膝，行军已极为困难，气温更低。到处是积雪覆盖的山，连个躲避风雪的地方也没有。
将士们疲劳已极，他们不敢歇息，因为一停下来，就会被冻死在积雪中。
但是，人体的承受力是有限的，疲劳、饥饿、寒冷终于使成群成群的士卒倒在积雪中再也爬不起来。
天亮时，队伍终于走出番须山。樊崇回首横道的尸骸，铁打的汉子终于流下热泪。
赤眉军弟兄走到这一步，难道是天意吗？
大军踏上归路，为解决军粮军饷不足的问题，只得一路劫掠，甚至掘开诸汉帝陵墓，尽取宝藏，墓葬技术颇为先进，所掘开的墓穴中，王匣内的尸体竟未腐烂，栩栩如生，尤其吕后的尸首，仍然显示出生前的尊贵、威严之色。令诸将士惊叹不已。
赤眉为农民军，身处社会的最底层，对统治他们压迫他们的皇帝和贵族具有强烈的仇视情绪，所以敢冒天下之大不韪，发掘诸帝陵墓。
但在当时的社会环境，在民心思汉的时代潮流下，这种行为却令人发指，给农民军带来不利的舆论压力。
首先是邓禹，探明赤眉军东归，发掘诸陵，异常震怒，立即率军前往围攻。
此时，赤眉军已得给养，稍加休整，士气复振。西去的苦头，使他恨透了邓禹的光武帝军。于是，迅速展开队形，与邓军展开厮杀。
樊崇身先士卒，冲入敌阵，马踏刀砍，威猛无敌，赤眉军人人拼命，争相冲杀。邓军渐渐不支。
邓禹没料到长途奔波的赤眉军还有这么强的战斗力，急忙传令退兵。赤眉军穷追不舍，叮住邓军后翼，狠咬一口，邓军大败。
邓禹退守云阳，收集残兵，准备休整后，再与赤眉决战。恰在此时，汉中王刘嘉与妻兄来歙率部前来归附。
来歙，字君叔，南阳新野人。其母为刘秀的祖姑，甚亲相敬，少时与刘秀有交情。因新莽之乱逃难。后到汉中，投到妹夫汉中王刘嘉麾下。更始败，劝刘嘉用建武年号。来歙通史书，精兵法，颇有方名。
邓禹大喜，有汉中王兵马相助，不难对付赤眉军。
可是，他高兴得太早了。
刘嘉的相国李玉不愿归附邓禹，密谋率汉中兵马叛逃，邓禹察知，斩之。其弟李宝获知兄长被杀，引部曲来攻邓禹，杀了前来迎战的赤眉将军耿訢。邓禹兵力削弱，无力进攻赤眉军，赤眉军也没能攻破邓军的阻截，战争成胶着状态。
邓禹上奏洛阳。
光武帝此时正忙分遣诸将，出征各地。遣执金吾贾复征汝南，遣大司马吴汉征南阳，遣廷尉岑彭征黎立……
百忙之中，幽州牧朱浮送来告急文书：渔伯太守彭宠反叛。
光武帝吃了一惊。
彭宠早有逆志。早在刘秀在河北平定铜马诸部时，彭宠在邺城谒见，因萧王未封其为王而耿耿于怀。光武帝定都洛阳，吴汉、王梁、景丹名列三公，消息传到渔阳，彭宠深以为耻。吴、王、景三人本为其部属，受其所遣，追随光武帝左右，位尊爵显，只有自己没有加封。彭宠郁郁不乐，暗自叹息：“我的功劳，本应封王，皇帝忘了我。”遂有异志。
幽、翼之地，王郎自立，寇贼蜂起，战乱不断，虽经萧王平定，北州已破败不堪，惟有渔阳完整无损。渔阳有盐铁、粮谷，彭宠遂以盐铁、粮谷做贸易，招集四方商贸，积累财富，渔阳更加富强。幽州牧朱浮征定粮草，彭宠以种种措辞，缓发或拒发，彼此嫌隙日深，甚至不能共事。朱浮多次公开言彭宠的短处，彭宠更加怀有二心。
建武二年春，光武帝诏征彭宠人都。彭宠怀疑是幽州牧朱浮告发自己倒卖军粮，才有诏征之事。上书愿与朱浮同去洛阳，又分别作书给吴汉等旧部，陈述朱浮谗言相害，请他们同去洛阳。光武帝不许。彭宠疑心更重，夫人陈氏性情刚愎，劝夫自立。光武帝见彭宠迟迟不肯动身，遣其子弟彭兰御前往催促。彭宠竞扣留其弟，拜置将帅，兵出渔阳，攻打居于蓟城的朱浮，公开叛乱。因上谷太守与他经历相同，也未得王封。遂遣使劝诱，企图两郡合兵。但耿况斩来使，闭关自守。
光武帝知道，以朱浮之力难敌渔阳突骑，即令游击将军邓隆驰往增援。邓隆去北州，与朱浮分守两地，并遣使奉驻防图上奏。光武帝看罢，大惊失色，对使者说：
“两军相距太远，一旦有事，来不及救援，易被各个击破。待你回去，此兵必败。”
未出宫门，能知疆战事。使者惊愕不已，半信半疑，驰返北州。
彭宠精通兵法，看出邓隆、朱浮布军的弱点。即陈重兵，临黄河，从正面挡住邓隆。暗中发精兵突骑三千，潜伏到邓隆大阵后。鼙鼓擂响，彭宠率兵从正面冲杀过去，伏兵则从后面杀出来。邓隆腹背受敌，将士慌乱，抵敌不住，只得拍马逃脱，部属伤亡过半。朱浮急忙赶来救应，半路上被邓隆败军冲乱了队形，难以抵敌，只得退守蓟城。
使者回复光武帝的话，邓隆、朱浮无不佩服皇帝的才略。
彭宠大获全胜，又拉拢了涿郡太守加入叛乱的阵营，合两郡兵马反叛光武帝，气焰熏天。
光武帝注视着彭宠，但因各个战场上兵力吃紧，一时无力增援，只得命朱浮、邓隆固守，待腾出手来，再解决彭宠不迟。
他的目光重又落在长安战场。
遣使奉诏告诫邓禹。
“赤眉军势大，你部不可力敌。可采用灵活战术，使其复入长安，与更始旧部决战，待其力疲，我方坐收渔利。”
邓禹奉诏，故意放开大阵一角，赤眉军见有隙可乘，遂穿过云阳，复入长安。
三马王车拉着刘盆子，进入古都，但长安帝宫已被焚毁，只得居住在桂宫。
这时，汉中王刘嘉的叛将延岑引兵北出散关，占据杜陵，逼近长安，赤眉军左大司马惫安率军十万前往进攻杜陵。
邓禹得到谍报，决定乘惫安精兵外出，长安空虚之际，发兵偷袭。当晚，全军出动，马衔枚，人蹑足，突然攻进城去。
守军惊慌失措，仓促应战。顿时，城中杀声阵阵，火光冲天。
邓禹只想速战速决，以防赤眉援军赶到。但是，守军拼死抵敌，他们在长安数月，熟悉地形，与邓军逐街逐巷展开争夺，竞把邓军沾住。
半个时辰过去，邓军进展缓慢。邓禹暗暗心惊，已有退兵之心。正在这时，赤眉军右大司马谢禄的救兵赶到，向邓军发起反攻，邓军大败，溃退出城。谢禄一鼓作气，一直追至高陵才收兵回城。
这一仗，邓禹兵马伤害惨重，更严重的是军粮已尽，军心动摇。诸将满腹怨气，大司徒的威望迅速下降。
邓禹痛哭流泪，悔恨不已。但一切都无济于事。这个仗没法打下去了，只得向洛阳告急，急求接济。
光武帝阅罢邓禹上书，俯身凝视着帛地图，眉头凝成“一”字。
赤眉、延岑相继暴乱三辅，郡县大姓拥兵自重，凭砦固定。关中难定，统一天下只能是纸上谈兵。
他没有责怪邓禹。
邓禹长年征战在外，兵疲力尽，不堪再战，该是换将的时候。
但是，关中的战略地位太重要，以邓禹之才尚不能平定，何人能担此重任呢？
他把麾下诸将一一掂量，能征惯战者大有人在。但仅凭能征惯战，能平定关中吗？
很多将领不是不善打仗，然而治军不严，到处劫掠，结果使占领区平而复叛，费了他很大的精力。
破虏将军邓奉反叛就是一个典型例证。
大司马吴汉出征宛城，军纪不严，兵多侵暴，新野县邑亦遭劫掠。恰逢破虏将军邓奉新野故乡省亲，见故居旧舍成为废墟，不由大怒。一怒之下，聚集族众乡邻，反叛吴汉。邓奉是邓晨之侄，算得上皇亲贵戚。举旗反叛，对汉军的影响极坏。邓奉一呼百应，当即攻进清阳，赶走吴汉留守的兵马。邑人董欣起兵响应，攻进宛城，拘捕南阳太守刘欣。扬化将军坚镡离宛城较近，闻变后，当晚率兵突袭宛城，战败邓奉、董欣。光武帝一面拜岑彭为征南大将军，追剿邓奉，一面令祭遵整饬军法，尽力挽回不利的影响。
思索半天，光武帝眼前忽然浮现出一个人来：冯异。
冯异智勇双全，算得上最合适的人选。
但是，冯异却不在洛阳。
阳夏侯冯异击败淮阳的贼寇后，奉诏归家上坟，尚在颍州。
长安军情十万火急，往返征召颇废时日。何况，冯异十多年没回乡，何忍征召。
光武帝进退丽难。
恰在此时，心里牵挂国事的阳夏侯冯异提前回朝复命。
光武帝立即召见，说明心意，叮嘱道：
“三辅吏民遭受王莽、更始之乱，又受赤眉、延岑祸乱之苦，生灵涂炭，无处倾诉。今遣你征战，并不要略地屠城，重在平定地，安抚百姓。朕看到诸将不是仗打得不好，但军纪松懈，时有劫掠，堕失民心。卿称‘大树将军’，平时善于治军，一定不负朕望。”
冯异牢记在心，当即领旨出征，光武帝直送到河南，赐以乘骑、宝剑。
重任殊礼，冯异能不效命？
就在冯异奉诏西进时，长安战场又发生了新的变化。
屯兵杜陵的汉中王叛将延岑见惫安引十万人马来攻，自知难敌，连夜派人与更始将军李宝联络，两处合兵数万人共守杜陵。
惫安一边展开正面进攻的队形，吸引延岑、李宝的兵力，一边遣精兵万余，偷偷绕到敌阵后，发起突然袭击。杜陵守兵腹背受敌，军心动摇，溃不成军。延岑见势不妙，夺路奔逃，李宝晚了一步，被赤眉军围困，主动投降。
延岑收集残兵，不敢再战。这时，已投降惫安的李宝遣心腹私见延岑说：“将军坚持再战，我将从内部反击，里应外合，一定能大败惫安。”
延岑转忧为喜，鼓舞士卒再次出战。惫安不知有诈，倾营而出，亲攻延岑。李宝在后阵，突然回营，全部换掉赤眉军旌旗，换上自己的旗帜。延岑败退，惫安追击不止，疲惫回营，忽见到处是李宝旗号，大惊。将士惊慌乱走，跌落山谷者不计其数。李宝、延岑乘势杀来，赤眉军前后受敌，大败。十万大军损失将尽，惫安只与数人逃归长安。
冯异进入关中，沿途安抚百姓，宣扬威信，吏民畏服，弘农郡自称将军的盗贼如淹池的霍郎、陕城的王长、湖地的蜀惠、华阴的阳沈等辈，皆率部卒前来归降。
怀敌附远，这是武力加上怀柔的结果。
光武帝在殷切地关注着冯异，见其恩威并用，可胜重任，方下定决心，召还邓禹。
邓禹接诏，诏旨虽无诘责之语，却令他羞愧不及。皇帝将平定关中的重任托付于己，如今劳师败绩，无功而返，何以回京面见天子和群臣。
他不甘心失败，企图挽回败局。乃以饥渡之旅数次出战，虽然没有一次取胜，还是不肯返归洛阳。
此时，长安赤眉军正如光武帝所料，已陷入困境。逢安一战，损兵近十万，军心怨沸，再加之军粮已尽。思乡的情绪弥漫全军。
樊崇等首领相议，军粮已尽，长安不过一座空城，守之无益。何况，地方百姓怨愤，大军没有群众基础，难以生存，不如东归故里，尚可徐图发展。
光武帝建武二年十二月，赤眉军三十余万人马主动放弃长安，踏上东归之路。此时，三辅之地，大饥荒尚在继续，人相食，城郭皆空，白骨遍地。豪强大户则聚为营堡，坚壁自守。赤眉军无从劫掠，军粮短缺的问题无法解决。
光武帝见赤眉军果如所料，大为欢喜。下一步便是断绝其东归之路，这是最关键的一步棋。如果赤眉军冲出堵截，东归故里，无异于放虎归山。再去平定，势比登天还难。
所以，他不敢掉以轻心，尽管各处兵力吃紧，还是抽调重兵设防堵截，遣破奸将军侯进驻防新安，建威大将军耿弇驻防宜阳，两路重兵阻断了赤眉军东归要道。同时，敕令诸将：
“赤眉军若东走，可引宜阳兵会新安；若南走，可引新安兵会宜阳。”
直到确信布置得天衣无缝，他方把目光又投向长安，落在冯异身上。口袋已张开口，下一步，就看“大树将军”，如何把赤眉军逼进口袋。
冯异西进，与东归的赤眉军相遇，两军列阵对垒，交战数十阵，互有胜负。其问，因冯异宽厚诚信，收赤眉军降将刘始、王宙等五千多人马。从兵力上看，赤眉军尚处于优势，但士气却处于劣势。
两军对峙六十余日。
岁月悠悠，又是一年过去。
建武三年春，光武帝遣使拜冯异为征西大将军，全权节制西行兵马，正式把平定关中的重任交付给他。同时，督促邓禹尽快交接兵权，限期回京。
邓禹不得不引军东归，与冯异相会。不谈交割兵符之事，却请冯异一同进攻赤眉军。冯异知其心有不甘，婉言劝谏说：
“我与赤眉贼寇屡战，仅俘获数千兵将，贼势尚众，可以剿抚并用，徐徐招诱。若用兵强攻，冀望速胜，贼寇困兽犹斗，势必两败俱伤。陛下已使诸将布阵，拒其东路，命我西击，彼此合力，一举获胜，不留后患，这是万全之计。”
邓禹不听，垂泪道：
“我为大司徒，执节关中，劳师败绩，不平寇贼，何以面见主上？今拼死一搏，可望成功。将军助我。”
