进军皖南，是朝廷的旨意，刚刚就任两江总督的曾国藩自然不好违背。因为江南大营溃败，金陵附近清军势力不再，朝廷想让曾国藩领军东援，继续给金陵施压。曾国藩也知道孤军深人的危险，移师祁门，在很大程度上，曾国藩只想做一个姿势给朝廷看。此次屯兵祁门，也是跟胡林翼商量过的。之所以把大营选择在祁门！主要出于多重考虑！一是湘军的钱粮供给大都来自江西！驻军祁门！可以保证江西的安全！确保饷源的供给；二是根据事态发展的情况！可以随时从皖南东进浙江，攻克杭州、湖州，在南部，对金陵形成包围；三是可以兼顾安庆那边的战局，如果时机不成熟，就掉头回安庆城下。在曾国藩心目中，真正重要的，不是迅速进驻浙江，杀到金陵城下！而是步步为营！把长江沿岸的各个城市！逐一收复，稳扎稳打，然后由西向东推进，直逼金陵城下。在曾国藩看来，安庆的位置太重要了，它就像是太平天国长江沿岸的一个桥头堡，如果这个桥头堡占领了，大势就会逆转，胜利的天平也就会倾斜。曾国藩率领人马到达祁门之后，太平天国立即有了激烈反应，调集了李世贤部和李秀成部，全力堵截湘军的进攻路线。这样，一直以来富庶宁静的皖南，不可避免地成为双方厮杀的战场。那段时间里，大大小小发生在皖南的战役，竟达百余次之多。由此可见战争的频繁和惨烈。
徽州的战斗差一点让曾国藩身败名裂。这个时候，曾国藩的主力部队一部分在安庆城下，一部分在江西境内，战线拉得过长。一万多人进入徽州后，一下子掉入太平军的包围圈中当时，在皖南的东北面，由太平军李秀成据守；在南面，则是太平军李世贤部；在西北，太平军英王陈玉成的大军一直在长江沿岸，总兵力在五万左右。置身这样的局面，无疑岌岌可危。湘军在徽州的崇山峻岭中一再受阻，通向浙江的道路无法打开。这当中，最严酷的战争是徽州府的失陷。1860年10月，太平军两路夹击，一路从北到南，从宁国方向杀向祁门；另一路则由南至北，从景德镇方向杀来。从宁国方向杀来的太平军连续攻克旌德、绩溪，兵临徽州府城下。曾国藩下令徽州府的将领李元度坚守不出，李元度违背命令，轻易出城，结果被打得大败。徽州府失守，李元度无脸见曾国藩，南下逃走。曾国藩勃然大怒，要将李元度军法治罪，李鸿章等一帮幕僚苦苦相劝。为此，曾国藩还跟李鸿章翻了脸，致使李鸿章后来出走南昌。
危机之时，一件意想不到的事情发生了一一第二次鸦片战争爆发，英法联军侵犯天津、北京，击败僧格林沁的军队。咸丰只好带着皇妃、皇太子及亲信大臣肃顺、载垣、端华等逃往热河承德避暑山庄。十万火急中，咸丰降旨，要曾国藩速派鲍超率精兵数千拱卫京师。接到诏书，曾国藩和胡林翼一下子慌了神，此时此刻的曾国藩正是泥菩萨过江自身难保，正指望鲍超军从江西赶往皖南救援，如果鲍超军此时转赴京城，皖南的战局将彻底崩溃。如果不派部队进京’曾国藩又会背上一个“抗旨”罪名，同样也承担不起。情急之下，曾国藩赶忙召集幕僚商议，李鸿章的一个建议解了燃眉之急，那就是采取“拖”的方式一派人送信给朝廷，堂皇地建议：鲍超人地生疏，断不能去，是否由曾国藩和胡林翼二人中酌派一人进京，这一招，明显的是给朝廷出难题，因为朝廷最忌讳手握重兵的“节度使”进京。这样，朝廷当然不同意，还会下诏来调人。这样，信在路上一来一往，就会占用很长时间一也就达到了争取时间、调集人马的作用。这一招果然有效一不久，京城的事态得到了有效缓解，曾国藩接到朝廷新旨：清廷与八国联军已议和，鲍超军不用北上。
一个危机躲过去了，另一个危险接踵而至。1860年12月，太平天国忠王李秀成部由羊栈岭进山，攻克黟县，距祁门湘军大营仅有六十里。此时此刻，祁门已是一座空城，除了大营内的一些亲兵之外，其他湘军全距祁门很远，曾国藩想调集部队回援已不可能。曾国藩长叹一声，准备原地等死。那天晚上，曾国藩努力克制自己的情绪，将亲兵全打发到内室之外，一个人在灯下安静地写自己的遗嘱，让人连夜送往湖南老家。天亮之时，一个好消息传来，湘军鲍超部和张运兰部昼夜行军，赶到祁门附近，全力抵挡李秀成部的进攻。由于李秀成不知道曾国藩的大本营在祁门，没有全力进军祁门，部队退出了羊栈岭，绕道进了浙江。
虽然皖南的形势得到了缓解，危机并没有解除。不久，太平军又先后兵分两路进军祁门，这一次，是太平天国主将陈玉成亲自率领人马。形势变得异常紧急：在北面，太平军攻到了仅离祁门二十里的地方；在南面，太平军李世贤部攻克景德镇，皖南镇总兵陈大富战死；在东面，李秀成部也从浙江境内掉转方向，再次向徽州发起攻击。曾国藩又一次陷人了包围之中。1861年4月，曾国藩由祁门赴休宁，调集徽州境内的各军进攻徽州府，以期打开通往浙江之路，徽州府的太平军乘夜出城偷袭，湘军大败溃散，太平军乘胜追击，将曾国藩围困在休宁。高度危机之时，曾国藩只好坐在大帐之中，再次给儿子纪泽、纪鸿写信。从这封信中，我们看不到慌乱，却能感受到事态的危急；还可以管窥曾国藩的真实思想一很明显，这已算是一封遗书了：
接到你们二月二十三日来信，知道家中兄弟五房都很平安，心中很安慰。我在初三日到达安徽休宁县，就听到景德镇失守的消息。初四日所写的家书，托你们九叔曾国莶寄回湖南老家，巳经讲到此地的局势十分危急，恐怕难以支持下去。但还想到可以强攻徽州，如果得手，还是一条生路。初五日强攻徽州，强中营和湘前营在西门受到一次挫败；十二曰再攻，未能引诱敌人出城一战；当夜二更天，敌人偷偷出城打劫营寨村庄，强中营和湘前营大败。……目前的局势更加紧急，四面都被阻塞，外面的接济巳断绝。经过这次大败，军心受到很大的震动。我所盼望的是左宗棠的军队可以打败景德镇和乐平的敌人，鲍超的军队能从江西湖口迅速来救援，事情或许可能有转机，不然的话，这里就不堪设想了。
我自从投入军事以来，即抱着一种临危受命的志向。丁巳和戊午那两年在家养病，常常怕自己突然在家中去世，违背我的初志，失信于天下人。后来起复再出山打仗，意志尤其坚定。这次即使遇到什么不测之祸，我也毫无牵恋的了。回想我自己，从小贫穷无知，现在能官至一品大员，年龄也巳过五十，在外面也稍有点名声，又手握兵权，占据了高位，还有什么可遗憾的呢？只是我对古文和诗歌，都花了不少精力，苦苦地加以探索，但是没有好好地创作，在这方面施展才华，打开一条大路。我对古文的研究尤其有根源和依据，如果现在突然死了，那么我的一些心得，就永远无人领会了。我的书法用功较浅，但近年也深入了一些。这三方面一无所成，心中不免耿耿于怀。
至于行军打仗，本来不是我的专长。因为打仗要用奇兵，而我的性格太平易；打仗要欺骗对方，而我的性格太直，这怎么能对付兵势滔天的敌人？以前虽然有些胜利的捷报，那也是侥幸，并不是我应得的战果。你们兄弟长大之后，切切不可涉足于军队之间，这种事难以见功业，而且容易造下大孽，尤其会留给后代人非难的口实。我长久地在行军中生活，每天如同坐在针毡上一样。稍可安慰的是我没有辜负我最初的愿望，没有辜负我的学问，没有一刻忘掉仁政爱民的心愿。近来我的阅历更多，深深体会到带领军队的痛苦。你们都要一心一意地读书，将来不能从军，也不必出去做官。
我教育子弟有“不离八本”和“三致祥”的格言。这“八本”是：读古们的欢心为本，修养身心要以少恼怒为本，立身处世要以不乱讲话为本，治家要以不迟起床为本，做官要以不要钱为本，行军打仗要以不骚扰百姓为本。“三致祥”是：孝顺能带来吉祥，勤奋能带来吉祥，宽恕能带来吉祥。我的父亲竹亭公教育别人，专门讲一个孝字，所以他在少壮时期敬爱父母，晚年热爱儿女，都出于心中一片至诚，所以我为他写的墓志铭，就只说这一件事。我的祖父星冈公教训别人，则有八个字，还有“三不信”。八个字是：“考，’〔不忘祭祖先、“宝，’〔与亲属邻里和睦相处）、“早，’早起、“扫，’打扫庭院、“书，’读书、“蔬，’种蔬菜、“鱼，’〔养鱼、“猪”养猪）。“三不信”是一不信和尚道士巫师，二不信土地庙神仙鬼怪，三不信医药。处在这个乱世之中，钱越少，就越能免除祸患；家中用度越俭省，就越能养福延年。你们兄弟将来奉养母亲生活，除了一个“劳”字和一个“俭”字外，没有其他安身立命的办法。我在此军事极其危急之时，将这两个字叮嘱你们一遍，此外也就没有什么遗训给你们了，你们可以将这点意思禀告给几位叔叔和母亲，不要忘掉。
遗书送出之后，曾国藩还与刚刚赶来为自己出谋划策的老友欧阳兆熊开玩笑死在一堆如何？”欧阳兆熊大笑着应允了。也算是曾国藩命不该绝，第二天，由南面包抄而来的太平军李世贤部在江西乐平与左宗棠大战后溃败，无奈何只好撤兵浙江。徽州府的太平军听到这个消息后，信心顿失，也将人马北移，撤出了徽州。危机再次解除，曾国藩的心重新落回胸腔。此次绝处逢生，明显地暴露了太平军的命门，那就是，太平军的各路人马全是各自为战，缺乏配合和协作，关键时候，往往难以形成合力。这是典型的游寇习气。对于这样的对手，曾国藩的信心更足了。在此之后，湘军进行了大规模反扑，陆续收回徽州府所在地歙县以及黟县等地。一个大胆的计划在曾国藩胸中变得成熟，那就是利用围攻安庆的机会，大量歼灭太平军的有生力量，先从英王陈玉成下手。曾国藩开始将目光死死地盯在长江沿岸，精心设计一个巨大的陷阱，诱骗对手不顾一切地往里跳。
1861年5月5日，曾国藩留张运兰守祁门，将湘军大本营从祁门转移到长江边的东流。如果说曾国藩将大本营设在祁门是由于首鼠两端拿不定主意的话，那么，搬迁到安庆城对岸的东流，则表明铁心图谋安庆之役了。到了东流后不久，夏天到来了！白天的长江边上像个火炉一样！热浪灼人；但一到夜晚，习习江风中，又变得异常凉爽。置身长江边上，每到夜色降临，曾国藩就把自己关在大帐里，踱着步，像一头将要出击的孤狼一样，周密地思索战争的步骤。对于安庆战役，曾国藩总体上是这样考虑的：一是一定要攻下安庆，拿下金陵的桥头堡；二是围城打援，先围而不攻，一方面减少损失！另外一方面重点打击太平天国英王陈玉成的援兵。在曾国藩看来，二十来岁的太平天国英王陈玉成虽然打仗勇猛，但在谋略上远远不够。曾国藩想把陈玉成部队先拿下，给在三河之战中毙命的李续宾和曾国华报仇。
实际上从1860年秋天开始，湘军就已经将安庆城团团围住。围城的主力！正是曾国荃的“吉”字营。“吉”字营在安庆城的北、东、西三面挖了很多长壕深沟，又堆筑几个高高的土城！筑成牢固的防御工事！切断了城内太平军与外界的联系。安庆的守军共有两万余人，都是陈玉成的部下。自1853年太平天国翼王石达开西征攻下安庆后，考虑到安庆地理位置的重要！太平军一直派重兵守护。到了1860年，太平军已驻守八年之久。驻守期间，太平军将城墙筑高了五尺，又添筑子城一道，子城南自镇海门西起，先西北后东北绕一大圈后，止于北城墙。除此之外，太平军还另建了一座“耳”城，全力保卫安庆。这样，城内的太平军与城外的湘军形成了对峙局面，双方都构筑了铁桶般的防守阵势。
从1861年5月开始，曾国藩将他的全部精力用在安庆战役上。他的三角眼鹰隼一样死死地盯住安庆，没有什么能让他转移注意力。战争进行到中盘之时，这个一开始不会打仗的人，对于军事的驾驭和调度已明显熟稔了，甚至有了几分诸葛孔明的神韵，对于战局的控制和调度，已变得游刃有余。这时候，湘军已经形成了自己的战略方针，那就是，对待太平天国这样的对手，不能轻易打浪仗，要集中优势兵力，给对手以致命打击。
布置战术之余，曾国藩安详地在大营之中开始了自己的菜农生涯。每天下午，他都要一身短打，扛着锄头进入自己的菜园，锄草、松土、浇肥。在给老家的儿子曾纪泽的信中，曾国藩对这一段时间的生活感到怡然自得：
吾现在营课勇夫种菜，每块土约三丈长，五尺宽，窄者四尺余宽，务使芸草及摘蔬之时，人足行两边沟内，不践菜土之内。沟宽一尺六寸，足园极大，沟浍终岁引水流，颇得古人井田遗法。吾乡一冢园土有限，断无横沟，而直沟则不可少。吾乡老农，虽不甚精，犹颇认真，老圃则全不讲究。
当曾国藩如一个经验丰富的老农，津津有味地摸索种菜之经验和方法的时候，那段时间，在安庆附近数十公里的范围内，聚集了成千上万的湘军，他们正按照曾国藩的部署，张开了口袋阵，等着陈玉成带领太平军钻进来。对于曾国藩的围城打援之计，太平天国同样制定了针对性的措施：安排李秀成从长江南面、陈玉成从长江北边同时进军，夹攻武昌。武昌是湘军的大后方，也是湖北巡抚胡林翼的老巢，湖广总督所在地，战略位置极其重要。如果太平军围攻武昌，必定会让曾国藩分兵，这样，安庆之围也就迎刃而解了。
陈玉成不愧为太平军的急先锋。很快，陈玉成带领数万大军进驻安庆桐城附近，虚晃一枪后，转道皖西，连下英山、蕲水，攻占黄州，逼近武汉。陈玉成的西进，是曾国藩和胡林翼最为忌惮的，此刻湖北境内兵力空虚，几乎不堪一击。没有想到的是，陈玉成在黄州驻扎时，恰巧英国长江水师提督何伯巡视到了武汉江边，见陈玉成大兵屯集，便让参赞巴夏礼告诫陈玉成，如果陈玉成进攻武汉的话，英国商业利益将会受损，他们不会袖手旁观。这等于警告陈玉成不能进攻武汉。在这种情况下，陈玉成只好放弃对武汉的进攻，转向进攻鄂北的襄樊一带。这样的军事调动根本不足以吸引曾国藩西援。曾国藩和胡林翼得悉后大松了一口气，重新布置人马进攻安庆。一直到几个月后，陈玉成才掉转人马，回到安庆集贤关附近，开始在外围直接进攻围城的曾国荃部。
