当湘军攻拨金陵时，曾国藩军事实力大大超过绿营军。可这时他的反应却日趋于紧张忧惧，政治经验和历史教训告诉他，朝廷的猜疑、防范定要加强。为防不测，一定要为跟随多年的部下想好退路。早在战事尚未结束之前，他就想尽一切办法利用一切手段拼命筹钱500万两，为遣散部下做了准备。
湘军兵抵金陵起，曾国藩心理反应日趋于紧张忧惧。因为攻拔金陵，为全部战局首功。得失之间，关系成败荣辱。此时湘军声誉日隆，曾国藩也如日中天。他小心翼翼，谨慎矜持，丝毫不敢懈怠，更不敢稍骄满之色。时时告诫诸弟，已充分流露了忧谗畏讥的心情。
湘军主力屯兵金陵外围，正是建立勋业的良机，而曾国藩则惴惴不能自安。金陵还在进兵之始，而曾国藩竟已回思退路。即在同治元年（1862）秋冬，湘军攻雨花台进逼金陵之际，曾国藩已做辞职准备。于十二月函商曾国荃，将钦差大臣及两江总督一概辞让，经曾国荃复书反对，才打消辞意。最后仍决定于两者之中辞却一席，后于同治二年（1863）四月奏陈朝廷，宗旨在表明不敢贪恋权位之意。
曾国藩的请辞，虽蒙恩旨慰留，仍不能解除曾国藩的忧虑。大概自湘军进军金陵附近，即在同治元年冬在金陵外围恶战46日，遭遇忠王李秀成大军30余万，曾国荃鼻部受伤。其时金陵外围瘟疫流行，湘军霆军俱受感染，而曾国藩弟亦因积劳病故。由此知道短期内难成大功，将来局面更难预料，自己不免忧心如焚。
湘军自开始进攻金陵，前后增兵达5万之众。每日向城垣进逼，也每日受激烈抵抗，太平军忠王李秀成数度解围，均未成功。两年之间，曾国荃连日用兵，进取金陵城外堡垒，几至步步为营，进一步非常艰难。到了同治二年（1863）冬，湘军水陆克复九洲，肃清金陵江面。于同治三年（1864）正月，攻克钟山石垒，至此已达四面合围金陵之功。
曾国荃统率湘军主力合围金陵，展开四面围攻，虽然成功在望，而曾国藩则更忧虑惊惧。在同治三年（1864）正月二月之间，湘军合围金陵之势，其情况很像咸丰十年（1860）江南大营合围金陵。在军力鼎盛及将帅志得意满之际，突遭太平军内外合力反攻，以至全局崩溃，一败涂地。而统帅督抚，或殉或逃，无不带罪，使太平军反而席卷江浙一带，六省局势不可收拾。因此才有曾国藩受命规复江南。此时曾国藩心境，惟恐重蹈前人覆辙，功败垂成，时刻焦虑，忧惧难安。
天京合围两月，太平军已是内外断绝，但除极力抵制湘军之外，并无惊慌之象。而湘军加紧攻城，挖掘地道，将士日有损伤，而城坚不能攻破。只此一事已足使曾国藩兄弟焦急。适于此时，江浙两省屡为李鸿章、左宗棠二人攻克，捷报连日飞来，使曾国藩兄弟尤其忧心如焚。盖自金陵合围起，曾国藩兄弟未有一日安枕，虽然胜利在望，而患得失之心使其倍增忧烦。此半年间，可以说是曾国藩兄弟最苦恼时期。
江浙两省军事进展迅速，已足使曾国藩有相形见绌之叹。清廷久候不耐，亦连连催促克城。朝野舆论又有调淮军助攻之议，并有朝旨饬下，指示李鸿章助攻，更使曾国藩从违两难。要知道湘军主力聚集金陵，主要在擒贼擒王，是全部战局之重心。换句话说，即在建立首功。曾国藩用兵，也以金陵为首。其他各省，则只不过是驱逐外围的偏师。如此首要地带，自不欲他人越俎代庖，插手过问。这时李鸿章已肃清江苏，可借以助攻金陵，曾国藩苦于朝廷促求，与曾国荃协商，征调李鸿章相助。曾国荃更是反感，初奉朝旨，曾国荃踌躇不决，接着借此激励将士加紧攻城，说数年血战经营，不能拱手让人。
关于朝旨命淮军助攻金陵，实为关系到曾国藩兄弟以至湘军建立首功的一大关键。以世态人情而论，曾国藩兄弟及其所部湘军固然不愿淮军前来，又无从满足朝廷的期望。其中关键人物，实际上是淮军领袖李鸿章的态度与决心，自4月上旬常州丹阳恢复，江苏境内，只有金陵未攻下。李鸿章原出湘军幕府，又知湘军多年苦战，只为建立首功，虽奉朝命助攻，也不愿插手抢夺。所以挥军入浙，以避攻金陵，其推让湘军之情显而易见。然而朝旨命淮军助攻之事，使曾国藩兄弟寝食难安，得失之念，充分流露无遗。初克常州之后，李鸿章奉谕旨助攻金陵，曾于4月24日专门写信给曾国藩，表明避让之意。
1864年5月8日，更致函曾国荃，也申明全无争功之意。李鸿章心迹所表甚明，曾国藩兄弟很清楚他的想法，才作了求助的姿态。最后结果，湘军终于在1864年6月16日攻克金陵。红旗报捷，朝廷论功，曾国藩获封一等侯，曾国荃一等伯，李臣典一等子爵，萧孚泗一等男爵，其余将校，一起同加升赏。此时可谓湘军建立功勋的高峰，曾国藩兄弟当可志得意满，一释愁怀。其实曾国藩于18日闻及捷报，竟至喜惧交加，百感交集，不能入睡，而曾国荃也积郁致疾，久久不能康复。
湘军攻克金陵，曾国藩为之喜极而泣，不能自持。贺功之客盈门，欢呼之声震野。虽可扬眉吐气，而朝野大臣忌妒之情更加炽烈。朝廷虽颁授官爵，频加赏赐，而猜嫌之意，同时加深。曾国荃虽追捕忠王李秀成成功，并擒获天王之兄洪仁发、洪仁达，而未能捉到幼天王洪福及干王洪仁玕，结果竟为江西沈葆桢、席宝田等人所得。同时忌者又多谣传所捕忠王李秀成是伪冒，这种说法传遍朝野，更使曾国藩兄弟恼怒万分，曾国荃决定裁军引退。
至于朝庭方面的猜嫌疑忌，更加深了曾国藩的恐惧忧烦。金陵克复不久，传闻湘军杀戮抢劫，虏获无数。因此有御史贾铎弹劾，弹劾并不可怕，而朝廷则借题发挥，将贾铎弹章给曾国藩看，明旨追查实情，显然示以警戒。朝廷故示生杀之威，操纵臣下，更使曾国藩惊惧伤心。
同时，科尔沁亲王僧格林沁通知江宁将军富明阿，自扬州防地赶至金陵，一面视察湘军行动，一面探询李秀成是否假冒顶替。富明阿于7月18日会见曾国藩，住在船上，暗中查看湘军一切行径。朝廷对曾国藩的猜疑，对湘军的防范，表露得很明显。尤其可作证明的是，朝廷颁授湘军将帅爵赏之旨，其直接之廷寄竟晚于驻防扬州富明阿之咨文二日。
当时，曾国藩颇以为疑。如此重大廷寄，故分先后，并令江宁将军富明阿先为通知。也足见朝廷轻重远近的安排。此后曾国荃称病疏辞任官，终以获准，接着引退乡里。自古下级立大功，上司加以猜忌是太普通了。如果你不想取而代之，那么你就得想办法预留退路了。曾国荃在功名事业渐趋全盛的时候，还存有百尺竿头更进一步的心念，这与曾国藩的忧谗畏讥，常怕盈满的想法，恰成强烈的对比。所以他在写给曾国荃的信中，要弟弟时时以此为戒，他自己更是身体力行，切实实践，他在这些地方看得破，认得清。所以，他在一开始就有如临深渊、如履薄冰的戒惧心理。
他在镇压太平天国，湘军声威达于极盛之时，毅然以“湘军作战年久，暮气已深”为理由，奏请裁湘军归乡里，明白表示无挟军权以自重的态度。至于湘军的遣散，远在攻克金陵之前，曾国藩兄弟就曾经有所商讨。而非曾国藩个人的最先主张。
裁军最早的动机，当在同治三年（1864）正月，金陵合围之后，因为胜利在望，此时已可思考善后问题。曾国藩在致曾国荃信中，确已透露，曾国荃则表示速裁全裁，也与当时郁愤的心情有关，在曾国藩家书中皆可找到二人裁军的意图与构想。金陵克复之后，曾国荃坚辞任官，申请回籍休养，所部必需裁撤是自然之理。只是曾国荃先行回籍，而裁军之事，则留与曾国藩料理。至少可见，湘军之裁撤与曾国荃的引退有密切关系。
至于遣散湘军，从曾国藩一方面的考虑，可简约地做几点分析。战后遣军，为用兵常规，原为统兵将帅所需考虑。这是根本；曾国藩既居高位，又建大功获崇爵，原已忧畏权重，岂可久掌兵权，徒增谗忌，遣散湘军，正所谓保泰持盈之计；湘军合围金陵，成功在望，反而使曾氏兄弟陷于群疑众谤之中。功成之后，更要解兵权以释嫌怨；金陵城破，湘军将校饱掠钱财，非常想返乡置产，斗志已懈，锐气全消，使曾国藩吁嗟于湘军暮气之深，此乃亦不得不裁；湘军所恃军饷，主要依靠湘、鄂、皖、粤、苏五省厘金，军务完竣，各省纷纷要求裁撤厘局，军饷无所出，如何维系庞大军力；曾国藩既知湘勇不可复用，而与李鸿章相商，淮军补湘军的弱点，淮军得以不裁，固然是应曾国藩的需要，也是李鸿章所希望的，淮军竟然能够不加遣散，因为李鸿章自有运用经营之法，并非故违国家定制；因湘军有哥老会。曾国藩曾说：“一曰在营会聚之时，打仗则互相救护，有事则免受人欺。一曰出营离散之时，贫困而遇同会，可周衣食；孤行而遇同会，可免抢劫。因此同心入会。近年以来，各营相习成风，互为羽翼，抗官哗饷，皆由于此，实无禁遏之良法”。哥老会在军中活动，当是事实，孙中山讲演民族主义时，也曾言及左宗棠部下哥老会的事，然而情形并非想象的那样严重。
总而言之，曾国藩毅然裁撤湘军，实际上是完全为应付那群反湘军派而不得不如此的。
曾国藩早已知道，那些清军将领自己不行，最忌才能，早已讨厌曾国藩这班书生风头太健，常思惩罚一下他们。还有一个比反湘军派力量更大的运动，就是湘军造反运动。反湘军派除弹劾外，又由军机处命令曾国藩，呈报历年经费开支账目。这等于要湘军的命。打了十多年烂仗，你们不发军饷，由我募捐抽厘，七扯八揍，勉强开支过去。这一笔烂账，请问如何报销？
湘军将领听到这一消息，无不义愤填膺，决心造反。曾国荃、左宗棠、彭玉麟、鲍超四人，召开了玄武湖会议，议决一致反清，肃清君侧。此举虽被曾国藩压下，而湘军将领反清情绪，仍没有消除。曾国藩以迅雷不及掩耳的手段毅然裁兵，这也是一个原因。
在裁军上，曾国藩的计谋手法，自是超人一等。他在战事尚未结束之前，即计划裁撤湘军。他在两江总督任内，便已拼命筹钱，两年之间，已筹到500万两。钱筹好了，办法拟好了，战事一告结束，便立即宣告裁兵。不要朝廷一分钱，裁兵费早已筹妥了。
裁兵经费筹妥了，裁兵办法拟好了，只等胜利的到来。同治三年（1864）攻下南京，取得胜利，于是开始裁兵，一月之间，首先裁去2？郾5万人，随后也略有裁遣。人说招兵容易裁兵难，以曾国藩看来，因为事事有计划、有准备，也就变成招兵容易裁兵更容易了。
究竟湘军共有多少？我们无法明白。我们只知道：湘军初次出击的人数，只有1？郾7万人。直到安庆之战发生，才增加1万多人，约3万人左右。同治元年围攻南京的时候，连新招募的、新投诚的一起计算，最高的估计，不会超过6万人。
裁去多少？曾国藩不是傻瓜，不会一次裁光。最高的估计，大概裁去二分之一，约3万人左右，剩下来未裁的还有3万人。这3万人，一部分由曾国荃统率。光绪十三年（1887），我们还可见曾国荃有关湘军的奏议。一部分由左宗棠带往西北去了。一部分水师由黄翼升统帅。其他中下级干部，转入淮军去了。
实际上并未大裁特裁，清廷如果逼得太急了，曾国藩的手下有的是兵，要蛮干，大家蛮干，要曾国藩做年羹尧，他是不干的。
用“老奸巨猾”来形容此刻的曾国藩，是一点也不过分的。
