因此，外界讥嘲甚多，有人讥讽说“自请出征，不应支领官饷”；有人指责说“不应称钦差”；有人说他曾经革职，不应专折奏事。岁月既久，关防屡换，往往被人“疑为伪造”。部将出差外省，外省地方官不予信任，对盖有关防之公文不予理会，甚者竟将湘部出差外省的官员关押，加以侮辱。如果现在再赴江西军营，又须改刻关防，则势必愈难取信于人。军营官兵立功受奖，咸丰六年（1856）所请“实官执照”，至今尚未领到。
此外，文员之凭，武官之札，皆由督抚转交曾营，常迟久而不到。“军中之事，贵取信义如金石，迅速如雷霆，臣则势有所不能，此办事艰难之一端也。”
曾国藩仔细观察局势，认为“非位任巡抚，有察吏之权”，决不能治军，决不能兼及筹饷。
曾国藩伸手向清政府要督抚的官位，并不仅仅为个人争地位，主要是为湘军争权利、争待遇。按照清朝的惯例，曾国藩带的兵如此之多，作战能力又远较八旗、绿营为强，立下的军功又如此之大，授予巡抚，功赏过薄，不足塞其欲壑，若授予总督，则军政大权集于一身，又为朝廷所不甘。这可是一件难题。而恰在此时，胡林翼等已攻占了武昌，形成了高屋建瓴之势，水陆师直捣九江。
长江下游方面，自咸丰七年四月何桂清接替怡良为两江总督后，江南大营日有起色，正在进攻镇江，捷报频传。所以清廷便决定将长江上游战事责成湖广总督官文、湖北巡抚胡林翼，将下游战事、攻陷天京的希望寄托在何桂清与和春的身上。认为这样处理，定操胜算。因此，断然拒绝了曾国藩干预朝廷用人大政，并撤销了他兵部侍郎的职务，将他开缺在籍守制，削除了他的兵权。同时命署理湖北提督的杨岳斌总统外江水师，惠潮道彭玉麟协同调度。这样的结果，致使江西湘军很快陷入了涣散状态。
后来，胡林翼虽然一度派李续宜等往江西统率湘军陆师，依然无济于事，而且李续宾、李续宜兄弟对清政府削除曾国藩的兵权也极为不满，心怀退志。
§§第三篇 变谋攻为心术：治人先要治心
《孙子兵法》第三篇是讲谋攻，谈到了所谓“不可以进而谓之进”，“不可以退而谓之退”的“縻军”之术，相反，知进则进，知退则退，当为“胜军”之道。进而所谓“知可以战与不可以战者胜”等五点胜道，表明这样一种兵法：不可乱战，要知而后战。
在整个人生的过程中，什么时候可进，什么时候可退，同样也是兵法。知之者，可以避开冒进乱退，不知之者，肯定会撞到枪眼上。其实，一个人最好的人生往往就是对“度”的把握——掌握进退的火候。