长期战争带来地方政府行政能力的退化。朝廷对地方官员的监督松懈了，许多玩忽职守和怯懦导致的事件没有引起重视。加之政府需要卖官鬻爵以征集军费，许多不能胜任工作的人进入了政府机构，甚至有些人连办理最简单的公文都有困难。于是，冒着妨碍政府征集经费的危险，沈清除了这样的人。1863年年初，当第一次对下属进行年度评价时，他辞退了6名不称职的官员。一位监察官注意到，沈是善于运用此类措施以保证政府廉洁的少数几个人之一。
政府腐化是个长期痼疾，特别是18世纪末期以来更是如此。官吏贪婪，士绅暴虐，两者还可能勾结在一起。就江西而言，这些问题虽然还不是特别严重。但是，平时就已存在的官吏行为不端，因处于战争状态而加剧。大量钱财物资因战争需要被征集到政府，许多人经不起诱惑，将财物塞进了自己腰包。举个例子，一个知县侵吞了士绅捐献的3000两白银中的2000两。当被发觉时，他谎称这笔钱已送到左宗棠军中。沈葆桢坚决处理了这个案件。他说：“以肃功令，而儆贪婪。”这个知县被撤职，而且永不叙用。沈对贪婪的下属也严加惩办。
据说，在巡抚任内，沈查出很多行为不端的官员，他们都一一受到了严厉地处罚。曾国藩有一次说到：“沈）心地谦，而手段辣；将来事业当不减于其舅（林则徐）。”江西布政使李桓对沈担任巡抚时的工作作了高度评价，而对他任职初期对待失职官员急而严则有所批评。依李所见，沈往往轻信公众的怨言，未经详细调查就对官员进行处罚。由于李的忠告，后来沈对此类事情变得较为慎重。
颇有讽刺意味的是，沈严肃纪律的做法，既是曾国藩最初对他赞赏的理由，却也成为以后两人激烈争吵的原因。在他们交往的头几年，曾极其钦佩沈对人事问题的判断，几度邀请他来批评自己的属员。然而任职两年后，沈因曾任用被自己辞退的人而表示不满。正如御史华祝三解释的，沈掌管一省，必须坚持高标准对待属员，而曾正在指挥一场大战，不得不使用每个有才能的人，虽然其中有些人不够正派。但曾对此并非未有察觉。1859年，在他和沈发生争吵的前4年，他曾经申辩说，在处理民政和军务中，不得不应用不同的标准。但这时，他在江西的影响如此依赖他所安插在那里的人，所以他采取较为纵容的态度与沈严格遵守纪律的要求发生了冲突。
总体上，沈葆桢并不喜欢吵架。他能尊重他人，与人合作共事，毫不犹豫地表扬有成绩的人。我们还会看到，如果没有李桓的干练和大力协助，沈的许多财政措施就无法施行。沈辞退了原先由曾推荐的人，这不能视为权力斗争，因为沈十分注意在与上级官员的争论中不将下级官员作为替罪羊。一个负责的人不应取悦每个人，那样会失去公平和正义。我们所得到的资料表明，沈在赏罚上从不曲徇人情。
虽然沈在严明纪律时从不迟疑，但他也没有放弃儒家关于劝说作用的信念。他通过树立个人榜样，努力促进政府工作的改善。据说，他在任期满时带走的个人物品和来时一样。他竭尽全力避免裙带关系。他的好友，也是他儿子的岳父李元度曾推荐一个亲戚给他，他以一笔钱相赠，送走了这位先生。
这时官员士绅们敦促沈招募更多的雇佣兵（勇）。他们的要求为御史华祝三所响应。他建议组建一支数千人的部队，经费靠江西对曾国藩的资助来解决。沈驳回了这一想法。他企图用别的方法来充实绿营。他强调，绿营是朝廷的正规军，不管有用无用，都必须支持。他的新方案是淘汰老弱，留下的人略增报酬，在省城由两名总兵加以分组，轮番训练。准备好了之后，由江西自己的指挥官率领，协助安徽、浙江的湘军作战。这样，他们可以得到作战经验，不必担心在湖南人手中受到虐待。沈希望这一计划只须增加少量费用就能改善江西防务，同时可以减轻曾国藩的责任，而又不必削减曾的军费。
但是他已经没有时间来实现这个计划了。1862年10月，曾反复警告沈，安徽南部形势严峻，叛军可能进犯江西北部。到了1863年六七月间，曾的援兵还未到来，沈害怕1861年李秀成造成的破坏再次发生，便迅速征集了6000名雇佣兵。这时叛军到江西已近三个月，洗劫了鄱阳湖以东地区。幸亏开始时有新“勇”的机动单位和曾国藩的部队（刘典部下），又有曾自己的增援，八月间局面得以控制。这次危机之后，沈下了决心，江西省不能再如此脆弱。因此，他从曾处留下一万人。原先，曾承担这些部队的供应，作为他保卫江西的一部分责任。可是这时曾的资源减少，尽管他知道江西财政困难，他仍将这一笔费用让江西负担。这样，江西军费剧升了30%（即每月增加6万两）。
虽然这时江西省的防务得到加强，但大部分军队却集中在东北角，其他地区的防卫依旧很薄弱，1863年年初，省会南昌只有1000士兵，作为最后一搏，沈命令每个人都招募一人，并加以训练，这样使城防兵力翻了一番，尽管他也知道如此拼凑在一起的部队是不大靠得住的。他尽了最大努力，仍不能使江西安全。1864年年初，在江苏、浙江被打败了的叛军越过边界进犯江西，江西只好靠曾国藩派遣的鲍超和杨岳斌手下的两万人来抵抗。
各种防卫措施以及对外来武装的供需供应，使江西省的财政大为紧张。像国内其他地方一样，江西的主要收入来源是农业。在理想情况下，作为省里最大收入来源的土地税和人头税，每年可征收1958437两。其次是田赋，可得922860担。商业税主要有两类：一是常税（“正常的”关税），货物从长江边的九江和南端的赣州两地进出江西，分别为539281两和84471两：二是杂税，即店铺、出售牲畜、酒、造船、皮革工业的税，全年合计91623两。太平天国起义期间，正如预计的那样，各类收入急剧下降，但是由于两个新课目的创设而使收入有所增加。这两个新的课税项目是厘金和1863年开始的通商口岸——九江的关税。1860-1864年，江西省的收入大约为1690.3万两。
对曾的资助一步步减少，必然导致曾和沈的剧烈争吵。自从曾插手江西事务，他总是跟当地不友好的士绅和行政官员发生争执。他在政府中安插亲信，经常提出增加经费的需求，导致人们对他的厌恶感不断加剧。但最重要的是，江西对曾的军队所作的财政承诺无法兑现，事态恶化到顶点。这些问题的根源，虽产生于沈担任巡抚之前，但问题在于沈能否改善这种状况，避免和曾的关系破裂。
在1860年中期，曾的最初计划是，江西每月交给他14万两厘金。在50个月的时间内，即1860年6月至1864年8月，应当给他700万两。1862年，江西省未受叛军骚扰，他期望厘金收入至少翻一番，但这根本没有实现。事实上，一开始交来的就达不到目标，有时短少不止一半。在50个月内，江西勉强交给他厘金615万两，平均每月12.3万两。较之他的最初计划，这一数字少了12%，这与他要求迅速增加收入的期望有着很大的差距。
与之相比，彭玉麟和刘于浔的水师每月应从江西得到厘金2万两，也就是在同样的50个月期间共100万两，他们似乎全数收足。真正激怒了曾的是，拨给左宗棠的三个厘金站收入迅速增长。虽未见到其数字，而左的报告称：“江西抚臣于臣军饷事最肯关心，解款拨项未经截算。”左宗棠获得这一优待的原因不难找到。彭和刘的水师对江西防务有直接的重要性。而且，刘是著名的江西士绅首领。与之相似，左的部队对于保卫江西浙江走廊有决定意义，而广信则是这一地区至关重要的部分。不久，曾即对江西布政使李桓和他管理的江西厘金局表示不满。1862年11月，他请求朝廷下令调查。
1860年8月，江西厘金短少已经十分明显，曾得到朝廷准许，开始取用江西漕折银达每月5万两。从1860年9月至1862年1月，这笔钱按期送到，其后减为一月4万两。1862年10月，因叛军威胁江西，这一款项停付。除了厘金之外，1861-1864年，大约有白银132万两交付给曾，其中76万两来自漕折，其余取自督粮道的库房（道库）。
应该为沈说句公道话。我们应当注意到，他已经尽可能长久地顶住了建立江西武装的压力。当需要额外军事经费时，他首先考虑收回的是输送给北京的，而不是答应给曾的粮饷。扣留曾的经费是最后一着：曾的军队已经远离江西，所以谈不上防卫江西。在这一点上，过去为曾辛勤效力的李桓，这时也赞成在安排军费时要有所先后，意即江西安全要放在优先地位。江西官绅为此兴高采烈，但曾则大动肝火。
厘金收入减少，漕折银撤销，曾的亏空激增。他的部队只拿到40%的薪饷，比过去少了20%，而且拖欠了8～15个月。据曾所称，在他的9年战斗生涯中第一次出现开小差，原因在于没有足够的薪饷。因此，1863年6月，他转向九江关税，要求其每月发给3万两白银，但是只拿到一次15000两。下个月曾派部队保卫江西东北，将其费用转到江西，沈得到皇帝准许扣下了这笔钱。然而，根据曾的幕友赵烈文说，沈阻止给钱是因为第一次付款时未经他同意，故对曾产生了忿恨。赵断言，沈不明智地听信了那些自私的僚属们的意见。不论情况如何，曾觉得沈应当归还这15000两白银。看来九江海关是遇到了真正的财政困难，因为不久他们就无法给李泰国—阿思本舰队提供经费了。
对曾来说，情况非常令人不满。1864年年初，事态终于到了紧要关头——江西受到来自江苏、浙江入侵叛军的威胁，沈留下全部厘金用于省内。照理他应和曾商量，可是他没有这样做。或许这是对曾早些时候的单方面行动进行的报复，但这样使事态发展得更糟。曾感到非常愤慨，他严厉地提醒沈：
臣忝督两江，又绾兵符，凡江西土地所出之财，臣皆得奏明提用。……何况厘金奏定之款，尤为分内应筹之饷，不得目为协饷，更不得称为隔省代谋。如江西以臣为代谋之客，则何处是臣应筹饷之地？他责备沈，作为一个官员是对上司无礼，作为同僚和他的被庇护人，则又全无体恤之心。
曾、沈在人事政策上的长期不和使事情变得更糟。我们记得，早些时候曾将他的亲信安插在江西厘金局。他们和省里官员们一起工作，牵连在政治活动之中，但沈无法忍受这种情况。很有可能其中有些人被沈处分和辞退，事后曾又重新任用。在已经非常紧张的曾沈关系中，这又是一个刺激因素。
