胡林翼在湘军集团中，是仅次于曾国藩的二号人物。他既是湘军大佬，又是湖北省绿营的统帅，能文善武，懂经济，擅理政，与曾国藩、左宗棠被史学家称为大清“中兴三名臣”。在晚清，时人都认为胡林翼的治行才望在曾国藩、左宗棠之上。曾任御史的晚清名士慈铭说胡林翼“老谋深识，烛照不遗，固中兴第一流人”，曾撰著《湘军志》的晚清大学者王？运说“中兴之业，实基自胡”，而沈卓然认为胡林翼应位列同治中兴功首，《清史稿》评价他：长于综核，干济冠时。
曾国藩自己也曾在奏议中称赞“润芝（胡林翼）才力过国藩十倍”。曾国藩还说胡林翼之功在于“变风气为第一，而荡平疆土二千里次之”。李鸿章晚年，与人谈旧事，常挂在口边的是“先师曾文正公”与“前辈胡文忠公”（胡林翼谥文忠）。清人唐文治在《胡文忠公语录序》中对胡林翼有两句恰如其分的赞语：“此其量，江海之量；此其心，江海之心也。”《清史稿》对胡林翼识才、爱才和用才方面的过人之处也评价甚高，说他“驭将以诚，因材而造就之，多以功名显……”
胡林翼在后世之所以鲜为人知，主要是因为他壮年早逝，才华未能充分地施展开来。“中兴三名臣”之中，曾国藩享寿六十一岁，左宗棠更是以七十三岁高龄西归，而胡林翼却仅仅只活了四十九岁，当时舆论普遍认为，若胡林翼不死，成就当不在曾国藩之下。
胡林翼出身于颇有家资的书香门第，年轻时放荡不羁，经常寻花问柳，目空一切。其父胡达源深以为忧，逼他刻苦攻读圣贤之书，老父常为此掀髯动怒。无奈，胡达源只好将孽子送至好朋友、两江总督陶澍的幕府，让他去好好领教领教“军管”的滋味。哪曾想到，胡林翼到了江宁（南京），半点也不收敛，依然我行我素，风流依旧。两江总督陶澍严禁僚属酒色荒嬉，却唯独对胡林翼网开一面，还将爱女毅然决然地许配给他，陶夫人再怎么反对也无济于事。其时，胡林翼在南京纵情山水，并流连忘返于秦淮河畔、钓鱼巷中时，有人密告陶澍，不料陶澍却说：“润之（芝）之才，他日勤劳将十倍于我，后此将无暇行乐，此时姑纵之。”（黄？：《花随人圣庵摭忆》，上海书店出版社1998年版，第434页）
更有趣的是，新婚之夕，大家四处都找不到新郎官胡林翼的影子，原来他独自跑到外面喝酒去了，而且喝得烂醉如泥。这一回，陶夫人更加火冒三丈，埋怨陶澍看人走眼，选择了这么个混账女婿，误了女儿终身，陶澍回答道：“此子是瑚琏之器，将来必成大事，年少纵情，不足深责。他现在不玩，国家用材之时，他就没有时间玩了。”
有一次，胡林翼陪老丈人陶澍请当地名流吃饭，席间他侃侃而谈，不管谁和他辩论都要被他一顿奚落，甚至讥讽。结果被岳父骂作“浮萍耳”。此后，他便浪子回头，发奋读书，后来中进士，胡林翼就开始铆足了劲儿念书，第二年乡试高中，第三年又连捷中进士点翰林，时年仅二十五岁。
入翰林后，胡林翼仍流连于勾栏瓦肆。《花随人圣庵摭忆》里讲了这样一件趣事：胡林翼点翰林后，常与同乡善化人周寿昌出入花街柳巷间。一夕，方与周寿昌同就某娼家，坊卒掩至，周寿昌机警，避入厨房，易服而立，得免被执。而胡林翼等人被抓回去问讯，因为不敢吐露身份，所以颇受辱。及释归，就与周绝交，谓其临难相弃，不够朋友。其后，胡林翼治军招勇，就不喜用善化籍人。
真正使胡林翼大彻大悟、痛改前非的是四年后的江南乡试案。那一年，文庆任主考，他任副主考，一同主持江南乡试。不料，他们违规携带别人入闱阅卷之事被告发。结果，文庆谪戍新疆，胡林翼降一级左迁内阁中书。此事对胡林翼的父亲胡达源打击很大，第二年便因郁病去世。胡林翼为此深自悔恨。父亲的去世，也使他顿觉家族的重任将压在他一人的身上。丁忧期间，他痛定思痛，反躬自省，下决心再不像过去那样荒废年月了。
胡林翼一出手就显示了其不同凡响的见识。他深知如果靠一步一步升迁希望渺茫，于是他从亲友那借了一万五千两银子捐了个知府衔，很快就被分到贵州安顺县。当时安顺土匪猖獗，一般人都视之为畏途，不愿前往，而胡林翼因为捐的钱较多，本可以自行选择其他地方任职的，但是他毅然前往。
贵州是胡林翼事业开始的地方。《清实录》说“贵州所属各地方往往聚有匪徒”，“数百为群，聚散无定，抢劫拒捕”。胡林翼年轻时热衷兵略，对军事素有研究，此时刚好派上用场。他深入民间，遍访士绅；短衣草鞋，探访匪穴；训练民兵，遂以知兵名天下。他在贵州和土匪打了六七年的交道，带领官兵与盗匪作战数百次，镇压过天柱等地苗民起义和湖南李沅发起义，后总结战争经验编成了《胡氏兵法》。《胡氏兵法》不只谈兵，更多是谈怎样培养人的精神品格，怎样进行道德修养，怎样对待民众，培本养民。胡林翼在贵州任知府的前三年内，因为剿匪安民有功连升三级，官至贵东道。
时值太平军势如破竹，进军湖南、湖北，清廷上下震动。于是，御史王发桂上疏推荐胡林翼，说他“捕盗锄奸，有胆有识，平日训练壮勇，仿戚继光成法而变通之。勇不满三百，锐健果敢，一可当十。搜剿匪徒于深山密箐中，与士卒同甘苦。所著《保甲团练条约》及《团练必要》诸篇，行之均有成效，历任督抚深为倚重。倘蒙圣恩逾格畀以重任，留于湖北带兵剿贼，可期得力。”
后经允准，胡林翼遂提兵进入两湖战场，开始其“中兴名臣”的戎马生涯。在与太平军作战中，胡林翼多次运用“围城打援”的战术，打败石达开和陈玉成，其中最大的胜利莫如收复武昌。后来的安庆之战也是因为采纳他的策略而取得成功的。
太平军来势汹汹，于1853年1月攻克武昌，太平军人数增至五十万，清廷惊慌不已。1854年4月，清王朝就把胡林翼调至湖北任巡抚，他带领湘军连续作战，连连获胜，扭转了当时的被动局面。他的名声，在江南大震。湘军在胡林翼的手上发展迅猛。在他担任湖北巡抚以前，湘军只有不到两万人。而自从他在湖北开始编练部队以后，四年时间里，湘军部队的总数增加到了七万多人，远远超过了过去曾国藩所统率的部队规模。
胡林翼与曾国藩的关系十分融洽，不仅与他随时协商军事部署，源源不断地提供饷银，还为曾国藩的复出，为其谋求地方实职一再上奏朝廷。1857年，曾国藩被剥夺了兵权，困守湖南老家。如果不是胡林翼极力向朝廷争取重新起用曾国藩，也许这位湘军的领袖就在湖南那个偏僻的乡村里慢慢度过自己的余生了。
胡林翼比曾国藩小一岁，成名却早于曾国藩，世人并称“曾胡”。他先于曾国藩成为封疆大吏，并且曾国藩后来所任的两江总督一职本来咸丰帝是准备授给胡林翼的，然肃顺提议说：“胡林翼在湖北措注尽善，未可挪动，不如用曾国藩督两江，则上下游俱得人矣。”咸丰帝称善，遂如其议（薛福成：《庸庵笔记》卷一）。二人相比，论学问，胡不如曾，论处世，曾不如胡。
胡林翼驰骋官场很有过人之处。任湖北巡抚期间，令他最头痛的问题是如何处理与湖广总督官文的关系。当时大多数地方的督、抚都是互不买账，明争暗斗，互使绊子，不是你参我，就是我整你，大大影响办事效率。这是清代地方政府的痼疾。胡林翼以大局为重，主动与官文修和。
官文是满洲正白旗人，出身军人世家。此人骄悍昏庸，名为总督，实则是朝廷派到湖广监视汉官的耳目。不久，官文极为宠爱的六姨太要过生日，总督府向武昌官场大发请柬，要为姨太太热闹一番。可按汉人规矩，同僚属官们给总督太太拜寿，没的话说；为总督小妾庆祝生日，则是有失体面，再说湖北司道府县大部分官员平日对官文都无好感，所以，许多官员都托辞不来，或观望犹豫。生日这天，日上三竿了，总督府还冷冷清清。官文急得团团转，六姨太也寻死觅活的。这时候，胡林翼来了，不仅仪仗整齐，他还带来了老母亲和夫人，以太太之礼，给官文姨太太送了一份厚礼。他这一带头，那些观望的和不准备来的官员也都纷纷跟着来捧场，这位六姨太心下自然十分感激胡林翼的侠义救场。宴席上，胡老太太及胡夫人尽挑些好听的话恭维六姨太，六姨太喜得合不上嘴。六姨太出身贫贱，自幼丧母，见胡老太太这样喜欢她，便认胡老太太为母。老太太欣然应允，又叫她拜见了兄长胡林翼。从那以后，六姨太常常在枕边吹风，说胡家母子的千好万好，并说，现在两家认了亲，就是一家人了，就不要再为难义兄胡林翼了。官文对这个娇媚聪慧的六姨太向来是百依百顺，果然从此再不给胡林翼使绊子了。
不仅如此，胡林翼每次起草请功奏折时，总把总督的名字写在第一位。这把官文弄得乐滋滋的。这样，官文当起了甩手掌柜，军政大事，全付与胡林翼去办理，他只在公文上画诺而已。胡林翼则放开手脚大干起来，积极整顿吏治，增加税收，革除田赋积弊，剿灭盗贼，募勇练兵。湖北当时督抚关系之和睦，为全国之首。当时，由于与官文的关系好，湖北的军政实权都在胡林翼的手里。
胡林翼很善于理财。当他初任湖北巡抚时，湖北大半沦没于太平军，可谓库储一空，百物荡然，然而胡林翼通过改漕章、通蜀盐、整榷务等手段，岁入四百多万两银子，在当时南方诸省中仅次于江苏和浙江。这些钱，主要用作湘军军饷。为此，曾国藩赞誉胡林翼说：“以湖北瘠区养兵六万，月费至四十万之多，而商民不敝，吏治日懋，皆其精心默运之所致也。”（《清史列传》，第三千三百五十二页）在他苦心经营下，“糜烂众弃之鄂”变为了“富强可宗之鄂”（《曾国藩全集·书信三》）。
胡林翼重用从京师下放湖北的户部小官阎敬铭，协助他整顿湖北财务。阎敬铭这个人，号称“晚清第一理财能手”。此人后来得到慈禧太后的特别赏识，官至户部尚书、协办大学士、军机大臣，执掌大清帝国的最高财权。当时，阎敬铭竭尽全力辅佐胡林翼整顿吏治，严杜贪污中饱，查禁走私，广开厘捐，使出浑身解数，终于为湖北藩库积攒了一大笔银钱。
除养兵外，这些钱有的用来“分援邻省，规画江淮”，有的则“为养士及假归来依之营官、哨官起见”。胡林翼这种具饷必丰、养人以宽的笼络手段，不仅使部下死心塌地供他驱遣，而且也使很多客将愿意归附他。因此，曾国藩说：“近世将才，湖北最多”，其中的塔齐布、罗泽南、李续宾、都兴阿、多隆阿、李续宜、杨载福、彭玉麟、鲍超等都是当时名将，威震天下。
胡林翼在晚清还以善于发现和擢拔人才出名。其中尤以七次荐举左宗棠传为政坛佳话。左宗棠尚为“湘上农人”时，胡林翼身为黔中僻地小小的知府，人微言轻，便向自己的顶头上司、云贵总督林则徐荐举左宗棠为幕宾（左未成行）；后又多次致书湖广总督程？采，称誉左宗棠“有异才，品学为湘中士类第一……如便中访问，必有裨高谅”，此事终因左宗棠不愿出山而告寝；胡林翼并未就此放弃，后来又致函湖南巡抚张亮基，褒美左宗棠“廉介方刚，秉性良实，忠肝义胆，与时俗迥异，其胸罗古今地图兵法，本朝国章，切实讲求，精通时务”。他以其诚意感动了孤傲的左宗棠，左宗棠终于出山了，开始了其风起云涌的报国生涯。
难能可贵的是，胡林翼还很善于调和将领间的矛盾。当年，湘军水师的两位大统领杨岳斌和彭玉麟，都是身经百战的虎将，分掌长江内湖水师，因事失和，闹到彼此反目的地步。同袍内讧，这是兵家之大忌。胡林翼很清楚，这个心结一日不解，则一日隐伏后患，于是，他分别写信邀请杨岳斌和彭玉麟前来商量军情。杨捷足先至，宾主握手言欢，彭后到，杨便起身要走，胡林翼强行将他摁在座位上，彭一见这情形，即打算掉臂而去，胡林翼又强行将他摁在座位上，只差没用两口大钉子将他们钉牢在原处了。彭、杨二人相对无语，很是尴尬。胡林翼于是令手下设席开宴，“酌酒三斗，自捧一斗，跪而进曰：‘现在天下糜烂到这等地步了，确实仰赖您二人和衷共济，支撑危局；您二人如今先闹别扭了，又如何佐助中兴大业？！’说完，泣下沾襟”。（方宗诚《柏堂师友言行记》）彭玉麟和杨岳斌都是性情中人，见胡林翼出此至诚，当即大为感愧，赶紧扶起胡林翼，谢了罪，道了歉，彭、杨二人也非鸡肠小肚之徒，遂捐弃前嫌，从此和衷共济。
1861年9月30日，胡林翼因病呕血死于安徽军中。谥文忠，追加太子少保、兵部侍郎。他死后，曾国藩在咸丰十一年（1861年）九月的《日记》中感叹道：“赤心以忧国家，小心以事友生，苦心以调护诸将，天下宁复有斯人哉！”曾国藩还赞胡林翼“忧国之诚，进德之猛，好贤之笃，驭将之厚，吏治之精，无善不备，无日不新，同时辈流，固无其匹，即求之古人中，亦不可多得”，其评价之高，在曾国藩论人之语中，是绝无仅有的。
胡林翼生前倾其所有，在益阳石笋瑶华山，修建了箴言书院“以公邑人”，培育人才，造福桑梓。著有《读史兵略》四十六卷，奏议、书牍十卷等，辑有《胡文忠公遗集》。他还曾绘制《大清一统舆图》，为我国早期较完整的全国地图。
“护国军神”蔡锷特别欣赏胡林翼的军事才能和用兵思想，把曾国藩胡林翼的治军用兵之道编成《曾胡治兵语录》，用于指导和武装他的部队。1924年，蒋介石将此书作为黄埔军校教材，并增辑《治心》一章以《增补曾胡治兵语录》出版。1943年八路军《军政杂志》曾出版《增补曾胡治兵语录白话句解》，1945年八路军山东军区重印出版。可见其影响之大。
