胡惟庸是定远（今安徽定远）人，他是在朱元璋攻取和州（今安徽和县）的时候前来投顺的，到明朝建立后，他从一个地方的小官吏做到了中书省丞相。
胡惟庸做了丞相以后，仗着皇帝对他的宠信，在朝廷中大肆结党营私，组成了一个以他为首的淮人官僚集团，排斥那些和自己政见不合的官员，稍有不满就让其有杀身之祸。由于胡惟庸位至丞相，所以不仅自己操纵着这种生杀予夺的大权，而且有些重大的事情也不向皇帝奏闻，总是自己独断专行。如果有人呈献奏章，胡惟庸一定先私下拆开看看，将那些不利于自己的藏匿起来，不让皇上知道。
这样，在朝廷上下那些专会阿谀奉承看人眼色行事的人，纷纷投靠在胡惟庸的门下，为他奔走效劳。胡惟庸身后有这一大批追随的人，他做起事来就更肆无忌惮了，大量贪污受贿，把一些金银财宝、名马器玩都私自据为已有。
胡惟庸这种行为，引起了朝中一些忠直大臣的不满，其中魏国公徐达就很嫉恨胡惟庸的奸邪言行，便向朱元璋揭露他的种种胡作非为的罪行。胡惟庸听说后，一直怀恨在心，就企图通过收买徐达的看门家人陷害徐达。尽管他处心积虑地想了很多方法，但最终还是没有得逞。
刘伯温在胡惟庸还没当丞相之前，就曾对朱元璋说过，胡惟庸是一头不好驯服的小牛犊，一旦长成了就很难驾驭。后来，刘伯温和他的儿子给朱元璋上书，建议在浙闽交界的淡洋设立一处巡检司，而在上书之前两人没有请示中书省。旧恨新仇涌上心头，胡惟庸便指使他手下的一些官员进献谄言，想把刘伯温父子俩置于死地，只是因为朱元璋不想查办刘伯温的罪，他的目的才没有达到。可是，刚过了不久，刘伯温就得了病。胡惟庸假装关心，带着一名医生前去探病，并让那名医生给刘伯温开了药。刘伯温吃了那位医生的药之后，就觉得胸中有一个硬块，像拳头大的石头一样堵在胸中，没过多久，就死了。
就这样，朝中官员不管地位高低，只要对自己稍有不满，胡惟庸便想方设法把他除掉。
胡惟庸的这种胡作非为也引起了朱元璋的不满。尤其是在朱元璋执政第九年的时候，把行中书省改为了布政使司，之后地方的控制指挥权都集中到了中书省，胡惟庸的权力也就更大了。权力欲极强的朱元璋感到大权旁落，产生了一种不安全的感觉。又加上皇太子朱标的性格比较仁弱，朱元璋担心自己死后朱标治不了这些拥权自重的元勋宿将，存在着军事叛变的可能性，便决心为他除去这些障碍，让朱标坐稳皇帝的宝座。
这样，在朱元璋在位的第十三年的时候，有人告发胡惟庸阴谋叛乱，朱元璋便毫不留情地对他进行抄家灭族的严厉镇压。朱元璋在镇压胡惟庸集团的同时，又以镇压奸党为名，趁机杀了几家公侯大官僚。从这以后，胡惟庸这个案件就成了朱元璋进行政治斗争的工具了，凡是那些心怀怨恨的，或者是骄横跋扈的，能对朱明皇族统治产生威胁的文武官员、大族地主，都被不同程度地冠上罪名，罗织为胡党罪犯，被灭族抄家。
胡惟庸这个案件株连蔓延，没完没了地持续了数年。后来，又有人告发胡惟庸私通倭寇，阴谋内应外合，反叛朝廷，这样又牵连到了一些官员。朱元璋在他执政的第二十三年再次大兴问罪，又杀了几十家公侯官员。这一次，就连位居“勋臣第一”的太师韩国公李善长也被牵扯进胡惟庸的案件中。因李善长的侄儿是胡惟庸的侄女婿，就有人告发李、胡两家来往密切，李善长曾和胡惟庸合谋造反。朱元璋假托有星变，要出灾难，得杀大臣应灾，把李善长一家七十余口全部杀掉。这时，李善长已经是七十七岁的老头了。
李善长死后一年，有人上疏替他喊冤说，李善长不惜生死帮助皇上攻取天下，论功勋应属于众臣中第一位，生前就封为王公，死后还能封为王，而且他的儿子又是当朝的驸马，亲戚也都被封为官职，他作为人臣所应有的一切都有了。如果要说他自己图谋不轨，那是尚未可知的，可是要说他助胡惟庸造反，却是荒唐可笑的。因为从人情的关系看，他爱自己的儿子一定胜过爱自己兄弟的儿子，已经是安享万全富贵的人了，一定不会谋取侥幸万一的富贵。
况且李善长和胡惟庸是侄儿侄女的亲戚，而他与皇上却是亲儿女的亲戚，假使他助胡惟庸起事成功，不过也只是勋臣第一罢了，他的地位和权势也不会胜过今天的。
朱元璋听了这些话，尽管心里是清楚的，但假装不知道这个事理。
在连续几年的诛杀中，那些功臣宿将相继都被处死。太子朱标看到这种状况，心里很难受，就向他的父亲劝谏，不要滥杀无辜，伤了君臣之间的和气。朱元璋当时没有做声，第二天，为了讽喻太子，表明自己的隐衷，他故意丢一根棘杖在地上，要朱标拿起来。朱标面有难色，朱元璋语带双关地说：“你怕刺不敢拿，我替你把这些刺拔掉，然后再交给你，你不就敢拿了吗？”这就是朱元璋由胡惟庸这个案件涉嫌杀了许多人的用心。
