虽然也有人弹劾胡惟庸，但朱元璋不但不去追究，反而将这样的官员交给胡惟庸自己处理——朱元璋钦点的状元吴伯宗时任礼部员外郎，举朝逢迎胡惟庸的时候，他头脑十分清醒，始终不肯阿附，不仅如此，还向朱元璋上疏告发胡惟庸的种种不法行为。胡惟庸一怒之下把他贬了官，差点没把他整死。
到了洪武九年（公元1376年）的时候，胡惟庸在右丞相的位置上已经坐了三年。而朱元璋仿佛是为了让他更好地专权似的，这一年，中央政府撤销了中书省编制中的平章政事和参知政事这两个职位——平章政事就是副宰相，虽说多年空缺，位置此前可一直没有废除。同时，在地方上废除了元朝实行的行中书省制度，改由承宣布政使司担任地方行政长官，直接向中书省负责。本来在中书省的编制中，左、右丞相最高，其下分别为平章政事，左、右丞和参知政事，如今废除了平章政事和参知政事的职位，中书省只剩下了左、右丞相和左、右丞的编制，其下虽然增设了几个和地方布政使司相联系的位置，但不过是辅助丞相而已。这一来，胡惟庸在中书省，进而在整个大明朝，都可以说是获得了真正一言九鼎的权力。
仿佛是故意拉拢淮西派官僚似的，朱元璋也并没有忘记已经退休的首功之臣李善长——他把自己的女儿临安公主嫁给了李善长的儿子李祺，两人从此结成儿女亲家。为了给儿子办喜事，李善长喜洋洋地来到了南京城，这时候，沉寂多年的汪广洋突然跳了出来。
要说汪广洋此人在明朝初年担任地方官时还是颇有政绩的，对他的评价也不低——“廉明持重”。但不知怎么回事，每当他在中央任职时，就完全看不出当地方官时的智慧，从最早被杨宪排挤，到后来受胡惟庸的气，他都没有任何反击的意思，一直都老老实实的任人宰割。他这个左御史大夫，本来有着监察百官的权利，但他这几年似乎完全忘了自己还有这种权利似的，由着胡惟庸结纳百官、专横跋扈。但泥人也有土性子，到了洪武九年，临安公主和李祺完婚后，汪广洋突然发飙，他联合御史大夫陈宁上疏进言：“李善长恃宠而骄，十分放肆，陛下前些日子生病，有近十天没有临朝视事，他却不问候一下陛下的病情。驸马都尉李祺有六天不上朝，把他召到大殿，他也不肯谢罪，这是对陛下的大不敬。”——竟然直接把矛头对向了胡惟庸的总后台，朝中人人皆知的皇帝的大功臣、韩国公李善长。
真不知道汪广洋是怎么想的，按说这些年胡惟庸贪赃枉法的事情其实不少，他身为御史大夫，又和胡惟庸不对付，应该握有不少过硬的证据，找准时机一举将胡惟庸赶下台才是正事。结果他竟然以皇帝生病时李善长没有问候、驸马六天不上朝这种鸡毛蒜皮的小事跳过胡惟庸，直接去挑战李善长！或者，他是在用这种小事试探朱元璋对于李善长的态度吧。
其实朱元璋等这样的奏章很久了，奏章的形式是对的——弹劾功臣，但内容却实在不足以论罪——里边都是些鸡毛蒜皮的小事，如果因为这种事降罪于亲家，那也实在太说不过去了。不过在朱元璋眼里，好歹这回汪广洋总算是开窍了。
于是，李善长被扣去年薪一千八百石以示惩戒。不过，没几天又给他兼上“总中书省大都督府御史台、同议军国大事、督圜丘工”的差使，这几项的薪水加起来，比起被扣掉的年薪只多不少，更何况所谓“总中书省大都督府御史台、同议军国大事”，虽然不是宰相，但将国朝三大中枢机关一网打尽，党政军一手抓，根本就是荣宠到了极点……这一下任谁也看得出来，皇帝对于李善长的信重没有丝毫褪色，那些本来想跟着汪广洋后边跃跃欲试的人们立刻就沉默下来。
当然也不能凉了敢于告发功臣不法行径的汪广洋的心，转过年来的洪武十年（公元1377年），汪广洋再次进入中书省，升任中书右丞相。然而这次升官才真正寒了汪广洋的心——这个右丞相的位子是胡惟庸腾出来的，胡惟庸在当年正式被任命为大明朝最高行政长官的职务——中书左丞相。昔日自己的辅佐官，现在爬上去当自己的顶头上司，这回汪广洋彻底死心，再也不敢搞任何触怒胡惟庸或李善长的花样了。
权力被架空，密谋造反
胡惟庸终于位极人臣，而朱元璋的网也渐渐开始收紧。
洪武十年六月，朱元璋对着以胡惟庸为首的大明朝新政府领导班子训话：“凡是清明的朝廷，都是上下相通，耳目相连；凡是昏暗的朝廷，都是上下隔绝，聪明内蔽。国家能否大治，其实和这点有很大的关系。我经常担心下情不能上达，因此不能知道治政的得失，所以要广开言路，以求直言。”听到这话的新任中书左丞相胡惟庸还以为这只是每个开国皇帝的老生常谈而已，他并不在意，反正再怎么上下相通，广开言路，所有的表章奏疏中书省都是有权先过目的。
然而到了七月，一个大棒突然打到他的头上——通政使司正式宣告成立。这是朱元璋新创立的一个部门，所谓通政，乃是朱元璋将政务比作水，认为水需要流通才好，所以起名为通政使司。这个通政使司最重要的职能是“凡在外之题本、奏本，在京之奏本，并受之，于早朝汇而进之”。——所有的奏章必须先经过这个通政使司收纳整理，再转交相关职能部门。
这个新的通政使司的横空出世，正是朱元璋开始在制度上削弱相权的开始。明承元制，所有奏章都先进中书省，一般的小事就由中书省直接处理了——宰相给出意见后发往吏、户、礼、兵、刑、工这六部以及大都督府和御史台等各相关职能部门；若是大事，再呈给皇帝裁决。与此同时，所有奏章都不能直接呈给皇帝，什么东西能让皇帝看到什么东西不能让皇帝看到，都由中书省来决定。这，就是宰相制度最大的权力所在，也是朱元璋最不能容忍这个制度存在的根本原因。
通政使司的成立，宣告了朱元璋改变旧有制度的决心，给胡惟庸当头浇了一盆冷水。胡惟庸不是笨蛋，大概就是在这个时候，他逐渐意识到了朱元璋不会允许宰相再有以往的大权。先前废除平章政事和参知政事，原来不是为了自己，而是为了给设立通政使司铺路，这下将最能谋私的“奏事不许隔越中书”的老规矩改了，以后自己的日子怕是不好过了……
制度虽然改变，但旧的习惯一时很难完全扭转，何况虽然成立了通政使司，但宰相制度并没有消失。通政使司收上来的奏章还是要送到中书省，由丞相大人决断，朱元璋要想知道朝臣们的奏章都写了些什么，最终还是得依靠检校。
通政使司在最初成立的时间里基本上是作为中书省的秘书处存在的。朱元璋当然不能容忍这种情况，他在洪武十一年跟六部的人说：“做皇帝的人深居独处，能明见万里，主要是由于他兼听广览，了解民情。胡元之世，政令都出于中书省，凡事必先关报中书，然后才奏闻给皇帝，元朝又多昏君，所以民情不通，以至大乱。这是我们要深以为诫的。”于是下诏，诸司奏事无须经过中书省，直接奏报皇帝。
这一下对于宰相权力来说是致命的打击，从根本上动摇了宰相专权的基础。胡惟庸之所以能够打压众臣，剔除异己，靠的就是旧制“奏事不许隔越中书”，这个制度方便他扣压奏章，欺下瞒上。六部长官本来有事情都是通过中书省和皇帝联系，但这道诏书使六部直接和朱元璋联系上了，若果真如此，则宰相的权力就会被完全架空。
扳倒那么多敌人，好不容易从建国初年的地方小官爬到国家最高行政长官的位置上，还没怎么好好享受呢，就眼睁睁地被皇帝一点一点削弱手中的权力，这是胡惟庸所不能接受的。与其坐以待毙，不如起而争之，反正都是个死，干脆铤而走险。
于是，胡惟庸开始策划谋逆，到了洪武十三年，他觉得时机成熟，准备行动了：
洪武十三年（公元1380年）夏天，胡惟庸向朱元璋汇报：“臣的家里出现了醴泉，此乃祥瑞之兆，希望陛下驾临臣的家中观赏。”所谓“醴泉”，乃是说泉水清香馥郁，如同好酒一般，胡惟庸说他家里中有一口井，井水突然变化，涌出的全是美酒。
闻听此事，朱元璋大感好奇，于是就在五月初二日从西华门摆驾出宫，前往胡府。然而皇帝的车队走了没有多远，突然看见一个人从道路旁边直冲出来，拦住了御驾。卫士们害怕此人是刺客，急忙冲上前去将其围住，拳打脚踢。然而这个人一手扳着马车，一手直指胡府，满脸是血也不肯松手。朱元璋觉得奇怪，仔细一看，原来此人是西华门内使，一个名叫云奇的宦官。
朱元璋让人把云奇架到自己面前来详加询问，可惜这个时候云奇已经被打得奄奄一息，说不出话来了。朱元璋见云奇一直指着胡府，料想此事必定与胡惟庸有关，于是转身返回西华门，登上门楼远远望去。
胡府距离西华门并不遥远，登高而望，亭台楼阁尽收眼底。不望还好，这一望可把朱元璋吓了一大跳，只见胡府中有很多披坚执锐的武士，全都埋伏在走廊两旁和墙壁后面。
“胡惟庸想造反！”朱元璋急忙分派士兵前往围剿，很快就捉住了那位一人之下，万人之上的中书左丞相，随即将其押赴市曹正法。
这就是“云奇告变”的故事——至于那位忠心耿耿的宦官云奇，据说因为伤势过重，没过多久就咽了气……
