从这次弑君案中，嘉靖皇帝也感觉到自己的宫女、嫔妃太多，众怒难犯。人是有感情的，都希望得到天伦之乐。而那些宫女们一进宫就成了行尸走肉，她们敢于铤而走险，实际上是自己逼她们这样做的呀！
嘉靖皇帝没有将此事扩大，而是把后宫的三千宫女、嫔妃，大部分遣散到边关，与守关将士结成了夫妻，给了她们相对的自由，还了她们的天伦之乐，也成就了一段佳话。
请神仙炼仙丹，这本来就是一件滑天下之大稽的事情，为炼丹又上演了一出宫女弑君案，身为首辅的夏言就看不下去了。他串联了部分大臣，说：“世上哪有什么长生不老的事情？这下闹的，丹没炼成，自己差一点被几个宫女勒死。再不悬崖勒马，弄个遗臭万年，连我们这些做臣子的也没什么意思了。”准备上表驱逐陶仲文。
有一个大臣来问严嵩：“严大人，很多大臣都接到了夏言要大家联名上奏的口信，他们让我代为问一问，是答应夏言好呢还是不答应夏言好？”
严嵩没有立即回答。夏言要赶走陶仲文的想法无疑是正确的，问题是嘉靖皇帝特别固执，他要认准了某件事，就是九头牛也拉不回头。以“大礼仪之争”为例，开始他要还原自己的身世，这能够让人理解。可后来他要把自己生父的陵墓迁到京城皇陵园里来就没道理了，但他听人劝了吗？人活在世上，谁都不愿意死，从战国齐威王、齐宣王、燕昭王到后来的秦皇汉武，他们谁没有追求过长生不死？他们听谁劝了？现在嘉靖皇帝想长生不老炼仙丹，而有人想赶走陶仲文，那不就是在摸老虎的屁股嘛！
那个大臣见严嵩长久不吱声，就又说了一句：“严大人，那些接到了夏言口信的人，都在等您回话呢！”
严嵩淡淡地说：“大家随意吧，我不想关心。”
驱逐陶仲文的事情是要有人去干，但并不是所有的人都必须一拥而上。否则，嘉靖皇帝要是产生了逆反心理，再来个第二次“大礼仪之争”，谁又能把他怎么样！人嘛，谁没有一个爱好，不爱好这一行，就会爱好那一行。随便打个比方，假若嘉靖皇帝不爱好炼丹，而爱好游山玩水，在当时的社会环境和条件下，该要浪费多大的财力物力，会有多少人要因此而死啊！他要像正德皇帝一样，爱好建豹房，广收干儿子，以演练布兵打仗为乐事，致使生灵涂炭，其后果就更不堪设想。所以，严嵩对嘉靖皇帝炼丹的事，一向保持沉默。
嘉靖皇帝上朝了，几个大臣例行公事上了几个奏折后，夏言出班说：“皇上，微臣有本上奏。请皇上驱逐陶仲文。”
嘉靖皇帝有些意外：“陶仲文他怎么啦？”
夏言：“皇上，四季更替，生老病死，这是一种自然规律，但陶仲文有违天意，背道而驰，还留着他干什么！”
“夏爱卿，四季更替，生老病死的道理朕也知道。不过，朕以为这世上的事情我们还有许多没有弄明白，就算陶仲文是在搞一项试验，这又有何妨？”
“皇上……”
“好了。朕的私事，不要你们操心。”嘉靖皇帝很不高兴地制止了夏言的下文。事实上，寻求长生的事情，不但中国的帝王们在干，全世界的人们也都在干。
夏言被嘉靖皇帝制止了下文，有些尴尬。一个受夏言串联的大臣出来替夏言解围：“皇上，治病和治命，微臣正好有一比，就像一把椅子，椅子松了，用钉子一钉就行了；而椅子朽了，还有什么钉子可以将它钉好啊！”
嘉靖皇帝不高兴了：“各位爱卿，朕这么跟你们说吧：你们有你们的想法，陶仲文有陶仲文的想法，你们各干各的事，互不影响，都不要把自己的意志强加到别人的头上，这总可以了吧？”
人类对客观世界的运动规律有个认知过程，这个过程是复杂而漫长的，有时甚至数千年上万年，它需要人类世世代代地去探索、去总结。一个人从生到死不过几十年，几十年的时间，对客观事物来说是相对静止的。所以，一个人若形成了自己的世界观，就很难改变。因为他形成的世界观在短时间内难以证明他的对错。比如，几百年前的沈括在海边发现了从地里冒出来的石油，他预言石油以后会大兴于世，但当时的人们却都讥笑他异想天开。几百年后，事实证明他说对了。又比如，早先人们认为地球上的资源是取之不尽用之不竭的，后来科学证明，这种世界观错了。但在当时人们刚刚有了这种想法的时候，在短时间内谁能证明其正误？
却说夏言认为世界上没有长生不老的事情，炼丹纯粹是在胡闹。他一心想谏阻嘉靖皇帝，而且一点策略也不讲。过了几天嘉靖皇帝再上朝时，他又出班奏道：“皇上，微臣恳请驱逐方士陶仲文。”
嘉靖皇帝很惊讶：“陶仲文他又怎么啦？”
夏言重复着上一次的话，一个字都没改：“四季更替，生老病死，这是一种自然规律，但陶仲文有违天意，背道而驰，还留着他干什么！”
嘉靖皇帝很不高兴：“这世上到底有没有长生不老之药，朕说不清，你也说不清。陶仲文在宫里炼他的丹，又没妨碍你的正事，你干吗要揪住他不放啊？”
以前夏言专横，但处理事情很果断，这对一心想修道长寿的嘉靖皇帝来说，确实省去了许多麻烦。但夏言喜欢吹毛求疵，老揪住在嘉靖皇帝看来不是问题的问题不放，嘉靖皇帝心里就烦了。他在心里想：人都是有思想的，又不是木偶。朕想长生不老，就是错了又能错到哪里去！你以为你夏言就是一个完人啦？你才是癞蛤蟆遭牛踩——一身病呢！多少大臣在朕的面前弹劾你，朕不过是没理他们而已。你夏言要是再不识时务，朕就罢了你的相，让你滚回老家去！
晚上，严世蕃回到家里，高兴得手舞足蹈，对严嵩说：“爹爹，依孩儿看，夏言那个王八蛋，离灾祸已经不远了。”
严嵩没有说话，他知道儿子说的是什么意思。夏言是一根筋，他明天还会再上奏请求驱逐陶仲文，而这是嘉靖皇帝最反感的事情，所以，夏言离灾祸已经不远，这是可以想见的事情。
不仅严嵩父子预感到夏言要倒霉，朝中有许多大臣也都预感到夏言要倒霉。已经是礼部侍郎的徐阶回到家里，对妻子说：“夏言已经为祸不远了。这个一根筋，根本就没看清他专横的日子已经一去不复返了，更何况他也不看一看他想要办的是件什么事！”
徐妻惊讶地问：“他怎么啦？”
徐阶说：“他想仿效大周时代的狄仁杰，来个强谏，要驱逐方士陶仲文。可他也不想一想，狄仁杰跟武则天是什么关系呀！人家从小是一个村里长大的，民间传说他们还是青梅竹马的恋人，要不是武则天被强选入宫，他们就是一对恩爱夫妻。而夏言跟皇上是什么关系呀，哼！我算是看透了，夏言要跟严嵩斗，简直是飞蛾扑火，自取灭亡。”
也许夏言还没有看出嘉靖皇帝对自己的反感，也许他就是要做一个强谏的忠臣流芳百世。当嘉靖皇帝再一次上朝时，他又提出了要驱逐方士陶仲文，而且还是那两句话：“皇上，微臣恳请驱逐方士陶仲文。”
嘉靖皇帝大怒：“夏言，你这是跟朕干上了？”
夏言：“微臣乃辅国大臣，不敢不尽职尽责。”
嘉靖皇帝：“那好，朕今天就罢了你的相，你不需要再尽什么狗屁的职责，这总行了吧！”
夏言再次被罢相，嘉靖皇帝以尚书级待遇令其退休还乡。不过，这一次夏言感到很骄傲。因为上一次他是在官场斗争中被严嵩击败，很没面子。而这一次却是充当了一个忠臣的角色，他高昂着头，离开了京城。
嘉靖二十年（1541）十月，夏言二次罢相。次辅翟銮升首辅，严嵩升次辅，仍兼吏部尚书。翟銮（1478—1547），字仲鸣，祖籍诸城，洪武初移居京师。弘治十八年（1505）中进士。由于其方正圆滑和事佬的性格，事实上，嘉靖年间从这一年起，开始进入了严嵩时代。
