仁寿二年（602年）8月，独孤皇后离世，此后，直到仁寿三年（603年），隋文帝依然沉浸在痛苦之中，并且没有再去仁寿宫居住。
仁寿四年（604年）正月，文帝宣布大赦。这时的隋文帝已经步入晚年。晚年的隋文帝，经常在仁寿宫常住。晚年的隋文帝为了忘记丧妻之痛，将精力都放在了宣华夫人陈氏和容华夫人蔡氏身上。据《隋书·后妃传》记载，独孤皇后“性尤妒忌，后宫莫敢近御”。独孤氏死后，“宣华夫人陈氏、容华夫人蔡氏俱有宠，上颇惑之，南是发痒。及危笃，谓侍者曰：‘使皇后在，吾不及此’云。”可见，宠幸陈氏、蔡氏二夫人，亦是隋文帝“发疾”的原因之一。
宣华夫人陈氏是陈宣帝的女儿，姿貌无双。陈朝灭亡后，配入掖庭，后来又被选入后宫为嫔。经过这样一段辛酸的经历，陈氏磨练得善解人意，十分讨人喜欢。所以，在独孤皇后严密控制后官的时候，她能够得到独孤皇后的青睐，服侍文帝。后来，在晋王广谋篡太子时，她看风使舵，收取晋王杨广的珍宝贿赂，推波助澜，促成太子勇垮台，因此更加受宠。独孤皇后去世后，她进位为贵人，专擅房宠，主宰后宫。
容华夫人蔡氏也是江南人，陈朝灭亡后被选人后宫，充任世妇。她仪容婉丽，早就被文帝看中，只是碍于独孤皇后，故罕见宠幸。独孤皇后死后，蔡氏颇为得宠，被封为贵人，协助宵华夫人处理宫掖事务。文帝在两位如花似玉的贵人围绕下，不由得沉浸在温柔乡中。如此一来，他的身体也是日渐不支。
到了七月，文帝似乎想重新振作一番，七月十七日，他颁布一道长长的诏令，讲述一通用人的道理之后，向全国求贤道：其令州县搜扬贤哲，皆取明知今古，通识治乱，究政教之本，达礼乐之源。不限多少，不得不举。限以三旬，咸令进路。征召将送，必须以礼。此后，他开始准备再度前往仁寿宫。术士章太翼闻讯，大加劝阻，至于再三，文帝坚持不纳，章太翼直言道：“臣愚岂敢饰词，但恐是行銮舆不反”。文帝大怒，把章太翼抓进牢房，准备从仁寿宫回来，证明章太翼所言虚妄后，将他斩首示众。
二十七日，文帝动身来到仁寿宫。次日，他下诏将国家大小政务都交由皇太子处理。到了四月，文帝病重的消息传了出来，尚书左仆射杨素、兵部尚书柳述和黄门侍郎元岩等人入阁侍疾，皇太子广入居大宝殿。
据史书记载，隋文帝于仁寿宫患病，在他身旁的除了他所宠爱的华夫人陈氏、容华夫人蔡氏外，尚书左仆射杨素、兵部尚书柳述、黄门侍郎元岩等人，都入阁侍奉医药，又召皇太子杨广入居大宝殿。太子杨广考虑到父皇会很快死去，便预先为后事进行安排，以防发生其他变故。杨广亲自手书，密封后送出去询问杨素，杨素分条录写事状回报天子。不巧，宫人将杨素的信误送到隋文帝那里，文帝看过后十分愤怒。宣华夫人陈氏天亮时外出更衣，遭到太子杨广的逼迫，经奋力抗拒才得以脱身，仓皇地逃回皇帝寝宫。隋文帝见陈氏神色异常，感到奇怪，询问是何缘故，陈氏悲伤地流泪回答说：“太子无礼。”隋文帝闻言大怒，拍床骂道：“这个畜生，怎可以把国家的大事交付给他，是独孤皇后误了我的大事。”
于是，急令柳述和元岩道：“召我儿！”柳述和元岩刚要召杨广，文帝急忙纠正道：“劳也。”也就是说，文帝要废黜杨广，重立杨勇为太子。于是，柳述和元岩出阁起草敕令，让杨素过目。杨素火速将消息转告杨广，杨广立即派遣张衡入寝殿侍候文帝，同时，撤换宫中卫士，矫诏将柳述和元岩逮捕入狱，把宣华夫人及宫女一概逐出，俄顷，文帝驾崩。宣华夫人与宫人相顾失色，嗫嚅道：“事变矣！”赵毅所著《大业略记》称：炀帝“召左仆射杨素、左庶子张衡进毒药。帝简骁健官奴三十人皆服妇人之服，衣下置技，立于门巷之间，以为之卫。素等既八，而高祖暴崩”。马总的《通历》讲得更加确切，说杨素“乃屏左右，令张衡入拉帝，血溅屏风，冤痛之声闻于外，崩”。
陈夫人与后宫闻知事变的消息，相顾颤抖失色。黄昏时分，太子杨广派使者送来一个小金盒，有太子亲笔封条，赐给陈夫人。陈氏见此物惶恐惊惧，以为是赐毒药自尽，不敢启封开盒。在使者的催促下，陈夫人打开小金盒，见里面有数枚表示恩爱之意的同心结。宫女们见到此物，相互说道：“可以免于一死了。”陈夫人愤怒地坐在那里不动，在诸宫人的逼迫下，才免勉强拜谢。这个陈夫人是陈宣帝陈顼的女儿，“性聪慧，姿貌无双”。隋灭陈，选入后宫为嫔妃。独孤皇后妒忌，后宫罕得近御，惟陈氏有宠。杨广为晋王时，曾多次向陈氏进献金蛇、金驼，以取媚于陈氏。皇太子废立之际，她曾为杨广尽力。独孤皇后死，陈氏“专房擅宠，主断内事”。然而，隋文帝一死，陈夫人竟落得如此结局，一年后病逝，时年29岁。
《隋书·高祖纪》对文帝逝世的记载。四月，文帝不幸在仁寿宫病倒。到了六月六日，朝廷宣布大赦天下。显然，文帝病重，故以大赦为他祈福。而且，当时记录下的天象称：“有星人月中，数日而退”。曲折地表明文帝病情严重，七月一日，“日青无光，八日乃复”，说明文帝已经病笃无望了。果然，到十日，“上以疾甚，卧于仁寿宫，与百僚辞诀，并握手献欷”。三天后，也就是十三日，文帝崩于大宝殿，时年六十四岁。
《隋书》的记载清楚无误，文帝自四月生病以来，病势日渐加重，以至从仁寿元年（601年）以来每年文帝诞辰（六月十三日）都要进行的佛事活动也不得不停止。而自此至七月十三日逝世的数十天，显然尽了最大的努力才使得文帝的寿命得以延长。
当时，隋文帝作完一系列后事交代之后，与世长辞，并留下著名的遗诏：嗟乎！自昔晋室播迁，天下丧乱，四海不一，以至周、齐，战争相寻，年将三百。故刮疆土者非一所，释帝王者非人，书轨不同，生人涂炭。上天降鉴，爰命于朕，用登大位，岂戈人力！故得拨乱反正，偃武修文，天下大同，声教远被，此又是天意欲宁区夏。所以昧旦临朝，不敢逸豫，一日万机，留心景觅，晦明寒暑，不惮勃劳，匪曰朕躬，盖为百姓故也。王公卿士，每日阙庭，刺史以下，三时朝集，何尝不罄竭心府，诫敕殷勤。义乃君臣，情兼父子。庶藉百僚智力，万国欢心，敞令率土之人，永得安乐，不谓遘疾弥留，至于大渐。此乃人生常分，何足言及。但四海百姓，覆食不丰，教化政刑，犹未尽善，兴言念此，唯以留恨。联今年逾六十，不复韩天，但筋力精神，一时劳竭。如此之事，本非为身，止欲安养百姓，所以致此。
人生子孙，谁不爱念，既为天下，事须割情。勇及秀等，并怀悖恶，既知无臣子之心，所以废黜。古人有言：“知臣莫若于君，知子莫若于父。”若令勇、秀得志，共治家国，必当戮辱遍于公卿，酷毒流于人庶。今恶子孙已为百姓黜屏，好子孙足堪负荷大业。此虽朕家事，理不容隐，前对文武侍卫，具已论述。皇太子广，地居上嗣，仁孝著闻，以其行业，堪成朕志。但令内外群官，同心戮力，以此共治天下，朕虽瞑目，何所复恨。
但国家事大，不可限以常札。既葬公除，行之自昔，今宜遵用，不劳改定。凶礼所须，才令周事。务从节俭，不得劳人。诸州总管、刺史已下，宜各率其职，不频奔赴。自古哲王，园人做法，前帝后帝。沿革随时。律令格式，或有不便于事者，宜依前被修改，务当政要。呜呼，敬之哉！无坠朕命！
病中反思，文帝深以“四海百姓，衣食不丰，教化政刑，犹未尽善”为恨，一再交代后继者要安养百姓，“务从节俭，不得劳人”。或许，文帝已经意识到经过革新整顿，国家制度基本建立之后，当务之急是与民休息。遗憾的是这一思想来得太晚了，其后继者正跃跃欲试，力图再创更加宏伟的事业。
文帝死后，杨广秘不发丧。隋文帝驾崩后，杨广为隋文帝发丧，皇太子杨广即皇帝位，是为隋炀帝。适逢伊州刺史杨约前来入朝，炀帝派杨约入长安，替换看守杨勇的人。杨约诈称奉隋文帝诏命，赐杨勇自尽，将杨勇活活勒死。然后，集结军队部署，发布隋文帝驾崩的消息。炀帝闻知杨约在京师长安的所作所为，对杨素说：令兄的弟弟，果然能承担大任。追封杨勇为房陵王，不给他立后嗣。
二十一日，在仁寿宫为文帝发丧，杨广于灵前即位。八月三日，炀帝扶文帝灵枢回到京城，十二日，在皇宫正殿大魁前殿为文帝举行隆重的殡仪，同时将柳述和元岩除名，发配边地。
柳述，河东解人（今河南省洛阳市），文帝以自己钟爱的第五女兰陵公主殴嫁给柳述为妻（兰陵公主初嫁王谊之子王奉孝，奉孝早卒）。文帝在诸位女婿中，尤其宠信柳述。柳述自从进入了实权派后，仰仗着皇帝岳父，时刻以勋戚重臣自居。文帝晚年将大部分时间用在佛事上，并久居仁寿宫，将所有政事交给新太子杨广和杨素去处理。而文帝向朝廷发布的所有命令，都是柳述传递的。
仁寿初年，柳述被任命为吏部尚书，和杨素是死对头。对于杨素的飞扬跋扈，柳述很看不惯，经常提醒文帝，杨素是个玩弄权术和阴谋的小人。仁寿二年（602年），杨素被粱毗上疏弹劾后，文帝逐渐疏远杨素。柳述转任兵部尚书，居宰相位，取代杨素成为文帝最为信任的宠臣。杨素当然不甘心。
杨广与柳述的关系也很紧张。开皇初期，柳家与原太子杨勇关系甚密，柳述的大伯柳昂曾任太子太保，柳述本人任太于亲卫，叔叔柳肃历任太子冼马、太子内舍人。在整治太子杨勇的过程中，和杨勇交往甚密的柳家人自然成了杨广的绊脚石。还有一件事令杨广耿耿于怀，杨广本打算把兰陵公主许给自己的小舅子，也就是萧妃的弟弟，文帝也答应了。后来，文帝反悔，将兰陵公主嫁给了柳述。前前后后积累起来的恩怨，使二人关系形同水火。
与柳述同时重用的还有元岩。元岩为北魏皇族后裔，聪明有才干，是一个汉化的鲜卑人。仁寿初期，文帝任命此人为黄门侍郎，负责仁寿宫的警卫工作。元岩的女儿是华阳王杨楷的妃子，即文帝的孙媳妇。柳、元两人既是皇亲国戚，又是文帝的心腹，杨广则对他们恨之入骨看来，仁寿初年，杨广已经完全不把父皇放在眼里了，凡是父皇器重的人，自己都看着不顺眼，总是想方设法把他打压下去。
不仅如此，炀帝杨广令兰陵公主与柳述断绝，想让她改嫁；公主以死发誓，不再朝见炀帝，上表请求与柳述一同徙往龙川，炀帝大怒。公主忧愤而死，临终上表请葬于柳氏，炀帝愈发大怒，竟然不哭。所送的丧葬礼物，也很微薄，兰陵公主是隋文帝的第五个女儿，文帝“于诸女中特所钟爱”。文帝晚年宠爱小儿子汉王谅，兵败被擒，除名绝籍，幽禁而死。文帝引以为豪的五个儿子，四个废黜于骨肉相残之中。
仁寿寿四年（604年）10月16日，杨广将父亲安葬于太陵，庙号高祖。根据他的遗愿，和独孤皇后合葬在一起，异穴同坟。后来，炀帝还专门举办无遮大会，剃度善男信女一百二十人，“奉为文皇帝敬造金铜释迦坐像一躯，通光趺七尺二寸，未及庄严，而顶凝绀翠，体耀紫光，放大光明，照映堂宇，既感通于嘉瑞。敕诸郡各图写焉”。
隋文帝的遗诏虽然没有得到炀帝的遵循，但他忧国忧民之情，溢于言表，广为传扬。唐朝史臣评论他说：自强不息，朝夕孜孜，人庶殷繁，帑藏充实，虽未能臻至治，亦足称近代之良主。然天性沉猜，素无学术，好为小数，不达大体，故忠臣义士莫得尽心竭辞。其草创元勋及有功诸将，诛夷罪退，罕有存者。又不悦诗书，废除学校，唯妇言是用，废黜诸子。逮于暮年，持法尤峻，喜怒不常，过于杀戮。
唐人的评价影响深远，后人所论，大同小异。清人王夫之从制度沿革考察隋文帝的贡献，指出：隋一天下，蠲索虏鲜卑之虐，以启唐二百余年承平之运，非苟而已也；盖有人焉，足以与于先王之德政，衙惜其不能大用也。隋无德而有政，故不能守天下而固可一天下。以立法而施及唐、宋，盖隋亡而法不亡也。
关于文帝之死，是寿终正寝还是阴谋篡夺，后人说法不一。
一种是杨素下毒说：赵毅的《大业略记》记载：杨广命令杨素、张衡给文帝端了一碗下，毒药的参汤。文帝寝宫周围都是杨广的护卫，三十多个体格健壮的亲信穿上女装，扮成宫女的模样，衣服里都藏着兵器，守在门口。文帝喝了汤，没一会儿的工夫就咽气了。
第二种是张衡谋杀说：
马总《通所》讲得很细致：杨坚患病，当时只有杨广及宣华夫人在床边伺候，太子乘机非礼宣华夫人，宣华夫人告诉文帝，文帝大怒喝，文帝非常后悔废嫡，急令柳述等人召见杨勇。杨素密不宣布，命左右宫女离开，令张衡进入，猛打杨坚前胸，杨坚口吐鲜血，血溅屏风，惨叫几声，之后驾崩。
那么，文帝去世的真相究竟如何呢？
宋代史学家司马光做过关于隋文帝死因的考证，他离隋朝较近，掌握史料和证据。他得出的结论是：“今从《隋书》”，即遵从隋书的说法。但是司马光又加了一句话，“故中外颇有异论”，言外之意是隋文帝的死还有别的说法。
翻开《隋书》的《高祖纪》，按照时间先后描绘一下文帝离去的情况：4月，“上不豫”，即文帝病于仁寿宫。
6月6日，“有星人月中，数日而退”，隐晦地说出文帝病再的事实，朝廷宣布大赦天下，显然文帝对康复还抱有很大希望，所以才有此祈福之举。
7月1日，“日青无光，八日乃复”，人算不如天算，文帝病入膏肓。
7月10日，“上以疾甚，卧于仁寿宫，与百僚辞行，并握手献欷。”文帝无奈认命。
7月13日，文帝崩于大宝殿，时年64岁。
以上就是《隋书》关于文帝病逝过程的记载。文帝自4月在仁寿宫生病以来，病情越来越严重，不到3个月就离开人世。
