贞观十六年（642），房玄龄觉得自己当了很长时间的宰相，不宜长期身居高位，多次提出辞呈。唐太宗对他说：“辞让，固然是一种美德。然而国家长久以来都依靠你，如果失去了像你这样的贤相，朕就好像失去了左右手一般。”
晚年的房玄龄经常疾病缠身。唐太宗依旧委以重任，下诏说：“玄龄多病，就让他在家里办公，躺在床上处理公务。”朝中遇到大事，便命人抬他上殿。每次遇到这种场面，唐太宗便流泪不止，说：“你老了，朕也老了！”
后来，唐太宗把他请到玉华宫，乘肩舆入殿，至御座乃下，君臣相见，太宗流涕，房玄龄也感激哽咽，不能自胜。太宗令名医为其救治，并派人每日供给御膳。如果病情好转，太宗即喜形于色；如听说加重，便神情凄怆。唐太宗的恩遇使房玄龄感激不尽，于是抱病上表劝谏太宗停止攻打高丽。
这一天，昏迷多日的房玄龄睁开了眼睛，双目茫然地看见唐太宗龙睛圆睁、一眨不眨地盯视着他，心中涌起波涛，但身体却不能随心而起，只是口角蠕动着，难以表达肺腑之言。
唐太宗见状，忙说：“房公，近些天来，朕总是忍不住在想你呀！”
房玄龄闻言，更加激动不已，他用仅有的一点气力，微弱而缓喘地说：“微臣三生有幸，承蒙陛下不弃，三十余载追随陛下左右，得以建功立业、享受荣华，吾愿已足……只是……”
“只是什么？”唐太宗接问道。
“只是臣这一生，有很多事情，都没有做好啊……”房玄龄喘息不止。
唐太宗强忍悲痛，握着房玄龄的手，说：“房公，你我君臣，今日不谈国事。请你直言嘱朕，你尚且忧虑何事？”
房玄龄止喘片刻，回答：“臣已无后顾主忧，所虑者只是太子，担心日后出现奸佞乱政，有碍宗庙社稷……”
唐太宗听房玄龄谈及太子，也颇有同感，说：“朕也是为此事放心不下，但不知房公你有何良策？”
房玄龄用力睁开双目，看了看随唐太宗前来探视的皇太子李治，说：“必须委以直臣，辅佐殿下……”
李氏父子同问：“何人可以担负此任？”
房玄龄回答：“褚……遂……良……不过，不过……”
唐太宗急问：“不过什么？”
房玄龄看了看唐太宗，又转目看了看唐太宗身旁的李治，说：“陛下你必须赐予他尚方宝剑，而殿下必须对他重用才行……”
唐太宗点头表示同意。太子李治也说：“太傅所言极是。请你不必担忧。”
君臣交谈至此，唐太宗当着房玄龄面，在病榻前，正式宣布：将房玄龄次子房遗爱提升为右卫中郎将，长子房遗直为中散大夫。
二子向唐太宗和太子李治跪拜谢恩。
唐太宗与房玄龄叙别，彼此悲伤不已。
贞观二十二年（648）七月二十四日，房玄龄病卒，享年七十岁。为了深切悼念他，唐太宗特意废朝三日，下诏为他举行了隆重的葬礼，册赠他为太尉、并州都督，谥曰“文昭”。为了给房玄龄办理丧事，唐太宗还特赐绢布两千段，粟两千斛，并让他陪葬在皇帝的陵寝昭陵。
在房玄龄病逝十个月之后，贞观二十三年（649）五月，唐太宗崩于含风殿，遗诏皇太子李治继位。
然而，尽管房玄龄生前采取“治家有法度，常恐诸子骄侈，仗势凌人，乃集古今家诫。书为屏风，令各取一具”等一些言传身教的具体措施，但是并未能够避免一场家庭悲剧的发生。
这场悲剧的酿成，是由所谓的“房遗爱谋反事件”而引发的。
房玄龄辞世后，长子房遗直承袭梁国公。永徽初年，担任礼部尚书、汴州刺史等职。其违背祖训，德不压身，不知进退，终致兄弟阋墙，遭人陷害，成为取败之由。
次子房遗爱，荒诞轻率，不学无术，但有武力，曾任右卫将军，后为房州刺史。
在贞观一朝，皇帝与勋臣的子女之间相互联姻的情况颇多。它本身就具备很强的人情加政治的浓厚色彩。唐太宗利用婚姻的这条“红线”，进一步强化、维系和促进他与勋臣之间的亲密关系。
然而，就房玄龄自身而言，他对唐太宗“赐婚”而构成的其次子房遗爱与高阳公主这一“情缘”，从内心深处并非情愿：一是“不想受”，二是“不敢受”，三是“不能不受”。
因为对于这一“皇恩浩荡”、“盛情难却”的“喜庆”和“荣耀”，不仅与他一贯坚守低调的做法不相吻合，而且有关次子媳妇高阳公主的“底细”他心中有数，唯恐对其礼遇不周而出现丝毫的偏差。所以，在他生前，只要稍有政暇，就必定向夫人叮嘱多加关照次子媳妇之事，以防出现难以挽救的后果和一些违犯国法、损害家风的事端。
可是，这位高阳公主性情骄蹇，她一直嫉妒房遗直这个大伯，鼓动驸马房遗爱与哥哥分家。她还在太宗面前诬告房遗直对皇上多有怨言，心怀不轨。太宗调查之后，发现是高阳公主任性胡为，不禁大为恼怒，将她训了一顿。经过高阳公主的几次诬告，房遗直害怕，自己写奏折要求将爵位让给房遗爱，唐太宗怕坏了规矩，并没答应。
为了达到夺取封爵的目的，高阳公主向新皇唐高宗告状，诬陷房遗直对她“非礼”。唐高宗自然极为重视，便当即诏敕其舅父长孙无忌调查处理。
结果，适得其反，因为事不机密，竟然审出了个房遗爱和高阳公主企图发动宫廷政变的大阴谋。
于是，长孙无忌为了铲除政敌和隐患，借此机会，将吴王李恪也牵了进来。李元景、李恪、房遗爱、薛万彻、柴令武被诛，高阳、巴陵二公主赐死自尽。诸子都作为刑徒流配岭南。房遗直虽因父亲的功劳而被特赦，保住了性命，但失去了爵位，成为庶人。
可叹房玄龄一世忠贞，家族终被逆子叛媳所累，大红的牌位被唐高宗下令从唐太宗庙中撤了出来，永远失去了配享的资格。
房遗爱有四子，均失其名，但都居住在老家齐州一带。四子中的小弟有个儿子名叫房沼，中唐时期考中进士，后任监察御史。
