自昭帝时到宣帝初年，霍光的子弟亲属都占据朝中要职，总揽兵权。霍光的儿子霍禹及霍去病的孙子霍云都是中郎将，霍云的弟弟霍山为奉车都尉侍中，统率外族归附的军队，他的两个女婿为东西宫的卫尉。霍家的女婿、外孙都享受参加朝会的优待，分别担任诸曹大夫、骑都尉、给事中等职务。霍氏亲族党羽联成一体，在朝廷中像树根一样牢牢盘踞着，一时之间，显赫无比。
霍光的夫人霍显并不知足，妄图使霍家的声势更加显赫，保有更坚实的基础。宣帝刚即位时，册立其做平民时娶的妻子许妃为皇后。霍显想使小女儿成君有尊贵的身份，于是私自指使妇科医生淳于衍用毒药毒死许后，并乘机劝霍光把成君送进宫，代替许后立为皇后。当初许后突然死亡，官吏们逮捕了各有关医生，控告淳于衍治病时无礼，犯了“不道”之罪，并将他关进了监狱。狱吏审讯很急，霍显怕事情败露，就把实情原原本本告诉了霍光，霍光非常惊恐，想自己去检举，又不忍心，正犹豫不决的时候，这时恰逢狱吏的奏章送上来了，他就在奏章后写上了“淳于衍不要定罪”的批语。这样，狱吏也不能说什么了，只能胡整了别的庸医，将这件事搪塞过去。虽然霍家凭着权势暂时逃脱了毒死许后的责任，但潜在的危机太多，随时可能触发。
霍光从武帝后元时，就掌握国家大权，到宣帝即位，霍光曾经请求归还大权，宣帝谦让不肯接受，还是让大臣们先将各种事情报告给霍光，然后才呈报给自己，霍光每次朝见，宣帝都以礼相待，谦虚得都有些过分。这是真正的敬意吗？不是。宣帝刚即位时，去谒见高祖庙，霍光陪从在身边做骖乘，宣帝内心很恐惧，好像有芒草刀剑扎在背上一样不安。以后车骑将军张安世代替霍光做骖乘，天子就精神放松，身体舒展，感到安宁和妥帖。可见宣帝对霍光只是敬而畏之。
地节二年（公元前68年），霍光病危，宣帝亲临霍光家问候，还为他流了泪。霍光上书谢恩道：“希望从我的封邑中分出3000户，请呈拿去封给我哥哥的孙子奉车都尉霍山为列侯。”宣帝立即把这份申请，交给丞相、御史大夫去办，当天还任命霍光的儿子霍禹为右将军，以告慰霍光。
没几天，霍光就去世了。宣帝和皇太后亲自去霍光灵柩前吊祭。葬礼非常隆重，太中大夫任宣和侍御史等5人持符节主持丧事，并在坟边设立临时办事机构。皇帝赐给霍家大量金钱、绸缎丝絮，100条绣被，50箱衣服和璧、珠玑、玉衣、梓木棺材等，完全采用皇帝丧葬制度的规格，又用车载送霍光的灵柩，用皇帝乘舆专用的黄屋左纛。同时，调发材官、轻车、北军五校的士兵充任仪仗队，从长安一直排列到茂陵，为霍光送葬，并赐给霍光宣成侯的谥号。葬礼完成以后，宜帝封霍山为乐平侯，以奉车都尉领尚书事；霍禹承袭博陆侯的爵位。不久，又封霍山的哥哥霍云为冠阳侯。
霍家地位虽然高贵，但因霍光教导无方，导致其后人骄奢淫逸。霍禹继承博陆候的封爵后，太夫人霍显改建自造的墓地，扩大了规模，建造三出阙，筑神道，并与管家的奴隶冯子都私通，生活相当糜烂。同时霍禹、霍山也都整修住宅，在平乐馆赛马取乐。霍云在应该朝见皇帝的日子，多次托病不去，私下带着宾朋好友到黄山苑去游猎，而派奴仆代表自己去朝见，竟然没有谁敢指责他。霍显和她的两个女儿还不分昼夜地随意进出太后住的长信宫殿，没有时间的约束。
霍光去世后，皇帝才开始亲自处理朝政。御史大夫魏相曾经上书，认为霍家倚仗权势，骄奢放纵，应当损夺其权，宣帝也深以为然。后来霍显与淳于衍合谋毒死许后的事情渐渐泄露出来，宣帝也听说了这件事，但一时也不明真假，于是把霍光的女婿、度辽将军、未央卫尉、平陵侯范明友调为光禄勋，二女婿诸吏中郎将羽林监任胜调出京城去做安定太守。几个月后，又把霍光的姐夫，给事中、光禄大夫张朔调为蜀郡太守，调霍光的孙女婿、中郎将王汉为武威太守。不久，又调霍光的大女婿长乐卫尉邓文汉为少府。接着任命霍禹为大司马，但只许戴小冠，没有印绶，同时撤销他的右将军该统领的营兵和下属办事机构，只是让霍禹的官名和霍光一样，都是大司马罢了，有职无权。不久又收回范明友的度辽将军印绶，只任光禄勋，又收回三女婿的骑都尉印绶，将他改任文职。与此同时，宣帝将羽林军和两宫卫军的各个带兵将领全都换上了自己的亲信。
霍显、霍禹、霍山、霍云等人自从发现权力被一天天削去，多次相对哭泣，互相埋怨。地节四年（公元前66年），霍显等人密谋发动政变，密谋被人告发后，霍云、霍山、范明友自杀，霍显、霍禹、邓广汉被捕，霍禹被腰斩，霍显及其多个子女都被斩首示众。惟独霍皇后只被废黜，居住在昭台宫。这时，同霍家有关系而被杀的有数千家。至此，自武帝以来煊赫一时的霍氏家族终于遭到灭族之祸。
宣帝杀尽霍光全家，不过，宣帝并没有因此抹杀霍光的功勋，宣帝晚年在麒麟阁设置画像，霍光仍然被列为第一功臣。
霍光少年凭其兄霍去病的推荐开始入宫侍奉皇帝，只是守门护阶的郎官，但其意志刚强，坚守大义，颇受汉武帝重用。后接受汉武帝的委托，辅佐幼主，负起了扶保汉室的重任。他担当宰辅，随机应变，制服政敌，以实现他对汉室的忠诚，在废立皇帝的关键时刻，他面对大是大非毫不动摇，终于扶正国家，安定社稷，被誉为汉朝伊尹。然而，其后人不争气，处富贵而骄逸，争权位而图反叛，终于导致家族的灭顶之灾。其幸乎，悲乎？
