元平元年（公元前74年），昭帝病逝，没有儿子。武帝的六个儿子中独有广陵王刘胥在世，群臣讨论该立谁为皇帝时，都有意立广陵王。广陵王本来就是因为行为放纵、不合正道，才不被武帝选用的，所以霍光听了大家的议论后犹豫不决。这时有个郎官上书说：“周太王废黜太伯而立王季，周文王舍弃伯邑考而立武王，都是只看合适才立。即使是废黜长子而立少子也是可以的。广陵王不能继承帝位。”此话正合霍光的心意，霍光把郎官的上书拿给丞相杨敞等人看，于是把这个郎官提拔为九江太守。当天，霍光奉皇太后诏令，派遣行大鸿胪事的少府乐成、宗正德，光禄大夫吉，中郎将利汉去迎接昌邑王刘贺。
刘贺是汉武帝的孙子，是哀王的儿子。到长安后，即位为皇帝，但是他行为放纵，淫乱不堪，举动无节，政事失当。霍光见昌邑王荒淫无道，非常担忧，于是单独询问大司农田延年，这事该怎么办。田延年说：“将军是国家的柱石，既然知道这个人确实不行，为什么不向太后说明，另选贤明的加以拥立呢？”霍光很是疑惑地说：“现在想这么办，在古代有先例吗？”田延年说：“伊尹做殷朝的相，废黜太甲来安定宗庙社稷，后世称颂他的忠诚。将军您如果能够办好这件事，也就是汉朝的伊尹啊！”霍光深以为然，又给田延年加官“给事中”。让他可以进宫议事，紧接着就与车骑将军张安世合谋，召集公卿大夫在未央宫共同议事。
会上，霍光说道：“昌邑王行为昏庸淫乱，恐怕会给国家带来危险，怎么办？”群臣全都大惊失色，谁也不敢发言，只是随声应付，不置可否而已。这时田延年离开座席走上前，按着剑慷慨陈词道：“先帝把年幼的太子托付给将军，又把天下托付给将军，是因为将军忠诚、贤明，能保刘氏子孙的平安。现如今臣民扰乱不安，国家行将崩溃。而且汉朝历代相传，谥号里都有孝字，意思就是要长保天下太平，让祖先能享受子孙的祭祀啊！如果让汉家断绝了祭祀，等将军死了，他又拿什么脸面到地下去见先帝呢！”接着他又带着威胁的口吻说：“今天的讨论，不能有一会儿的耽搁。群臣中有谁赞成得晚一些，就请让我杀了他！”霍光谢罪说：“九卿对我的责备是正确的。天下人心浮动，议论纷纷，我应当受到责备。”于是参加会议的都叩头说：“百姓的命运都在将军一个人了，我们都只听将军的安排。”
会议当即停止，霍光立即率群臣一起去谒见太后，并向太后详细禀告了会议的情况，并认为昌邑王荒淫不堪，失掉了帝王礼仪，扰乱了汉家制度，不能继承帝位。皇太后对昌邑王的行为也很不满，现在霍光等人有意废黜昌邑王，她没有任何异议，当下表示同意和支持。
随后，皇太后乘车驾到了未央宫承明殿，并下令未央宫各处守门官兵不许放昌邑王手下的群臣进宫。昌邑王到太后处朝见回来，乘上车辇准备回温室殿。中黄门的宦官各把住一扇门，昌邑王进去，门就随即关闭，昌邑王的群臣不能进门。昌邑王说：“这是怎么回事？”霍光跪下说：“有皇太后命令，不让昌邑王的群臣进门。”昌邑王说：“慢一点好不好，为什么这样大惊小怪呢？”与此同时，霍光已派人把昌邑王的群臣驱赶到金马门外，车骑将军张安世带领羽林军逮捕捆绑了两百多人，并将他们送到廷尉和诏狱去看管。往日昭帝时的侍中中臣侍卫看守昌邑王，霍光告诫他们要小心看守：“万一仓促间昌邑王死掉或自杀，就让我对不起天下人了，且有弑君的罪名。”
当时昌邑王还不知道自己就要被废黜了，于是问身边的人道：“我原有的群臣从官怎么得的罪，而大将军要把他们都抓起来？”这些人都不吭声，昌邑王正准备发脾气，这时传来太后命令：召见昌邑王。昌邑王听说要召见他，心里有点怕，就说：“我得了什么罪而要召见我？”话虽这样说，他还是硬着头皮进了承明殿。
昌邑王进到殿中，一下子被那威严的架势吓得趴在了地上。只见太后穿着庄严的礼服坐在大帐里，两边几百个侍从都手持武器，皇宫武装警卫期门勇士都拿着戟排列在殿陛之下，群臣按次序上殿。霍光和群臣联名上奏，弹劾昌邑王，要求太后下诏废刘贺为庶人，太后同意了。
昌邑王一直伏在太后面前聆听诏书，最后霍光命令昌邑王起来拜受皇太后诏令。昌邑王早已吓得面如土色，不过他还想做最后的努力，于是说道：“听说天子有净谏臣7人，即使无道胡为，也不至于丢失天下吧！”霍光说：“皇太后已下令废黜，哪里来的天子！”于是走过去抓住昌邑王的手，解去他的玺绶，奉交给皇太后，然后又扶昌邑王下殿，出了金马门，群臣随后相送。昌邑王见实在是无以挽回这个局面，于是面向西拜首说：“我愚蠢，担任不了汉朝的大事。”站起身登上乘舆副车。霍光一直送他到昌邑王在长安的官邸，道歉地说：“王的行为自绝于天，臣等无能，不能以死报效王的恩德。臣宁愿对不起王，而不敢对不起国家。愿王自爱，臣永远不能同您再见面了。”霍光一边说，一边流下了眼泪。
不久，昌邑王就被遣送回昌邑，成为一个普通的人。仅仅只有二十七天，他就从位极天尊的皇帝宝座上跌落，成为一个湮没无闻的平民百姓。这前后的反差实在太大，也足见霍光影响之大，他的为政艺术着实令人折服。昌邑群臣因为犯了放弃辅导职守、引诱昌邑王干出坏事的罪，霍光为不留隐患把他们一行200多人全部杀掉。当兵士押着他们赴街市处刑时，他们大声呼喊：“该断不断，反受其乱！”
昌邑王被废后，霍光与车骑将军张安世商议迎立新君，并在掖庭中会集丞相以下官员讨论确立人选。当时武帝的子孙中，齐王早死，没有儿子；广陵王刘胥已经在以前决定不用了；燕王刘旦由于谋反而自杀，他的子孙不在考虑范围之内，近亲惟有戾太子的孙子已在民间，号皇曾孙，民间都称赞他好。这时，光禄大夫丙吉上书说，皇曾孙已有十八九岁了，而且通经术，为人节俭，慈仁爱人，请求霍光拥立他。杜延年也认为皇曾孙德行美好，力劝霍光、张安世拥立。霍光采纳了他们的意见。在这年九月，霍光会同公卿大臣上奏太后立皇曾孙为帝，皇太后下诏同意了。
霍光于是派宗王刘德到皇曾孙的家乡尚冠里去，让皇曾孙梳洗干净，然后赐给他皇宫里的衣服。太仆驾着轻便的转猎车来迎接曾孙，到宗正府举行斋戒，进未央宫谒见皇太后，被封为阳武侯。过了不久，霍光捧上皇帝的玺绶，皇曾孙在拜谒高祖庙后正式继位，是为宣帝。宣帝即位后不久，即下诏褒扬霍光“安宗庙”之功，命令把河北东武阳1.7万户加封给霍光，连同以前封的共为2万户。另外，前后赏赐计黄金7千斤，钱6千万，杂色绸缎3万匹，奴婢170人，马两十匹，最好的住宅一所。
