“郎中令真会羞人啊！”后来，龚遂征得昌邑王的同意，专门挑选了十几个读书人去伺候他，向他讲解各种礼仪。但是还没过几天的工夫，他就把这些人轰走了。乐成、刘德、丙古等人正赶上是在半夜，来到昌邑（今山东巨野东南）。昌邑王刘贺当听说要立自己为皇帝时，急忙命人点起灯火，用来照着看诏书。第二天，他喜不自胜，都等不及收拾齐备行装，就慌里慌张地带着随从出发了。他的车马，一刻不停，刚刚半天的工夫，就跑了一百二十五里。侍从们在后面紧紧地追赶着，连马也累死了许多匹。王吉急忙告诫他说：“大王到长安去为皇上主持丧事，应该日夜悲哀哭泣，绝不能再出什么差错。天下人都知道大将军仁慈宽厚、足智多谋。如今大将军请大王去即位，大王就应该敬重大将军，一切都应该听从大将军的安排。希望大王处处留心，别忘了臣下的这番话。”可是，昌邑王刘贺，根本没放在心上，却把王吉的话当成耳旁风。他来到济阳（今河南兰考东北），听说当地从南方引来一种长鸣鸡，打鸣的声音又长又好听，就让侍从给他买了几只带着。到了弘农（今河南灵宝北），他还指使家奴抢了几个漂亮的乡下姑娘，藏在装衣服的车厢里，供自己在路上寻欢作乐。所以，当地的老百姓都咒骂他。吕邑王来到霸上的时候，霍光早已派人在那里等候着。他坐上只有皇帝才能乘坐的黄伞车，高兴得手舞足蹈。快到长安东郭门的时候，龚遂对他说：
“按照礼节的规矩，奔丧的人看见了国都，都必须哭泣着表示悲哀。”吕邑王却以嗓子疼为借口，说不能哭。
一直来到未央宫的东门外，他才装模作样地哭起来。
这些情况，霍光和大臣们自然都不知道。他们把昌邑王刘贺接到皇宫里，先让他参见上官皇后，然后请上官皇后下诏书，立他做太子。等汉昭帝出殡后，霍光和大臣们再请上官皇后出面，把皇帝的玺印交给皇太子刘贺，让他即位做皇帝。十几岁的上官皇后，算是新皇帝的母亲，被尊为皇太后。
昌邑王做了皇帝，却毫无做皇帝的样子。每天从早到晚，他不仅不同霍光和大臣们商议国家大事，反而把从昌邑带来的那些打鼓的、唱曲的、斗狗的、耍把戏的都弄到皇宫里来，叫他们陪着自己玩儿，随意赏给他们钱财。家人都穿上刺史的官服，封官晋爵，任其胡作非为。在居丧期间，宫里不允许吃肉，他却偷偷地派人到宫外去买鸡、买猪，拿回来宰了大吃大喝。他闲着没事儿，甚至还跑到汉昭帝的后宫里去奸污宫女。龚遂眼瞧着昌邑王越来越不像样子，就劝告他说：“如果陛下老是听信那些简直就像苍蝇屎一样小人的话，将来一定会遭殃的。陛下应该重用先帝的大臣和他们的子孙，把从昌邑带来那些小人都发送回去。我也是从昌邑来的，请先从我开始吧！”但是，昌邑王傲慢无比，因为他觉得自己做了皇帝，天老大我老二，无人能管他。你们竟然还敢教训我。因此，他根本就听不进龚遂的话。史书上有记载：昌邑王刘贺，纨绔子弟，不学无术。带着二百多人进京即位后，跟这帮人天天饮酒作乐，****无度，即位刚二十七天内，就干了一千一百二十七件荒唐事，日益骄横，荒淫无道，失帝王礼仪，我行我素，对大臣进谏不闻不问。汉室皇宫被他闹得乌烟瘴气。
霍光没有想到自己拥立了这么一个浪荡皇帝，犯了一个如此大的错误，真是又气愤又后悔。看到皇帝的这些荒唐行为，感觉对不起汉武帝。并且认为事态严重，如果不及早处置，可能会将汉家天下断送在刘贺的手里。
霍光不敢声张，悄悄地把他的心腹大司农田延年找来，问他应该怎么办。田延年说：“大将军认为这个人不能做皇帝，为什么不禀告皇太后把他废掉，再挑选一个贤明的人呢？”霍光说：“我也想这么着，但不知道古时候有没有这种先例？”田延年说：“怎么没有呢？殷朝时有个国相叫伊尹的（伊尹是商朝重臣，受先王嘱托辅佐几朝后王。太甲当政时荒淫无道，伊尹将太甲放逐出京，待到3年后太甲悔过，才接回复位，伊尹是一个敢于逾越常规但骨子里忠心耿耿的人物），曾经废黜了昏君太甲，使国家得到了安定，后世人都说他是忠臣。大将军要是这么做，也就成了汉朝的伊尹了。”霍光又去跟已经升任车骑将军的张安世商量，张安世也同意废黜昌邑王。于是，霍光又派田延年去报知丞相杨敞。但杨敞是一个胆小怕事的人，当他听说要废掉新立的皇帝，吓得出了一身冷汗，嘴里不置可否。他的夫人趁田延年出去更衣的时候，急忙对丈夫说：“这是国家大事，如今大将军都已做出了决定，还派大司农来通知您，您如果不痛痛快快地答应，跟大将军同心合力，还会有好结果吗？”等田延年回到屋里，杨敞夫人抢先对田延年说：
“一切遵从大将军的命令！”
在昌邑王即位的第二十七天，霍光把所有在朝大臣、列侯、博士等文武百官召集到未央宫，举行会议，跟他们一块商议废除昌邑王的事。霍光开门见山地问道：“昌邑王昏庸无道，恐怕要危害国家社稷，你们说应该怎么办呢？”群臣见霍光不称刘贺为皇帝而称昌邑王，感到意外，一个个都吓得半晌说不出话来，因为废立之事，关系重大，谁也不敢发言。田延年看这种情况，不由得站起身来，假意斥责霍光，手按着剑柄严词厉色说：“是因为大将军忠厚贤明，能够安定刘家的天下，能使汉朝长治久安，先帝才把天下托付给大将军。如果汉朝的天下被昌邑王断送掉，大将军死后难道还有脸面到地下去见先帝吗？今天大将军做出的决定，绝容不得半点迟疑，谁要是不响应，我马上砍了他的脑袋！”霍光说，被责怪是应该的，是他的错。群臣听了，全趴在地上磕头，齐声说：“我们一定遵从大将军的命令！”都同意由霍光主持，废除刘贺，另选贤明之主。于是，霍光联合杜延年、杨敞等人，十分慎重地写了一封奏章，列举了刘贺的种种劣迹，请大臣们在上面一一签名。上奏当时主持汉室的十几岁的上官太后，霍光和大臣们准备好了，就派人去请上官太后，向她说明情况。上官太后来到未央宫，马上吩咐武士们守住宫门，并且不准昌邑王带来的那一批官员入宫。过了一会儿，上官太后又下了一道诏令，请卫士带昌邑王上殿。昌邑王进来后，只见禁卫军的武士们，威风凛凛地排列在大殿下面的台阶上；上官皇太后穿着华贵的服装，端端正正地坐在大殿正中；在上官太后身边，还站着几百名手里也都拿着武器的侍从。文武百官鱼贯而入，分列在大殿两侧，一个个都绷着脸，严肃而紧张。昌邑王一见这阵势，被吓得两腿直发软，慌忙跪在上官太后面前，只能听从她的吩咐。这时候，霍光便让尚书令打开奏章宣读起来。上官太后马上批准了这封奏章，宣布废黜昌邑王。事后，霍光还亲自把昌邑王送到昌邑邸，对他说：“大王自绝于天下，臣下也是没有办法。臣下宁可对不起大王，也不能对不起国家。从今天起，臣下就不能再服侍大王了，请大王多多保重！”就这样，昌邑王刘贺仅仅做了二十七天皇帝，又被赶回封地昌邑。除了王吉和龚遂因时常规劝昌邑王而保留了性命外，刘贺从昌邑带去的那二百多个亲信，全被拉到大街上斩首示众。罪名是不能辅佐君王，将皇帝引向歧途。
而封建朝廷不可一日无君，现在昌邑王被废掉了，又怎么才能选择到一位贤明的君主呢？忠心辅政的霍光，为此日夜焦急不安。光禄大夫丙吉上书给霍光，推荐汉武帝与卫皇后的曾孙刘询，说这位皇曾孙有德有才，可接回宫中继承皇位。霍光和大臣们商量后，禀报皇太后，将汉武帝刘询从民间迎入宫中，先封为阳武侯，于同年7月继位，立十八岁的刘询为帝，这就是汉宣帝。
