项羽虽灭，但此时的刘邦也只是名义上统一了天下而已。包括韩信、彭越等新封诸侯，以及残存的旧诸侯在内，关东大片土地依然独立于中央管辖之外，汉朝实际控制地域还不足全国的1/3.刘邦所要面对的，是一个更复杂、更艰难的削平割据的过程，这个过程，一直延续到他生命结束。
首先，刘邦先要对付自称用兵“多多益善”的天才军事家韩信。韩信曾率军出陈仓、定三秦、破代、灭赵、降燕、伐齐，直至垓下全歼楚军，无一败绩，天下莫敢与之相争。正因如此，刘邦底定天下后，首先便将矛头对准了韩信。称帝之初，刘邦就将韩信由齐王改封为楚王，以剥离其牢固的山东根据地。高祖六年（前201），刘邦伪游云梦，大会诸侯，趁机捕拿韩信，没收封地，降其为淮阴侯。高祖十一年（前196），又捕杀了梁王彭越，并将其尸体剁成肉酱，分赐诸侯。
韩信、彭越虽然拥兵自大，深藏反心，却还没来得及真正造反。刘邦所面对的第一拨造反势力来自于北方。高祖五年（前202）七月，燕王臧荼造反。九月汉军平灭臧荼，封卢绾为燕王。不久以后，陈豨、韩王信勾结匈奴冒顿（音莫毒）单于，南下进攻太原。高祖七年（前200），刘邦亲率大军攻破韩王信，并杀向代谷（今陕西繁峙西北），希望一举击溃匈奴主力。
冒顿单于把壮士和肥牛马都藏匿起来，因此刘邦的侦察人员看到的全是老弱残兵，以及瘦弱的牲畜，于是回报说“匈奴可击”。刘邦于是率32万大军北伐。他所在的先头部队杀到平城（今山西大同西北）白登，被冒顿单于的40万大军团团围住。刘邦被困整整7日，多亏陈平献计，派人贿赂匈奴阏氏（相当于皇后），才得以脱身。刘邦逃出后，遂采纳娄敬的建议，与匈奴“和亲”。刘邦本来是打算真把大女儿鲁元公主送过去的，可是皇后吕雉死也不肯答应。刘邦没办法，只好挑选了一名宫女，假冒长公主，嫁给冒顿。高祖十二年（前195），燕王卢绾也起而造反，被樊哙打败，逃往匈奴。
第二拨造反势力来自于南方。淮南王英布，因为壮年时曾受秦朝的黥刑（在脸上刺字），也被称为黥布。他被项羽封为九江王，后归附刘邦，在南方攻击项羽侧翼，建功颇伟。彭越被杀后，英布害怕同样的命运迟早会落到自己头上，于是孤注一掷，举起反旗。高祖十一年（前196）十月，已届暮年的刘邦亲自率兵南下，讨伐英布。两军对峙，刘邦问英布为何造反，英布回答说：“欲为帝尔。”刘邦大怒，挥军直进，终于平定叛乱，但他也在战斗中被流矢射中。
吕后诛杀韩信
汉高祖六年（前201），刘邦将韩信贬为淮阴侯，但仍令其留居长安。韩信意识到刘邦“畏恶其能”，从此常称病不上朝。一次，刘邦和韩信讨论诸将的才能高下。刘邦问：“你看我能将多少兵？”韩信答：“陛下不过能将十万。”“刘邦又问：“那你呢？”韩信说：“臣多多而益善耳。”这就进一步触动了刘邦的痛处。汉高祖十年（前197）九月，陈叛乱，自立为赵王，劫掠赵、代属地。刘邦亲自率兵前去征讨陈。当时韩信的舍人得罪了韩信，韩信想杀掉他。舍人的弟弟于是向吕后告变，说韩信与叛将陈合谋造反。吕后采用了丞相萧何的计策，诈称刘邦已诛陈，令韩信入宫祝贺。韩信一入宫，就被抓了起来，并斩杀于长乐宫钟室。随后，其三族都被诛杀。
归师途中，刘邦回到老家沛县，召见故人父老子弟，痛饮了十多天美酒。他想起百战功成，英雄暮年，天下虽已基本平定，可是如韩信、英布等一流将才也被自己杀得差不多了。北方匈奴是最大的祸患，将来谁可抵御呢？左思右想，慷慨生哀，这才唱出了著名的《大风歌》。
刘邦回到都城后就一病不起。吕雉延请良医前来给他诊脉，医生说“病可治”，刘邦破口大骂：“吾以布衣提三尺剑取天下，此非天命乎？命乃在天，虽扁鹊何益！”他于是喝退良医，不使治病，遂于高祖十二年（前195）四月，病逝于长乐宫中。
