数次对外用兵均获得胜利，使武帝的威望提升了，在朝廷上也获得了更大的发言权。他遂放开手脚，开始实施自己的改革措施。汉武帝的改革，主要目的是削弱地方，收权中央，以巩固皇权，加强封建集权统治。要完成他的目的，第一步就是削弱相权，把统治中心从“外朝”改为“内朝”。
汉乐府
元狩三年（前120），汉武帝设置乐府，令司马相如等作诗赋，以宦官李延年为协律都尉，授2 000石印，掌制乐谱、训练乐工、采集民歌。乐府始创于秦，与掌管庙堂音乐的“太乐”并立。汉武帝时，为“定郊祀之礼”，大规模扩建乐府机构，对郊庙礼乐进行了重大改革，乐府的性质发生了变化。汉武帝建立乐府，目的是改革传统的郊庙音乐，用新声改编雅乐，以创作的歌诗取代传统的古辞。所以，乐府的任务就是采集各地的民歌来创设新声曲调；选用新创颂诗作歌辞；训练乐工、女乐进行新作的排练。乐府经武帝扩建发展，兴盛一时，之后便日渐衰微。汉宣帝本始四年（前70），出于财政和意识形态方面的原因，乐府编制被削减；绥和二年（前7年），汉哀帝终于下令撤销乐府。乐府作为掌管音乐的官署被撤销了，但由于它专事搜集、整理民歌俗曲，因此后人就用“乐府”代称入乐的民歌俗曲和歌辞；六朝时人们已将乐府唱的“歌诗”也称为“乐府”，与“古诗”相对并举，宋、元以后，“乐府”又被借作为词、曲的一种雅称；所以，作为文学体裁的“乐府”却流传了下来。
汉初，丞相均由功臣封侯担任，地位极尊，权力甚重。武帝亲自主持朝政后，有意改变丞相位尊权重的传统。他频繁任免丞相，在位54年间，先后用相12人。除4人在任上正常死亡外，其他的或被免职，或获罪自杀，或下狱处死。朝臣对丞相一职，避之唯恐不及；当被封授丞相时，更有痛哭流涕、力辞不任之人。武帝还特意从身份低微的士人中破格选拔人才，给侍中、常侍等加官，让他们出入宫禁，侍从左右，顾问应对，参议要政，这些近臣，相当于皇帝的宾客、幕僚。皇帝信任的高级将领，如大将军卫青、骠骑将军霍去病等，也往往参议机要。相对于以丞相、御史大夫和九卿为首的“外朝”行政机构而言，皇帝左右亲信人员构成的这个班子称为“内朝”。重要政事，先由“内朝”在宫廷内做出决定，然后让“外朝”官员去执行。“内朝”地位日益重要，凌驾于“外朝”之上，实际上是皇权的进一步加强。
这是对中央政府的改革。而对地方，武帝继续压制国王、列侯们的势力。元朔二年（前127）正月，他接受中大夫主父偃的建议，颁布《推恩令》，允许各诸侯王除嫡长子继承王位外，也可向朝廷申报，割出一块领地来封其余的儿子为王或侯。这样一来，原本较大的王国被逐渐分割为许多小王国，诸侯王国再不能“连州跨郡”，形成足以威胁中央政权的势力了。
元鼎五年（前112）九月，武帝借口列侯们献给朝廷以供祭祀之用的黄金成色太差，进行大规模搜捕、调查，总计削夺列侯爵位106人。文、景时代数次勒令回到封地，却总滞留长安，不肯成行，勾结官员，横行不法的列侯势力，至此几乎被扫荡一空。
元封五年（前106），武帝初置刺史。他将全国分成13个监察区，称为“部”，每部任命一名刺史（京城及附近地区的刺史称为司隶校尉），对地方上的官吏和豪强进行监督。
不但在行政制度上中央集权，就连学术思想层面，武帝也要求获得全国的统一，是谓“大一统”。董仲舒曾上书说：“我认为对于学习非儒家学说的人，全应堵塞他们当官的途径，这样则各种邪说可以平息，政令可以统一，法令可以清明，老百姓也知道要跟随谁了。”于是武帝改变高祖以来黄老立国的传统，利用董仲舒的学说，将君权神化，同时宣扬忠孝节义等儒家思想，甚至定儒学为官学，以达到全社会思想统一的目的。这就是著名的“罢黜百家，独尊儒术”。
