在改革选官制度的基础上，武帝对中央和地方的行政制度也进行了改革。汉武帝行政改革的目的是加强皇权，强化中央集权。
武帝强化皇权，是从削弱相权着手的。西汉初年，丞相的权力可以说是一人之下万人之上，权高位重。汉初的最高行政首长——丞相，不仅辅佐皇帝处理政务，而且是朝政方针的主要决策者。丞相不仅可以推荐官吏，诛杀犯罪的官员，还可以劝谏皇帝有所为，有所不为，甚至可以拒不执行皇帝的圣旨。丞相享有其他官员不可比拟的优越地位，他可以佩剑朝见皇上，入朝时不必下跪。丞相进见皇帝时，皇帝要站起来致意；皇帝在路上遇见丞相，要下车；丞相病了，皇帝要亲自至府问候。凡此种种都显出丞相地位之高，久而久之，就难免和神圣不可侵犯的君王产生了矛盾。汉初的几位丞相功劳很高，而且懂得自我贬抑，所以矛盾比较缓和，而到武帝时，则往往是一些唯唯诺诺的人才会被汉武帝任用为丞相。例如，从武帝元鼎五年（公元前112年）至武帝太初二年（公元前103年），担任丞相的是石庆。他更是以谨小慎微著称。石庆做太仆时，为武帝执鞭驾车。一次，武帝有意问他：“拉车的有几匹马？”石庆用马鞭指着马“一、二、三……”一匹匹地数过，然后举手告诉武帝说：“六匹马。”任用石庆这样谨慎的人做丞相，结果可想而知。
史书上说石庆“在位九年，没有谁能指出他有什么错误”。另外，汉武帝对待丞相十分苛刻，稍不如意，则当廷斥责，甚至动辄治罪处死。在武帝统治的五十年中，十三个曾担任丞相的人中有五人自杀或被杀，因过被免职的有三人，只有石庆等少数几人死于相位。因此，武帝时，大臣们都不愿意担任丞相这个职位。武帝任命公孙贺为丞相，公孙贺哭泣着不愿接受这一职位，最后在武帝严令之下方才接受。退朝后，公孙贺仍念道：“我的死期到了！”公孙贺最后果真死于监狱之中。
在削弱相权的同时，武帝从贤良文士、上书言事的人以及在任的一些低级官吏中，选拔了许多有才能的人。皇帝起居的地方他们可以随意出入，随时侍候左右，以便为皇帝出谋划策，制定国家大计。汉武帝还不断加强尚书的权力，更多地依靠尚书来实施各项重大任务。尚书本来是管理皇室财政的少府属下的一个卑微的官职，职责就是传递皇帝和丞相之间的公文。武帝用宦官为中书，掌管尚书。这样，侍中、常侍、给事中、中书等就逐渐形成一个宫内决策机构，史称“中朝”或“内朝”。“中朝”形成以后，以丞相为首的朝臣就成为只负责处理和执行一般政务的“外朝”了。汉武帝通过中朝，加强了中央集权，中朝则恃皇帝之重，凌驾外朝。
为了加强中央集权，汉武帝还不断地削弱和打击各个封国。景帝在平定“七国之乱”之后，尽管对王国造成了决定性的打击，使其降为郡一样的地方行政机构，但封国的存在仍是加强中央集权的障碍。所以主父偃向武帝建议：实行推恩，进一步削弱王国的势力。
主父偃，临菑（今山东临淄）人。他青年时学习纵横家说，成年后又学《易》、《春秋》和百家学说，都很有成就，但由于他的性格十分偏激、自傲，在文帝、景帝执政时期，始终没有得到任用。元光元年（公元前134年），主父偃自荐到卫青门下，但五六年过去了也没有得到重用。寄人篱下的生活过得相当艰难。元朔元年（公元前128年），武帝发动了讨伐匈奴的战争，为进一步招揽人才，武帝下令，只要是有本领的人，都可以直接向朝廷自我推荐。于是主父偃上书武帝，以其丰富的知识，敏锐的政治洞察力，对国家大政的深谋远虑，而得到汉武帝的赏识。在短短一年之内，主父偃得到四次提拔，从一个平民百姓一跃而为郎中、谒者、中大夫，成为朝廷的高级官僚。主父偃发迹后，生活奢侈，恩仇相报，绝不饶恕别人对他犯下的过失。他感激卫青曾收自己为宾客之恩，就进谏汉武帝立卫青姐卫子夫为皇后。对冷落过他的人，他千方百计地报复。燕王刘定国与他弟弟的妾通奸并生下一子，还无耻地夺走了弟弟的老婆做他的妾，并与女儿乱伦。主父偃便指使人揭发燕王隐私，迫使燕王自杀。因主父偃专好揭人隐私来对付仇敌，朝中的大臣们对他十分痛恨，终于有人忍无可忍，以其人之道还治其人之身，最终主父偃因贪赃受贿被武帝灭族。主父偃的建议对于加强中央集权，巩固封建统治还是有一定的作用。
主父偃在他的上书中对武帝说：“古时候诸侯封地不过百里，力量弱小，容易控制，但只要有了机会，还是要起来作乱，朝廷剥夺土地，更要激起变乱。现在诸侯已传了两三代，子孙众多，天子应加恩，让诸侯的子孙都成为诸侯，这样他们的力量就弱多了，诸侯子孙没有不乐意的。皇上名为推恩，实际上是为了分化诸侯的势力，使其力量越变越小，对中央政权无法再构成威胁，真可谓是一箭双雕。”汉武帝采纳了这一建议，于元朔二年（公元前127年），下令诸侯“推恩”。具体办法是：下令诸侯将自己的土地分割出来封给其子弟，同时对所分子弟，由朝廷定制封号，所分的侯国管理上也不属于原来的王国，而由中央的郡来管辖。这样，不仅使王国分崩离析，势力范围缩小，而且使中央直接管辖的地区得到扩大。除此之外，武帝还常借故废掉王国。按照汉朝的制度，皇帝每年八月都要在宗庙举行祭祖仪式，叫做“饮酎”。到时候，所有的诸侯都必须贡献黄金助祭，叫做“酎金”。依照规定，如果所献的黄金斤两不够或成色不足，王国要被削地，侯国则要被免除。为了约束各地诸侯王势力的扩张，武帝还颁布了“左官律”和“附益法”。左官是指在诸侯王属地作官的官吏。在汉代，以右为上，左官在级别和地位上低于中央和郡县的官吏，“附益法”限制士人与诸侯之交游。
