军队变革之后，赵匡胤还不能安枕无忧。宋初，相权过重，皇权受到威胁；而中央与地方的关系也存在很大问题，中央大权旁落，地方藩镇势力过大，尾大不掉，这都是唐末遗留下来的弊病。
在削弱相权方面，赵匡胤主要采取了三个步骤。首先是设置副相削弱宰相权势。在宰相之外又设立参知政事，相当于副宰相，而且不止一名，由此牵制了宰相的权力。其次是设枢密院分割宰相兵权。六部中的兵部原本是掌管军务的部门，由宰相统领。枢密院的设立等于是取代了兵部。枢密院的地位很高，甚至可以在朝堂上跟宰相分庭抗礼。最后是设三司（盐铁司、度支司和户部司），负责管理财政收入、赋税等，借此分割宰相的财权。三司使人称“计相”，地位仅次于宰相和枢密使。通过对相权的几番分割，最终形成了宰相主民政，枢密院主军事，三司主财政，各不相知、各不相干的制度。原本“一人之下，万人之上”的宰相权力被大幅度削弱。
另外，赵匡胤还想出了一个别出心裁的招数来防止官员培植个人势力，那就是“官职分离”、“名实不一”。在赵匡胤制定的制度下，“官”是品位，一种等级待遇，可按资历晋升；“职”是一种虚衔，没有实际权力，以“待文学之选”；要行使权力，必须有皇帝的“差遣”。即使一个官员不断升迁，获得高品级，但如果没有皇帝的派遣，他手中仍然没有半点权力。如此一来，官无定员，亦无专职，全凭皇帝差遣，从而加强了皇权。
在削弱藩镇势力、加强中央集权方面，赵匡胤采取的是循序渐进的办法。建国初期，他率先镇压了节度使李筠、李重进的叛乱，杀鸡吓猴，震慑其他节度使；同时对于其他效忠于他的节度使，则极为礼遇，以此安定人心。然而，这只是安抚人心的过渡策略。待到大局已定，江山坐稳后，他便开始对藩镇下手，再次以“杯酒释兵权”的手段劝退了几位资格老、名望高的节度使，然后改任文臣代替节度使掌管地方政务；限制地方选派官员的权力，令吏部选派官吏，分到各县担任县令，抑制地方势力，最终削藩。至此，节度使的权力受到了极大的削弱，到了后来，甚至是徒有虚名了。
在防止地方坐大方面，赵匡胤也有一套。他派遣文官取代武将担任地方长官，并在知州之外设立通判，规定所有政令必须由通判和知州共同签署才能生效，分散了地方长官的权力。设立转运使负责管理地方财政，地方财政收入除必要的经费支出外，全部收归中央。将厢军、乡兵等地方军队中的精锐将士抽调到京师禁军，致使地方军缺乏战斗力，难以独自与禁军抗衡。
赵匡胤以恩威并施的手段、极其圆滑巧妙的方式实现了赵普提出的“稍夺其权、制其钱粮、收其精兵”三大策略，巩固加强了中央集权，有效地防止了唐末以来地方军阀割据、悍夫武将篡位夺权的情况再度出现。
