为了加强中央与地方的关系，唐太宗改革官制，革除旧弊。
纵观中国古代历史，凡是改朝换代之初，统治者总要进行一次革新运动。其规模的大小、改革力度、对社会实际问题的认识程度以及对改革的调控能力等，直接决定着改革的成功与否。
隋文帝杨坚逼周静帝退位，建立隋朝后，他在政治、经济、军事、文化、法律等众多领域进行了一系列改革，使得中国社会在经历了东汉末年以来的动荡之后，开始从战乱走向了平稳，隋文帝统治的开皇时期也因此备受史家赞誉，称之为“开皇之治”。
不过，这种“开皇之治”如果能坚持下去的话，隋朝也就不会灭亡了。原因就在于隋文帝没有把这种改革继续作为一种长期治国方针坚持下去。最终使得改革成果不断遭到破坏。到了隋炀帝时期，隋朝政治、经济乃至文化等方面均陷入混乱状态，隋朝也在农民起义的打击下而灭亡了。
玄武门之变，李世民登上皇帝宝座之后，由于他亲眼目睹了隋朝整个的灭亡过程，同时深刻地感悟到隋朝之所以短暂而亡，就是因为君主昏庸，且政治体制中存在着种种的弊政。所以，太宗在即位之初，便决定制定出一套顺应社会发展实际需要的改革方针，以维护李唐王朝的江山社稷。
基于这种思想的考虑，唐太宗推行了一套自己的改革制度。
首先，唐太宗对魏晋以来形成的三省制度进行了适当的改革，对三省的职权及其相互制约关系做出了明确规定，创建了中国历史上新的宰相制度，从而进一步加强了君权，国家权力机关的种种弊端，使得宰相制度愈加完善。
唐太宗确定的三省中，尚书省是执行政令的最高行政机关，下属吏、户、礼、兵、刑、工六部。因唐太宗曾担任过尚书令，所以尚书左、右仆射便成为尚书省最高长官。在尚书省有唐太宗非常信任的房玄龄、杜如晦二人领导，史称“玄龄善谋，如晦能断故也。二人深相得，同心殉国，故唐世称贤栩，推房、杜焉。”
三省中的另外两省，即中书省，负责取旨制定政策，中书令为最高长官，下属中书舍人若干，负责进奉章表，草拟诏敕策命，即所谓“中书出诏令”；门下省主管封驳审议，最高长官是侍中，下属给事中若干，负责对中书省所拟定的诏敕提出不同意见，涂窜奏还。即所谓“门下掌封驳”。
三省之中，中书省与门下省相互制约，关系密切，唐太宗称之为“机要之司”。正如他所说：“国家本置中书、门下，以相检察，中书诏敕或有差失，则门下当行驳正。人心所见，互有不同，苟论难往来，务求至当，舍己从人，亦复何伤？比来或护己之短，遂成怨隙，或苟避私怨，知非不正，顺一人之颜情，为兆民之深患，此乃亡国之政也。”
三省长官均为宰相。由于尚书省有房玄龄、杜如晦两位得力大臣，而负责制定政策和审议封议重任的中书、门下两省没有十分理想的人选，唐太宗便一改往日门朝做法。他主张集思广益，通过宰相人数的增加，使得宰相个人权力分散。当然，最后的裁决权还是由皇帝说了算的。
不过，由于宰相议事时皆“坚守直道”，各抒己见，“灭私徇公”，这也就保证了决策的全面性和正确性，充分发挥三省的讨论、封驳、执行功能，充分发挥集体的智慧，从而也就减少了决策的失误。可以说唐太宗在中央官制改革方面，不仅保证贞观时期“鲜有败事”，而且还巧妙地解决了君权与相权的争端问题。
在对三省六部进行改革的同时，唐太宗从贞观元年开始对三省六部官员也进行了相应的调整。萧瑀、陈叔达等一批武德老臣被罢免相职，长孙无忌、房玄龄、杜如晦、李靖、王珪、魏征、温彦博、戴胄、侯君集等一批才干突出的大臣被提升到新的宰相位置。随着宰相集团建立，太宗已经在自己集权统治下轻易地做到游刃有余。需要特别指出的是，正是由于宰相集团的鼎盛，才使得太宗的统治时期中出现人才济济局而，这在中国的历史上是少有的。
一次在宴会上，唐太宗面对众宰相，对坐在帝边的王珪说：“卿识鉴精通，复善谈论。玄龄以下，卿宜悉加品藻，且自谓与数子如何？”
王珪沉思片刻，回答说：“孜孜奉国，知无不为，臣不如玄龄。出将入相，臣不如李靖。敷奏详明，出纳惟允，臣不如温彦博。处繁治剧，众务毕举，臣不如戴胄。耻君不及尧舜，以谏诤为己任，臣不如魏征。至于激浊扬清，嫉恶好善，臣于数子亦有微长。”唐太宗听完了王珪的话后，顿时拍手叫绝，“深以为然，众亦服其确论”。他觉得王珪对众人及他本人的评价精当至极，恰到好处，感叹之余，进一步增加了其推行改革的信心。
唐太宗对宰相班子进行大刀阔斧的改革之后，又对繁冗的官僚机构进行了精简，这就大大提高了各级官员的办事效率。
唐太宗即位之初，就一再强调要“量才授职，务省官员”，认为“若得其善者，虽少亦足矣；其不善者，纵多亦奚为？”因此他要求房玄龄重新核实、确定中央各部门的官员定额，最后将中央的文武官员总数定为640人，太宗非常满意地说：“吾以此待天下贤才足矣。”
由于唐初人们多重视京官而轻视地方宫、就连士大夫也以任京官为荣。针对这种不良现象，御史马周上疏称：“治天下者以人为本，欲令百姓安乐，惟在刺史、县令。县令既众，不可皆贤，若每州得良刺史，则合境苏息……朝廷必不可独重内臣，外刺史、县令，遂轻其选。”
马周的上疏引起了太宗高度重视，他决定由自己亲自选任刺史，县令则由五品以上京官举荐。这样一来便在一定程度上改变了地方刺史、县令人非其才的局面，随着地方吏治的调整，地方百姓受苦受难的日子也有所好转。
同时，唐太宗还注意到全国各地大量郡县的设置严重影响了自己的统治，因此他在这一方面也做出了相应的改革。
早在隋炀帝时，统治者就为了改变南北朝以来“十羊九牧”吏多民少的不正常现象，将地方行政区划由州、郡、县三级制改为州、县二级制。但是由于隋朝末期，天下丧乱，“豪杰并起，拥众据地，自相雄长”，唐朝建立之初，为了安抚这些归降的各地豪杰，纷纷设置州县来安置他们，“由是州县之数，倍于开皇、大业之间”。但此时这种举动已经完全没有必要。因此，唐太宗针对这种情况，采取了大加并省的措施，下令省并州县，地方只设州、县二级，取消郡一级。至贞观十四年（公元640年），全国共有州府358个，县1551个，大大少于武德时期的郡县设置。太宗通过并县制度的推行，使得每个州县的辖区增加，人口增多，而官吏人数减少。这不仅减少了政府行政上的开支，提高了地方政府的工作效率，同时也减轻了百姓的负担。可谓一举两得，一箭双雕。
为了进一步加强中央政府对地方的控制，唐太宗又根据山川形势将全国划分为十道，即关内、河南、河东、河北、山南、陇右、淮南、江南、剑南、岭南。十道设置后，朝廷不时派出黜陟大使、风俗使、观察使到各地“观风俗得失”，“察政刑之苛弊”，对地方官的政绩进行考核。
总之，唐太宗对中央政府和地方行政机构的改革，不仅在当时产生了良好的效应，而且对于后世也具有积极的借鉴意义。这些改革举措，其实都是唐太宗根据社会发展的实际需要而推出的；这些改革的成功，不仅向我们显示了唐太宗李世民作为一代明君的贤能智慧，还向我们揭示了一条亘古不变的真理：只有改革才能求发展！
唐太宗在建国之初，兢兢业业，谨慎治国，同时又敢于创新，提倡改革，从而把唐朝的强盛又推向了一个新的高度。
