新中国建立后，刘伯承任中国人民解放军军事学院的首任院长。他亲自讲课，把抓教员队伍建设、周密的教学计划和教材建设，作为办好军校的三个条件，为人民军队培养了大批高级人才。
1950年10月27日，刘伯承乘飞机离开山城重庆来到北京，主持筹建中国人民解放军陆军大学。
刘伯承和周恩来共同研究了陆大临时党委组成、校址选定、校名变更、干部配备、教学方针、教学内容、教员等问题。根据这三次谈话精神，刘伯承和筹委会其他同志，研究起草了《关于创建军事学院的意见书》，主要内容是关于组织机构和训练方针。全院设训练部、政治部、院务部和干部管理处，并设立战史等15个教学组织等。训练方针为，在人民解放军现有素质及军事思想的基础上，熟习与指挥现代各技术兵种，并且组织其协同动作。同时熟习参谋勤务与通信联络，以准备与美帝为首的侵略集团作战，党中央和毛泽东批准了这份意见报告。按刘伯承建议，陆大改名为中国人民解放军军事学院，校址定在南京原国民党中央军事政治学校和国防部院内。
11月30日，中央军委正式任命刘伯承为中国人民解放军军事学院院长。在他的领导下，学院筹建工作紧张进行。12月15日，他颁布了军事学院训练工作大纲。规定学院的目的，“在于训练和培养高级和上级指挥员及参谋干部”。随后，他又颁布了政治工作大纲。这两个大纲，体现了中央军委关于创办军事学院的方针，明确了军事学院的训练工作和政治工作的基本方向和任务。同时，他已着手进行各项具体的教学准备。12月31日，他向全校教职人员作《学习任务与学习任务的保障》的动员报告，指出军事学院“是在国家被侵略的斗争状态之下筹建起来的，这是有着重大意义的”。
1951年1月15日，军事学院举行盛大的成立典礼，毛泽东为学院成立题词：“努力学习，保卫国防。”中央军委派陈毅等3人为代表出席成立典礼。
1951年1月，刘伯承在军事学院开学典礼上。建院伊始，刘伯承就以中央军委“为建设正规化现代化的国防军而奋斗”的号召为目标，开展了建立正规制度、学习新兵种技术这两项工作，使各项工作逐步走上正轨。开始，有些学员自由散漫、无组织无纪律，机关有的部门人浮于事，办事效率低。刘伯承批评道：有的人自由主义，违犯纪律，国防部、毛主席都知道，真是“搞臭了南北两京”，光着腚推磨盘——转着圈丢人。随后，他借学习人民解放军《内务条令》、《队列条令》、《纪律条令》的时机，进行了一次作风纪律的检查与整顿。裁并编制，合并重叠机构，精简各级行政管理人员，明确各级干部的工作范围和工作职责。他还要求机关工作人员努力学习与本职工作有关的各种知识，成为精通业务的专家。在教学方面，刘伯承强调“以教学为中心”，科学合理地安排整个训练工作，使教学、学习、保障工作三者成为行动的统一。他还领导制定了《训练组织及其工作暂行规定》，规定教学、训练中的注意事项和纪律，规定了学员的课业制度和考试制度。
学习新兵种技术，是刘伯承十分重视的问题，他创办了军事学院院刊《军学生活》。他带领学员到陆、海、空三军参观，他发动学员们编写战例汇集。他决定连续派出赴朝见学团，到朝鲜前线实地考察、参观教学，吸取这场现代化战争的丰富养料。
刘伯承认为，办校还要有一支精通业务的高水平教员队伍，将此连同周密的计划、完善的教材称作学院教育训练的三要素。为培养和造就军事学院的教员队伍，刘伯承果断地采取了三项措施：一是挑选训练干部和军队院校毕业学员中有一定文化水平的；二是聘用地方大专院校知识分子和青年学生来院边学习边工作，进行培养；三是留用起义、投诚和解放过来的政治表现好，有较高文化水平和军事学术素质的原国民党军官。与此同时，刘伯承还在生活上关怀、尊重教员。他报告军委，建议院校教员和干部应同学员同样粮食定量，他亲自打电话嘱咐，给授课教员多发电影票；他见一位从地方院校招聘来的教员课讲得好，还自编一套通俗的军事科普教材，于是每次全院开大会，他就指示院办把这个教员请到主席台上来。他还提出着名的“尊师重道，教学相长”的口号，批评了那种轻视教员工作的情绪。为了培养军事科学翻译人才，刘伯承决定从地方大学外语系选调十几名青年知识分子来学院边学习边工作。在思想上开导他们，帮助他们加强中文修养，给他们接上军事知识“这一条腿”，后来，他还把翻译工作比作全院工作的“水龙头”，以此来强调这项工作的重要性。
1952年7月，高级速成系第一期347名学员经毕业考试合格后顺利结业，毛泽东为此发来了训词，这标志着军事学院初创阶段的结束。
刘伯承教育教员和干部们忠诚党的教育事业，他自己正是一位“三更灯火五更鸡”，辛勤育人的“园丁”。他每天很少休息，几乎没有什么娱乐活动，把全部精力都放在钻研马克思主义军事科学上。他学而不厌，对《孙子兵法》等中国古代兵书着作、小说十分喜爱，勤读不辍。他还注意研究拿破仑、克劳塞维茨等外国军事家、军事理论家的着作，特别注意研究第二次世界大战的战例和经验；对于教学，他更是重视。
1953年12月7日，全国军事系统党的高级干部会议在北京举行，刘伯承出席会议并作发言，提出正规学制，严格入学审查和毕业考试等。1954年1月15日，刘伯承又在全军高干会议上作题为《我在学习党的总路线中对国防现代化的一些见解》，对于国防建设和培养我军高级将领提出了建设性的意见，得到了与会同志的认同。
作为军事学院院长、国家考试委员会副主席，刘伯承十分重视对毕业学员进行严格考核验收。1954年3月至4月，他和朱德、甘泗淇主持基本系、情报系第二期军事理论国家考试。整个考试程序正规、严格，考场气氛紧张、严肃，即当时人们所称的“三堂会审”。
毛泽东曾经告诉刘伯承，国防工业的发展比培养人才快，我们应该平行作战，一边工业化，一边培养干部，特别是高级干部的训练很重要。1954年5月，刘伯承和张宗逊一起，领导全军高级干部进行“集团军防御战役”集训。刘伯承吃住在集训班，白天和学员们一起听课，晚上听取各小组汇报，检查学习进度和学习情况。他还讲授了“集团军防御战役原则”课程，并组织指导集团作战和室内半示范演习。这次为期一个月的集训结束后，各大军区、各军兵种仿照这次集训内容和方法，普遍进行战役法集训，从而掀起了全军高级干部学习军事科学的热潮。根据刘伯承等建议，经中央军委批准，1955年，刘伯承等领导军事学院开办了由我军高级将领参加的战役系，并开始筹建中国人民解放军高等军事学院。为了改变军事学院教员队伍构成，他从第二期基本系、情报系毕业的400多名学员中，留下200名当教员，又从其他军事院校的毕业生中抽调了100多人当教员。既适应当时的教学需要，也为后来分校建院准备了师资力量。
1955年9月，毛泽东发布了授予刘伯承中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章的命令，以表彰他在中国革命各个时期为党为国为民立下的赫赫功勋。
1958年后开展所谓的反教条主义斗争，刘伯承受到牵连。不久他便离开了军事教育和训练工作领导岗位，专任战略小组组长，进行调查研究和提出一些战略性意见。
正当刘伯承为办好军事学院废寝忘食、殚精竭虑，学院工作稳步前进之时，1958年开展的一场所谓反教条主义斗争，使他受到不公正的对待，并使军事学院乃至全军的军事训练遭受严重挫折。
刘伯承曾在军事学院给大家讲什么是教条主义：“同一孙子兵法，马谡的用法就是教条主义，孔明就不是；庞涓、孙膑同师鬼谷子，可是，一个是教条主义，一个不是教条主义。王明和毛主席读的同是马克思列宁主义的经典着作，一个是教条主义，一个不是。”
然而现在，他却被批判为教条主义。
这年7月，军事学院开始分校建院工作，随后，中央军委任命刘伯承为高等军事学院院长兼政委。8月6日，他致信毛泽东、彭德怀，呈请免任新职。后经中央军委批准，9月13日，军事学院召开大会，欢送刘伯承离任。
此前，迫于1958年春夏的政治气氛和林彪别有用心的推波助澜，年近古稀、病残交加的刘伯承，不得不抱重病出席同年5月27日至7月22日召开的军委扩大会议，并于7月10日在大会上作检讨。尽管有的干部出于受“左”倾错误思潮影响而非议刘伯承的工作，但大多数同志对这位元帅教育家由衷地爱戴。当他刚一出现在主席台时，全场千余人掌声骤起，持续半分钟，许多人热泪盈眶。他们的掌声中，饱含着对刘伯承的尊敬和关心。1959年1月19日，刘伯承全家移居北京。此后，他及一些高级将领，一直蒙受不白之屈。
1961年，刘伯承到部队视察。1959年9月，中共中央军委成立了战略小组，任命刘伯承为组长。从此，离开了军事学院，实际上也是离开整个军事教育与训练工作领导岗位的刘伯承，又以全部精力，投入到国防建设特别是战备工作中去。他为国防建设精心擘画和周密思考所提出的建议，总是受到军委和各总部的重视。
1962年5月，根据中国和印度边境冲突加剧，而印度政府又变本加厉地用武力侵入中国境内制造流血事件的情况，刘伯承预见到，这种冲突势必发展成为一场相当规模的边境战争，并及时提出了积极的建议。
当10月20日发起的自卫反击战第一阶段告捷后，刘伯承又抓紧时间阅读有关资料，对照地图研究战事的发展。在了解人民解放军参战部队休整和印度军队动向等情况后，他通过总参谋部转告前线部队：“通向前面的道路要急速抢修”，立即组织专人调查所控制地区内的地形、道路和居民点情况。在反击作战第二阶段之前，刘伯承迅速抓住印军在西山口地区部署上前重后轻，外线较强、侧后较强的配置特点，指明这是“铜头、锡尾、背紧、腹松”，是“从西北向东南摆成一字长蛇阵对我组织防御。在西山口方向，敌人左翼就是它的肚子，从这里开刀，要比砍背容易些”。因此，他要求部队采取迂回包围战法来对待。11月16日，中国边防部队进行还击，在东段西山口方向，按照刘伯承“打头、击背、剖腹、切尾”的指示，采取对敌钳制正面，夹击两翼，迂回腹背的战术，一举形成合击印军的态势，随后又发起总攻，先后攻占西山口等地。随后，各路部队顺势进击，逼近中印边界线，胜利完成了自己还击任务。
1966年5月，“文化大革命”的灾难降临中国大地。由于战略小组名存实亡，刘伯承已经不再有实际的工作。但他仍关切着国防建设、部队战备训练，关心着党和国家的前途。看见陈毅，他一口气提出许多问题：城里怎么样，听说国防部大楼也被冲了，这还了得!贺胡子怎么样，少奇、小平同志也还好吗？为了避免军内发生夺权，引起军队混乱，刘伯承和徐向前、叶剑英等聚在一起谈到深夜。认为在非常时期要采用非常手段，必须搞出几条命令，明确规定军队不准夺权，不准随意揪斗各级领导干部，不准成立所谓的战斗组织等。最后，他们将共同商定的八条命令送毛泽东审批，经毛泽东亲自签发后，“中央军委八条命令”发往全军。
1969年3月，中苏边境发生了珍宝岛自卫反击战和苏联入侵新疆铁列克提地区事件，刘伯承对此极为关注，他连日来吃不好饭，睡不好觉，多次亲自打电话询问情况，对部队行动提出建议。1970年5月，当他得知南京军事学院、北京高等军事学院等学院合并成立中国人民解放军军政大学时，他把自己珍藏的2000多册军事理论教材与书籍，送给军政大学图书馆。后来，他对军政大学校长萧克说：“我年龄大了，眼睛也不行了，这些教材和书籍留给你们吧，希望你们把学校办好!”
1972年2月，林彪一伙已经垮台，军委日常工作已由叶剑英主持。刘伯承给叶剑英写了封长信，表示：为了给正在召开的军委扩大会议“研究问题提供点资料素材，我请作战部的同志，把我1960年以来说过的一些话(限于精力和时间未加校对)，把那些‘古董货’翻出来，作为一孔之见，即送你们一份，供研究参考”。这些材料，概括了刘伯承对军事训练、院校建设以及对未来反侵略战争的战略方针和作战指导等一系列问题的看法和建议，这是他向党和人民所做的最后一次奉献。
1972年以后，刘伯承的身体每况愈下，不得不住院进行长期治疗。因个别医生诊断失误，药不对症，病情更加恶化。后来虽停药以养为主控制了病情，但1973年以后就丧失了思维能力，1975年又丧失了生活自理能力。1986年10月7日刘伯承与世长辞。
刘伯承病逝消息传出，全党、全军、全国人民深感悲痛。邓小平带领全家最先来到刘伯承遗体旁，他向刘伯承遗体深深地三鞠躬，久久地凝视着静卧在鲜花翠柏中的老战友，泪水渐渐模糊了他的眼睛，1986年10月16日，刘伯承追悼会在北京人民大会堂隆重举行，中共中央的悼词高度评价了刘伯承的一生。根据刘伯承夫人的要求，刘伯承的骨灰撒向祖国大地。
垂首山川思梁栋，
举目九天觅帅星。
渊渊韬略成国粹，
昭昭青史记殊荣。
徐向前这几句诗概括了一代名帅刘伯承的卓着功勋，道出了全党全军全国人民对他的衷心爱戴和尊敬。
(宋毅军)
