新中国建立后，曾任中国人民解放军总参谋长。粟裕居高位而不傲，常讲“我个人只是沧海一粟”！1955年，被授予大将军衔。但1958年的批教条主义还是波及到了他。
解放战争胜利以后，中国共产党在全国范围内取得了执政党地位。1949年7月，当时担任第三野战军和华东军区副司令员的粟裕奉命兼任南京市军事管制委员会主任、南京市市长。为了便于工作，组织决定，为担任地方党政职务的人每人做一套便衣。
1949年9月粟裕在南京车站向欢送人群告别。后勤部的工作人员按照粟裕的意见，给他做了一套蓝灰色的卡其布中山装，他就穿着这套衣服同南京人民见面了。以后，无论是到市政府办公，还是到工厂、学校、商店调查，他都脱下军装，换上这套便服。后来，粟裕调到中央军委任副总参谋长，他又把这套衣服从南京穿到北京，直到变成了灰白色，还舍不得丢掉。
当时，还发给他一双军用短靴。他很喜爱，白天，他穿着这双靴子办公，晚上自己动手把它擦拭干净。
1951年11月，粟裕被任命为中央人民政府人民革命军事委员会副总参谋长，全家搬到北京。
粟裕对自己的生活不讲究，但却十分关心群众的生活。他总是利用一切机会接近人民群众，倾听人民群众的心声。
20世纪50年代，他先后担任人民解放军副总参谋长、总参谋长，配备有专车和警卫人员。可是，他总是喜欢一个人徒步到街上走走，或者乘坐公共汽车，了解社会，了解民情，观察地形。
粟裕就是这样一贯谦虚谨慎，严于律己，以沧海之一粟自许，以普通一兵姿态出现。
粟裕任总参谋长后，与陈赓、黄克诚等副总长团结一致，认真工作。当时，朝鲜战争尚在进行，以美军为主的“联合国军”被中国人民志愿军打得连连败退。有备才能无患，为了防止敌人狗急跳墙，对我国进行突然袭击，粟裕向中央军委提出，除志愿军在朝鲜作战外，我军要制定在各种可能情况下的作战预案，准备打退敌人从陆、海、空各个方面的突然袭击；部队设防要贯彻积极防御的战略方针，统一规划，有重点和纵深配备。
为了全面了解我国的边防情况，掌握全局，粟裕像战争年代一样，亲率总参谋部的工作人员，从东北地区的图们江、鸭绿江开始，沿着辽东半岛、渤海湾、山东半岛、长江口、舟山群岛、浙闽沿海、珠江口，直到海南岛，翻山越岭，上舰登岛，勘察地形，调查研究，对我国的国防建设提出了许多具有战略意义的创见和措施。
粟裕极为重视军队的现代化建设，多次提出：“过去是‘枪战’为主，今后是‘炮战’为主，包括使用装在坦克、飞机、舰艇上的火炮和导弹。坦克是装有大口径火炮的活动堡垒，在数量不多的情况下，要把分散配属在部分步兵师的坦克团集中起来，形成拳头。”他还很重视装甲兵建设，曾亲自陪同朱德视察坦克部队，参观坦克演习。
1955年9月粟裕接受周恩来授予的大将军衔状。对于空军和海军的发展，粟裕也倾注了心血，他主张在未来战争中，要掌握制空权和制海权。“平时多储备飞行员，一到战时，为了夺取局部制空权，在关键时刻增加飞机出动架次，歇人不歇飞机，一架飞机就可以当两架、三架用。”
对于军队编制、民兵工作、院校工作、干部培训、情报工作、外军研究、军队装备等，粟裕也都提出过许多真知灼见。
1955年9月27日，粟裕被授予中国人民解放军大将军衔。同时被授予一级八一勋章、一级独立自由勋章和一级解放勋章，以表彰其在土地革命战争时期、抗日战争时期和解放战争时期的卓越贡献。
同年11月，粟裕协助主管全军军事训练的叶剑英元帅，在辽东半岛组织了陆海空三军实兵和模拟原子弹爆炸的军事大演习。参加演习的有陆军1个兵团、4个军、1个机械化师的机关和部分部队，有海军和空军部分建制单位，全军高级干部参观学习。这次演习极为成功，收到了很好的效果。
1958年，正当粟裕全心全意为军队建设辛勤工作的时候，突然掀起的一场“反教条主义运动”，竟然波及到了他的身上。
1958年，中央军委召开扩大会议，议题是检查军委和各总部对工作的领导，促进军队建设。但是，自抗美援朝以来，长期“养病”，不干工作的林彪，却在会议一开始，就无中生有，别有用心地提出“反教条主义”，不点名地攻击军事学院和训练总监部，攻击主持过这两个单位工作的刘伯承元帅和叶剑英元帅及一大批军队高级干部。斗争的矛头指向了一大批在军队建设上坚持“正规化”、“现代化”正确方向，并为此做出了巨大贡献的高级将帅刘伯承、叶剑英、粟裕、萧克、宋时轮、陈伯钧、李达等。
1958年，粟裕调任军事科学院副院长，协助叶剑英工作。“文革”初期，他被任命为中央军委常委。“二月抗争”后，粟裕也遭到迫害。在周恩来的关怀下，开始主管地方工作。
1958年10月12日，粟裕被调到军事科学院任副院长，从此离开了军事指挥的第一线。1959年9月16日，粟裕被任命为国防部副部长。在军事科学院，粟裕毫不计较个人的得失，顾全大局，全力以赴，协助叶剑英，为开拓军事科学的研究，做了大量工作。
1967年4月，粟裕被中共中央任命为中央军委常委。随着“文化大革命”的发展，大批党政军领导干部被打成所谓的“三反分子”、“走资派”和“修正主义分子”。国务院的许多副总理、部长、副部长，也都因遭到批斗而难以进行正常的工作。国务院的工作几乎全部都压到了周恩来一人的身上，亟需有人能分担一下，周恩来想到了粟裕。
1967年初，中央正式任命粟裕为国防工业军管小组组长，主持国防工业的领导工作。随后，粟裕又被中央任命为国务院业务组成员，参加国务院的领导工作。从此，粟裕在周恩来的直接领导下工作，成为周恩来在“文化大革命”初期极为混乱的局面下支撑国务院工作正常运转的一名得力助手。
1972年毛泽东和粟裕在陈毅追悼会上。1967年，林彪、江青一伙掀起了反“二月逆流”的恶浪。国防工办的造反派组织，早就对粟裕的“军事管制”如芒在背，十分不满，想乘机把这股恶浪往粟裕身上引，公开喊出了“打倒粟裕”的口号，妄图把粟裕打成“二月逆流”成员，置于死地。
周恩来得知情况后，极为愤怒。慑于周恩来的凛然正气，造反派组织只好悄悄收起了蓄谋已久的打倒粟裕的计划。
即使在自己处境也日益困难的情况下，粟裕仍然奋不顾身，仗义执言，为老战友说话。
1969年4月，在中共九大上，粟裕再次当选为中央委员。但粟裕的处境并不怎么好，林彪及其党羽正挑动一小撮人，搞打倒粟裕的活动。而国防工业系统，又是林彪妄图夺取的重点。在不断恶化的形势下，军管小组很快宣告解散。
由于周恩来的关照，粟裕在周恩来的直接领导下，分管交通、邮电和港口建设。粟裕在“文化大革命”造成的严重混乱的情况下，千方百计保障铁路运输和交通的畅通，使邮电通讯能够正常运行(后来，对邮电系统中的电信部分，实行了自上而下的全部军管)。为此，他做了大量工作。
“九一三”事件后，林彪的阴谋彻底暴露。1972年，陈毅逝世后，毛泽东亲自出席了追悼会。当见到粟裕等井冈山时期的老同志时，毛泽东深情地说：“井冈山时期的老战友不多了。”
邓小平主持党政军工作后，粟裕协助邓小平进行工作，对粉碎“四人帮”作出了贡献。1984年2月5日粟裕走完了自己光辉的一生。
1975年1月，根据毛泽东的指示和中央有关决定，邓小平出任中共中央副主席、国务院第一副总理、中央军委副主席兼中国人民解放军总参谋长。在周恩来病重住院以后，邓小平主持中央党政军日常工作，开始进行全面整顿。1月25日，邓小平在总参谋部团以上干部会上，旗帜鲜明地做了《军队要整顿》的重要讲话，全面整顿就此拉开帷幕。
2月5日，中共中央发出《通知》，决定取消中央军委办公会议，成立中央军委常务委员会，叶剑英、邓小平、刘伯承、陈锡联、汪东兴、苏振华、徐向前、聂荣臻、粟裕等11人为中央军委常委。
1975年4月，受邓小平的委托，粟裕前往驻华东地区部队和部分省军区进行调查研究。当时，张春桥兼任南京军区第一政委，王洪文兼任上海警备区政委。他们在一些部队拉帮结派，图谋不轨。粟裕的调研，既含有实地观察了解“四人帮”插手部队和地方动向的目的，也包含着相机对一些老同志打打招呼，以免在大是大非问题上“上当受骗”。
回到北京以后，粟裕就调研情况向中央军委写了书面报告。此外，对涉及“四人帮”的重大问题，又搞了一个提纲，向叶剑英、邓小平作了口头汇报。其主要内容是：
“四人帮”插手军队，搞“第二武装”的情况值得警惕；团以下部队是稳定的，“四人帮”的手插不进去。但部队中也有少数投机分子跟“四人帮”很紧；还有一些糊涂人，以为“四人帮”代表“正确路线”，盲目信从；有些热衷于搞派性、拉山头的领导干部，实际上不自觉地起着给“四人帮”帮忙的作用。
叶剑英、邓小平听了粟裕的汇报，十分重视。在1975年召开的中央军委扩大会议上，有针对性提出，要以毛泽东关于“军队要整顿”、“军队要统一”的指示为指导方针，坚决抵制一些别有用心的人插手军队的阴谋。会后，中央军委果断地对军队各大单位的领导班子进行了调整，把追随“四人帮”，大搞派性，搞乱军队的人调整了下去；同时，要求军队一些负责干部警惕“四人帮”。这项工作，为一年多以后粉碎“四人帮”奠定了坚实的基础。
1976年9月毛泽东逝世后，“四人帮”加紧了篡党夺权活动。住在军事科学院的中央军委叶剑英副主席，多次找粟裕等谈话，要求他们注意掌握各方面的动向，随时通报，提高战备观念。
叶剑英此时正在精心运筹粉碎“四人帮”的行动计划，正所谓“静若处子，动若脱兔。”10月6日，“四人帮”终于被一网打尽，十年动乱结束了。
中共十一届三中全会以后，党开始拨乱反正，老干部们革命热情高涨。粟裕积极响应中央解放思想的号召，在军事学院高级系作了《对未来反侵略战争初期作战方法几个问题的探讨》的报告。这是他根据长期精心研究和思考，结合当代世界各国军事发展现状和现代战争出现的新问题、新情况、新特点、新变化而形成的一篇具有独创性观点的文章。许多军长、政委听了，都一齐感叹道：这样好的报告，20年来还是第一次听到。
1978年粟裕率中国军事代表团访问朝鲜。1980年9月，在五届人大三次会议上，粟裕当选为全国人大常委会副委员长。
1982年9月，在中共十二大上，粟裕当选为中央顾问委员会常委。
在晚年退出工作第一线以后，粟裕以极大的精力，总结过去的战争经验，整理和撰写回忆录，这些回忆，以后被整理成为《粟裕战争回忆录》一书。这是粟裕留下的最后的宝贵遗产。古语云：“老骥伏枥，志在千里。”但这时的将军的确有些力不从心了。
1984年2月5日16时33分，粟裕大将在解放军总医院被病魔夺去了生命。
中国上空一颗闪亮的将星陨落了！
