咸宁五年十一月，武帝力排众议分派六路大军，水陆齐发，大举伐吴。
镇东大将军、琅玡王司马伷率军自下邳直趋涂中；安东将军、都督扬州诸军事王浑自寿春向江西进军；建威将军、豫州刺史王戎自安城向武昌方向进军；平南将军胡奋自新野向夏口方向进军；镇南大将军杜预自襄阳直趋江陵；龙骤将军、益州刺史王浚与巴东监军唐彬率水师自巴蜀浮江东下，直趋建业。
西晋六路大军，共水陆20余万。为了统一指挥，武帝又命太尉贾充为使持节、假黄铖、大都督，冠军将军杨济为辅，率中军镇襄阳，节度诸将。同时，武帝还任命张华为度支尚书，主管漕运军粮之事。
曾经一直阻挠伐吴大计的贾充此时又力陈伐吴不利，并自称年老不肯受任。武帝下诏说:君不行，吾便自出。贾充这才勉强受命。
战事发展果如羊祜（已故）、杜预所料，晋军所过之处势如破竹。隔年三月十五日，王浚亲率强卒八万，方舟百里，抢先攻入建业。吴主孙皓面缚舆梓，引领百官来到王浚军门投降，建国五十七年的东吴政权正式宣告灭亡。
捷报传到帝都洛阳后，武帝狂喜过望，当即宣布自当年四月起改年号为太康，所有参战人员厚加封赏。自此东汉末年以来分裂近百年的中华大地复归一统，晋武帝的威望如日中天。
全国统一后，武帝不顾老臣山涛的劝谏，执意下诏：罢除天下兵役。
（１）诸州无事者罢其兵。
（２）刺史只作为监司，罢将军名号，不领兵，也不兼领兵的校尉官。
（３）实行军民分治，都督校尉治军，刺史太宋治民。
罢州郡兵，虽然可以使地方官专心民事，并扩大承担赋役的课丁，对恢复生产意义重大，但是也因为去除州郡兵役，为日后的祸患种下前因。
太康三年初，武帝单独召见尚书张华，闲谈之余问谁可托之后事？
张华不假思索的回答道“明德至亲，莫如齐王”。
听完他的回答后，武帝眼中失望神色一闪而过，随即若有所思的点了点头。
由于当初伐吴之际，中书监荀勖、侍中冯紞等皆持反对意见，因此他们对极力促使武帝出兵的张华极为嫉恨，中书监荀勖最善揣摩圣意，他知道武帝心中对齐王司马攸十分忌惮，所以在听说张华的对答后，立刻在武帝面前进谗，污蔑张华为齐王党羽。
同年六月，武帝命张华出为都督幽州诸军事，到职后，他立刻派安北将军严询征讨鲜卑慕容涉归，并在昌黎大获全胜，于是抚纳新旧，戎夏怀之，东夷马韩、新弥诸国依山带海，去州四千余里，历世未附者二十余国，并遣使朝献。
面对远夷宾服，四境无虞，频岁丰稔，士马强盛的大好时局，武帝龙颜大悦，有心招张华入朝为相，又想为他进号仪同三司。
侍中冯紞深得武帝宠信，经常陪侍在武帝身旁。有一天，冯紞与武帝闲谈魏晋轶事，借机进言道：“臣私下认为钟会的谋反是太祖（司马昭）造成的”。
忽然听到如此大逆不道的言辞，武帝脸色立变，斥责道：“你这是什么话”？
冯紞闻言连忙跪倒谢罪：“臣愚钝瞎说，罪该万死！但臣心中所虑实在是不吐不快”。
“好，朕倒很想听听少胄有什么高见？”
迎着武帝深沉的目光，冯紞不紧不慢的说道：“臣认为善于驾车的人一定熟习马力的盛衰，善于为政的人必然懂得对官吏控制适度，所以子路因好胜被抑制，冉求因退让被任用，汉高祖子弟八个诸侯王都因过于宠信被夷灭，汉光武帝的诸将由于受抑而善终。这并非为君的有仁有暴，也不是为臣的有智有愚，而是压低与抬高，给予与夺取的不同造成的”。
冯紞话到此处稍稍顿了顿，他偷眼扫了扫武帝脸上的表情，然后才继续说道“钟会才能见识有限，而太祖夸奖太过，赞美他的谋略，宣扬他的名声，先授以大权，后委以重兵，这些举措必然会让钟会自认为算无遗策，功勋无比，愈加飞扬跋扈，所以才造成了他谋反叛国的大罪。如果太祖善用他的能力，一方面抑制他的权势，一方面用各种规则约束他的秉性，那么他就无法有叛乱的心思，谋逆的事自然也就不会出现”。
武帝听完之后，赞同的点了点头。
“不错，的确是这样”。
冯紞眼见时机成熟，立即屈膝跪地，叩头说道：“陛下既然肯定臣的意见，就应该防微杜渐，不要让像钟会之类的小人再造成灾祸”。
武帝见到冯紞突然如此，心中已经将他的意图猜了个七七八八，不过仍然佯装糊涂的问道“难道在朕身边还有像钟会那样的人物吗”？
对于武帝的疑问，冯紞并没有立刻回答，而是徐徐开口道：“先贤东方朔有句话叫做谈何容易，《易经》上也说‘臣不密则失身’”。
武帝闻言，笑着摆了摆手，示意身旁的人全部退出去。
“这回你可以尽情的说了吧”。
“多谢陛下”。
冯紞首先谢恩，然后才转入正题，低声说道“为陛下谋划的人，大功著于天下，海内的人没有不闻知的，据方镇统辖军马的人，都在陛下该忧虑的行列”。
武帝听完后沉默不语。
时隔不久，武帝应朝臣所议征召张华为太常，重新回到帝都洛阳，只不过上任未满三月，太庙屋梁突然折断，张华因为渎职而被免官，从此以后，被世人誉为王佐之才的张华在武帝临朝期间，再无官职加身，只以列侯的身份朝见。
太康四年，辅佐武帝建国的诸王大半离世，武帝自身也因为奢侈腐化，纵情声色，令原本健康的身体每况愈下。
同年七月中旬，荀勖、冯紞联名上书，以正太子之名恳请武帝将身居要职的齐王司马攸调回封国。
八月初，武帝司马炎下诏任命齐王为大司马、假节、都督青州诸军事，并限以时日返回封地齐国。
诏令刚刚传出，立刻引起朝中许多大臣的反对，扶风王司马骏、征东大将军王浑、光禄大夫李熹、中护军羊琇及两个驸马王济、甄德等，都站出来进行劝阻。
重臣王浑更是在奏疏中直言不讳地指出：“陛下让齐王回到封国，虽然虚加都督青州的名号，却没有镇守一方的军队可供指挥，如此有名无实的举动，未免也太不注重兄弟手足之情了，况且陛下如此安排实在有违文帝（司马昭）临终前的嘱托，还请陛下三思”。
自从武帝登基以来，最担心别人说他不重视兄弟之情，碍于颜面，他不便对老臣王浑发作，但是那些年轻一辈人的劝阻，却难免令他恼羞成怒。
王济、甄德这两个人不仅自己泣请武帝留齐王在朝，还一再唆使他们的夫人常山公主和长广公主到武帝面前哭哭啼啼说情游说，到最后惹得武帝怒吼道：“朕让弟弟司马攸回到封国，乃是朕的家事，与你们有什么关系”？
时隔不久，王济被降职为国子祭酒，甄德免大鸿胪，夺侍中，仅保留光禄大夫的闲职，直臣秦秀被免职出朝，博士刘暾收付廷尉。
一时间，朝中大臣人人自危，为齐王鸣不平的声浪大潮终于在武帝的强硬手段下渐渐平复。
