北魏帝国为了抵御柔然，屏障旧都平城。曾在北方边境设立了六个大的军镇，由军镇将领直接统辖北方。孝文帝把都城从平城迁到洛阳以后，由于六镇原有的军事意义因迁都而不显重要，他奉行汉化政策，压制武人。因此，六镇军将做高官的道路渐渐被封闭了，他们由此而心怀不满。在北魏末期各方矛盾激化之时，这件事成为了导火索。不久，破六韩拔陵、胡琛、莫折大提先后起兵，以后又有杜洛周、鲜于惰礼的动乱。最终，鲜于惰礼的部将葛荣火拼了杜洛周的军队，成为各方军队的首领，共统率有数十万众和河北数州的地盘，声势浩大。
尔朱荣在镇压了一些小范围的动乱后，军事上面临的最大敌手也就是葛荣领导的这支军队。公元528年夏，葛荣的军队因为缺少粮食而南下洛阳，形势危急。尔朱荣上书请求北伐，庄帝批准，尔朱荣亲自率领精锐骑兵7000人，每骑另备有副马，日夜兼行，穿过滏口，进入河北大平原，由侯景担任前锋。
葛荣自起事一直到现在，横行河北，所向无敌。尔朱荣只有7000名骑兵，数量对比呈绝对劣势，所有人都认为战争胜负已成定局。葛荣也自以为必胜，下令说：“尔朱荣很容易对付，每个人都要准备一根长绳，到时好捆绑俘虏。”他在邺城以北，筑垒布阵，长达数十里，部队两翼张开，向前推进。尔朱荣率军秘密进入山谷，编成突击队，分配督将每三人为一组，每组有数百人马，命他们所到之处，扬起灰尘，擂鼓呐喊，使对手不知道究竟有多少人。他又认为军队冲锋肉搏，人马相逼近，用刀不如用棒，密令战士，每人携带袖棒一根，安置在马鞍侧，又考虑到战时士卒为了杀人争功，可能影响追逐，因此又令不准争砍人头，只要棒击。大战开始，尔朱荣发动突击，将士上下情绪高昂。他自己也出入敌阵，内外夹攻，终于大败葛荣的军队，生擒葛荣，其余全部投降。因为投降的人太多，如果立即把他们分散到各部队，怕引起他们的惊惧而发生变乱。因此，他下令投降的部队解散，随他们所去，任由他们的家属跟随。大家大为欢喜，数十万人马，一时散尽。等他们走出百里以外，尔朱荣才命令分别囚押处置，分别编组，充实各部队，处置非常得当。尔朱荣对俘虏将士的头领，量才使用，投降部众的疑心也慢慢消除了。时人都十分佩服他在这件事上处置的果断英明。尔朱荣把葛荣囚送到洛阳，庄帝下诏加封尔朱荣为大丞相、都督河北畿外诸军事。
据说在尔朱荣讨伐葛荣前，部队行军到襄垣这个地方，进行围猎，有两只兔子跳到他的马前，他弯弓发誓说：“射中此兔则擒葛荣，否则败之！”兔子应弦而倒，部队齐声欢呼。平葛荣后，他下令在这儿立了一块碑，叫双兔碑。
击灭葛荣以后，一两年内，又陆续镇压了其他的六镇余众起义。至此，六镇的风暴就基本上被平定了。尔朱荣因此也树立了个人更大的权威。
但是，不久又发生了一件事。在庄帝即位之初，北海王元颢南逃到了萧梁帝国。梁国封他为魏王，并派将军陈庆之率军护送元颢回国即王位。当时，在北方的齐地也有邢杲起义队伍的响应。北魏朝廷以为元颢孤弱，因此未曾用心。不料想元颢、陈庆之军势甚猛，逼近洛阳。庄帝大为惊恐，弃城北逃，元颢占领洛阳。
尔朱荣听到庄帝北逃的消息后，立即乘驿车到长子晋见庄帝，一路调兵遣将。庄帝也不再北逃，命尔朱荣为前锋，讨伐元颢，几十天内，便集结了大量兵力。
元颢占领洛阳后，骄奢怠惰，梁国士兵，也行为凶暴，因此大失民心。尔朱荣顺利攻下河内，双方隔河对峙。一段僵持之后，尔朱荣最终听从杨侃建议，在六月十六日发动总攻。其前部偷渡黄河，袭击得手，元颢兵败如山倒，退出洛阳。尔朱荣乘胜追击，大败陈庆之，元颢不久也被杀。尔朱荣又一次因为战功而得到朝野的敬畏。
