六镇大起义的时候,北魏的胡太后临朝称制,和孝明帝之间的嫌隙越来越深。当时,车骑将军仪同三司,并、肆、汾、广、恒、云六州讨虏大都督尔朱荣兵势强盛,朝廷非常忌惮。高欢、段荣、尉景、蔡俊先是跟随杜洛周,想要谋害杜洛周失败,逃去依附葛荣,继而又投奔尔朱荣。刘贵先在尔朱荣麾下,把高欢推荐给尔朱荣,尔朱荣见高欢容颜憔悴,并不看重。

高欢跟着尔朱荣来到马厩,马厩里有一匹很剽悍的战马,尔朱荣就命令高欢为这匹马修剪鬃毛。高欢竟然没有先把马捆绑起来就去剪毛,而战马也没有踢他或者咬他。高欢完成工作,站起身来以后,就说:“驾御恶人也该这样。”尔朱荣对他的话感到惊奇,就让他坐在自己坐床下面,屏退左右,向他询问时局高欢说:“听说您有十二群马,按照颜色分为不同的种群,豢养它们究竟要做什么呢? ”尔朱荣说:“只说你的想法就是。”高欢说:“如今天子昏庸,太后淫乱,宠臣擅自发布命令,朝廷无法施行。以您的雄壮威武,趁这个机会发展力量,讨伐郑俨、徐纥,以清除皇帝身边的小人,那么霸业可以一举马鞭就完成。这就是我的想法。”尔朱荣大喜,与高欢从中午一直谈到半夜才放他出来,从此就经常让他参与军事谋划。并州刺史元天穆和尔朱荣关系很好,尔朱荣把他看作自己的兄长。尔朱容经常和元天穆以及帐下都督贺拔岳密谋,想要举兵杀进洛阳,对内诛杀奸佞小人,对外肃清反贼盗寇,两人全都劝他这么做。于是尔朱荣就上奏说:“山东地区的匪患非常严重,冀州和定州覆没,官军屡屡战败,请求派遣三千精锐骑兵向东去增援相州。”胡太后有点怀疑,回复说盗寇大多已被殄灭,而且北海王元颢率领两万兵马前去相州镇守,不需要出兵。尔朱荣再次上奏,说:“虽然贼寇的兵势已衰,但因为官军屡次战败,人心都很恐惧,恐怕难以使用。要是不更改方略,难保万全。”他以此为借口,调动兵马,召集义勇军,向北防守马邑,向东堵塞井陉。徐纥建议太后用铁券来离间尔朱荣的部下,尔朱荣知道以后,非常忌恨徐纥。孝明帝也很厌恶郑俨、徐纥等人,但是碍于胡太后,不能把他们除掉,于是就秘密下诏,让尔朱荣领兵进京,想要威胁胡太后。尔朱荣任命高欢做先锋,走到上党,孝明帝又颁下密沼阻止他。郑俨、徐纥恐怕祸患上身,就暗中和太后一起谋划毒死孝明帝。

公元528年二月二十五日,孝明帝突然驾崩。二十六日,胡太后立皇女为皇帝,二十七日又立前临洮王元宝晖的后代元钊。元钊年仅三岁,胡太后想要长久掌握政权,所以贪图他的幼小,这才立他为帝。尔朱荣听闻此事,大怒,对元天穆说:“主上驾崩,只有十九岁,国内还认为他是少年君主呢。更何况如今拥立还不会说话的孩子当皇帝,想要求得长治久安,可能吗?我想要率领铁骑前去为主上吊唁,消灭奸佞,改立年长的君主,怎么样?”元天穆说:“这是伊尹、霍光的事业重现于今天啊!”于是尔朱荣就上奏抗命,说:“大行皇帝(指刚死的孝明帝)抛弃了国家,海内都传说他是被毒酒毒死的。哪有天子身体不舒服,不召医生来诊断,贵戚大臣们全不在身边侍奉的道理?怎能不使远近之人都感到错愕呢?竟然还让皇女当储君,假装大赦天下,对上欺瞒上天,对下迷惑朝野。继而在小孩子里选择君主,实际是使奸佞当朝,使纲纪紊乱,这跟遮着眼睛捕雀,堵着耳朵偷钟有什么区别?如今盗贼四起,邻国觊觎,而想让还不会说话的孩子镇定天下,不是很困难吗?希望让臣前往京都,参与大计,询问侍臣们皇帝驾崩的缘由,访求侍卫们不知道的情况,把徐、郑之流逮捕法办,一雪普天下的耻辱,消除远近人们的怨恨,然后再选择合适的宗室亲贵来继承皇位。”

三月,尔朱荣和元天穆商议,认为彭城王元勰忠诚而有功勋,他的儿子、长乐王元子攸素有名望,想要拥立为帝。他还派侄子尔朱天光和亲信奚毅、仓头王相前往洛阳,和兄弟尔朱世隆秘密商议。尔朱天光拜见元子攸,详细说明了尔朱荣的想法,元子攸答应了。但等尔朱天光等人回到晋阳,尔朱荣还在犹豫,于是他就用铜铸造皇室王子们的塑像,结果只有长乐王的像铸成了。尔朱荣就此起兵,离开晋阳,尔朱世隆也从洛阳逃出来,和尔朱荣在上党会合。胡太后听说以后,非常恐惧,就把王公们全都召唤进宫来商议,宗室大臣们全都厌恶太后所为,没有人肯开口。只有徐纥说:“小小的尔朱荣,竟敢领兵杀向朝廷,文武禁卫就足以制服他了。只要守住险要,以逸待劳,他孤军深入千里,士兵和战马都很疲惫,肯定会被击败。”胡太后认为他说得对,就任命黄门侍郎李神轨为大都督,率领兵马前去抵御,另外派郑季明、郑先护领兵守备河桥,武卫将军费穆屯扎在小平津。尔朱荣来到河内,再次派遣王相秘密前往洛阳,迎接长乐王元子攸。夏季四月初九,元子攸和其兄彭城王元邵、其弟霸城公元子正秘密地从高渚渡河,初十日和尔朱荣在河阳会合,将士们全都高呼万岁。十一日,大军渡河,元子攸继承皇帝宝座,任命元邵为无上王、元子正为始平王,任命尔朱荣为侍中、都督中外诸军事、大将军、尚书令、领军将军、领左右,封太原王。元子攸就是北魏孝庄帝。多、郑先护向来和孝庄帝的关系良好,听说孝庄帝继位,就和郑季明开城放他进来。李神轨来桥,听说北中城已经失守,只好逃回。费穆也抛弃部众,先向尔朱荣投降了。徐纥假传诏命,当晚打开宫门,私自取走骅骝厩里的十匹御马,向东逃向兖州,郑俨逃回老家。胡太后把孝明帝的嫔妃们全都召来,勒令她们出家,她自己也削发为尼。

尔朱荣召唤百官前来迎驾。十二日,百官捧着玉玺,准备好御车,到河桥来迎接孝庄帝。十三日、尔朱荣派骑兵逮捕了胡太后和小皇帝,押送到河阴。胡太后反复向尔朱荣求情,尔朱荣拂衣起身,于是就把胡太后和小皇帝都淹死在黄河里费穆悄悄地对尔朱荣说:“您的兵马不足一万,如今长驱直入,来到洛阳,前面并无敌军阻挡,既没有打胜仗的威势,人们又向来不敬畏您。以京城人口之多,百官的繁盛,知道您的虚实,定有轻蔑之意。要是不大杀一通,换上亲信党羽,恐怕您向北回归晋阳之日,还没等越过太行山,朝廷内部就会发生变乱啊。”尔朱荣在内心赞成他的说法,于是就请孝庄帝沿着黄河向西来到淘渚,引导百官来到行宫西北,说是打算祭天。百官会聚以后,尔朱荣就用骑兵围住他们,责备说天下所以混乱,孝明帝所以暴死,都是因为朝臣贪婪暴虐,不能匡扶社稷的缘故,于是就放纵士兵杀戮百官,从丞相、高阳王元雍,司空元钦,仪同三司、义阳王元略以下,被杀死两千多人。有一百多名朝臣后来才到,尔朱荣又派骑兵将其包围,下令说:“有能写禅让文的,免其一死。”侍御史赵元则出来应募,就命他草拟禅让文。尔朱荣又下令土兵们说:“元氏既灭,尔朱氏兴。”士兵们都高呼万岁。尔朱荣又派遣数十人执刀杀向行宫,孝庄帝和无上王元邵、始平王元子正都来到帐外。尔朱荣先派并州人郭罗刹、西部高车人叱列杀鬼在孝庄帝身旁侍奉,假说防卫,把孝庄帝抱入帐中。其余的人就杀死了元邵和元子正,又派数十人把孝庄帝迁居到河桥,安排在尔朱荣自己帐下。孝庄帝非常恐惧、悲愤,就打算让位给尔朱荣,高欢也劝尔朱荣称帝,左右亲信大多赞同,尔朱荣犹豫不决。贺拔岳劝说道:“将军您最早举义兴兵,立志杀尽奸佞,如今大功还没有成就,就做这种打算,只能加速祸患的到来,并不是福气。”于是尔朱荣用黄金为自己铸像,先后四次都不能铸成。

功曹参军、燕郡人刘灵助擅长占卜,尔朱荣很相信他,刘灵助说天时和人和两方面都不应该称帝。尔朱荣说:“要是我不吉利,就应该迎接元天穆前来,立他为帝。”刘灵助说:“元天穆也不吉利,只有长乐王是真有天命的。”尔朱荣这才打消了篡位的念头。