六镇起义的时候，各路军阀被尔朱荣一一镇压，很多人被尔朱荣收为降将。高欢就是被俘后得到尔朱荣信任，并被提拔为尔朱荣的卫队长。
高欢，鲜卑名为贺六浑，渤海蓨（今河北景县）人。六世祖高隐曾为晋朝的太守。后来的三位先祖又仕慕容氏燕国。他曾祖父高湖在慕容宝亡国时降附魏朝。他爷爷高谧官至魏朝待御史，因犯法被流放到怀朔镇。到他父亲高树生时早已家世沦落，树生又是个游手好闲的浪荡子弟，高欢的少年时代确实是在极其艰苦的环境中成长的。由于自小生长于边镇，周围都是鲜卑军人，高欢是个完全鲜卑化的汉人，终日舞枪弄棒，嗷嗷乱叫。直到他和鲜卑族的老婆结婚，才从女方的嫁妆中得到匹马，有马才有在边镇队伍中当队主（班长）的资格。当时没什么人对这个破落户子弟感兴趣，惟有镇将段长觉得高欢相貌不凡，资质卓异，对他说：“你有康济时世的才能，这辈子不会白活！我这岁数见不到你发达了，希望你日后能照顾我的儿孙。”当时这几句小小的鼓励，高欢一生不忘。等他掌握魏朝国柄后，追赠段长为司空，并提拔段长的儿子段宁为官。
六镇起义爆发后，他先后投靠杜洛周和葛荣。后来被尔朱荣俘虏，并受到宠信。在葛荣与尔朱荣的邺城之战时，由于高欢原来在杜洛周、葛荣手下都呆过，熟人不少，当时趁机于阵前招降了葛荣军中七个王和一万多人的军队。
当时，尔朱荣威震天下。在邺城大战葛荣失败后，阵中的年轻将领宇文泰走投无路，只好通过老交情贺拔岳投降了尔朱荣。尔朱荣对宇文泰欣赏而又猜忌，将他带回根据地晋阳，后来拔归贺拔岳帐下效命。高欢与宇文泰绝代双骄就此碰头，后来成为一生的敌手。
宇文泰小字黑獭，他的先世是东胡族宇文部的酋长。破六韩拔陵领导的边镇起义爆发后，武川镇中下级军官贺拔岳父子，宇文泰之父宇文肱等袭杀起义军大将卫可孤，投降政府。其时，北魏王朝向柔然借兵镇压起义军，柔然骑兵在攻下六镇后，大肆掠夺破坏，致使六镇饥荒严重，北魏政府只得移饥民于河北就食。宇文泰和其父、兄也被徙到河北博陵（今河北安平）。孝昌二年（526年）正月，怀朔镇镇兵鲜于修礼率领北镇流民于定州左人城（今河北唐县西）起义，宇文一家亦参加了起义队伍。但在前往左人城途中，被政府军击败，宇文肱及其长子、次子阵亡，宇文泰与其兄洛生幸免于难，入鲜于修礼军中。及修礼死，又入葛荣军中，被任为将帅。葛荣失败后，宇文泰被收编在贺拔岳部下。
宇文泰尔朱荣帐下收编的人才，各个野心勃勃，不是等闲之辈。只是尔朱荣在世，镇得住场子，才没人敢动。尔朱荣在其鼎盛时期有一次忽然问左右：“哪天我死了，谁能够做军中统帅呢？”周边人都回答：“尔朱兆（尔朱荣族弟）”。尔朱荣不以为然。他说：“尔朱兆虽然勇猛善斗，但能统领的人马不过是三千左右，军马多些他就乱了阵法。能代我统军的，只有贺六浑（高欢）。”虽然奸雄识奸雄，惺惺相惜又相戒。对高欢产生疑戒心后，他一方面指醒尔朱兆要暗加提防，一方面把高欢远调为晋州刺史。不久，尔朱荣为魏庄帝诛杀，尔朱家族纷纷乘兵反叛朝廷，身为一方之将的高欢审时度势，又打上了尔朱氏领下降兵的主意。
高欢六镇造反的降兵大多是鲜卑人，他们被迁置于河北后，不断受到尔朱氏契胡兵士的凌暴，屡屡造反，大小26次，被杀过半，仍造反不已。刚刚缢死魏庄帝、掌握魏国朝政的尔朱兆对此感到头痛，向高欢咨询意见。高欢回答：“六镇降兵反叛不休，又不能全部杀掉，大王您应选心腹之人去统领他们。再有反叛，就归罪其将领，不能每次都杀掉大批的兵士。”尔朱兆觉得建议很好，就问谁能去当统领。一席饮酒的贺拨允在旁建议让高欢去统领六镇降兵。高欢佯装大怒，起身一拳打得贺拨允满嘴冒血，门牙落地，骂道：“太原王（尔朱荣）活着的时候，说怎么样就怎么样，现在太原王死了，天下事都听尔朱兆王爷的，王爷没发话哪能轮到你说三道四！”尔朱兆很感动，觉得高欢忠心耿耿，就趁酒劲宣布高欢为六镇降兵的统军。高欢心中大喜过望，但恐怕尔朱兆酒醒后后悔，高欢出大营后马上宣令：“我受命统管镇兵，都到汾东受我号令。”立刻驰奔阳曲川，建立统军大营。六镇降兵一向厌恶尔朱氏和他手下的契胡兵士，极短时间内就奔赴高欢处集合完毕。
不久，高欢上书尔朱兆，表说山西霜旱灾多，兵士没有粮食，请求移师山东，解决军粮问题。高欢想远离尔朱兆，摆脱他的威胁和控制。尔朱兆长史慕容绍宗见书立即劝道：“不可！现在四方乱起，人怀异望。高公雄才盖世，又握兵于外，正如借蛟龙以云雨，再也不能控制他了。”尔朱兆勇而无谋，认为自己和高欢是拜过把子的兄弟，不会背叛自己，遂下令高欢移军山东。高欢率军自晋阳出发，中途遇见尔朱荣的老婆带着大车小车的财物从洛阳返山西，又有好马三百匹，就派兵把马匹全都抢为己有。尔朱兆听嫂子哭泣后大怒，于是自己亲率军队追赶。追至襄垣，恰值漳水暴涨，高欢隔河拜谢：“我借公主马（尔朱荣的老婆获封为北乡长公主，不是魏朝宗室女）是为了用来抵御山东盗贼。如果您相信公主的谗言，我就过河受死，只怕您把我杀了，我属下这些人马上就叛亡而去。”尔朱兆胆大无脑，策马渡水，与高欢在营帐间坐定，抽出佩刀给高欢，伸出脖子让高欢砍。高欢大哭，诉说尔朱家族对自己的恩惠和自己的忠心。于是两个人欢饮极醉，又杀白马盟誓。夜间，高欢属下尉景埋伏壮士要杀掉尔朱兆，高欢马上阻止：“现在杀了尔朱兆，他的党羽一定奔归聚结报仇，尔朱兆凶悍无谋，还是放了他好。”第二天早晨，尔朱兆归营，又下令让高欢渡水过到他的大营。高欢也想壮着英雄胆过去，被部将孙滕劝止。尔朱兆隔河破口大骂，无奈河水奔涌大军又过不去，只得驰还晋阳。高欢回营，到了军中统管兵士家属的念贤那里假意寒暄。念贤是尔朱兆安插在高欢营中的心腹，用以监视高欢。高欢坐下后就夸念贤腰中宝刀漂亮，取来观看。念贤不知是计，递刀与高欢。高欢随手一刀，消除了尔朱氏在军中最后一个钉子。
高欢到山东后，严肃军纪，秋毫无犯，每过麦地，自己下马拉住缰绳，当地人民非常欢喜，受到拥戴。高欢为了让属下无路可退，和他一道起兵，他想出一计——他派手下人伪造尔朱兆的军令，下令高欢所率六镇降兵全部要回山西，作为契胡军人的部曲去攻打稽胡。本来六镇降兵就一直饱受尔朱氏契胡兵的欺凌，现在要被征发去当契胡人的奴兵，都有生不如死的感觉。高欢假装军命严急，从军中简选万余兵士，马上催促出发。部将孙滕和尉景也假装为士兵请命，宽缓五日。士兵又忧又惧，高欢接着又假意再宽缓五日行期。待到六镇军士的惊恐酝酿得差不多时，高欢作为统帅，与这支万余人的先遣军举行告别式，他自己也泪落如雨，即将踏上去山西之路的士兵一片嚎哭之声，悲从中来，惊天动地。高欢叹息一声，说：“我和你们都是镇户出身，一家人呵。现在西去打仗，肯定得死！迟误军期，到目的地后也得死；发配给契胡人当部曲，还得死！总之，都是死路一条。我们该怎么办呢？”士兵在下马上齐呼：“只有造反！”高欢很焦急的样子，“造反是不得已的事情，谁能带头呢？”将士雀呼，共推高欢。高欢一副万不得已，为众担罪的样子。踌躇再三，他对六镇降兵说：“你们这些人乡里乡亲很难统驭。如果你们推我为领军，就不能再像从前一样，不能随意欺负汉人（六镇降兵多为鲜卑人），不能违犯军令。不然的话，我可不和你们一起造反。”“生死由您做主！”万余军同声呐喊。于是高欢杀牛宰羊，犒赏士兵，在信都起兵。
为了名正言顺，高欢与属下拎出魏朝宗室、渤海太守元朗为帝。532年，高欢初次与尔朱氏交锋，以少胜多，在广河大败尔朱兆，俘获五千多人。尔朱兆、尔朱世隆等人在尔朱荣死后兴兵，杀入洛阳后缢死魏庄帝，立节闵帝，宰制天下。但为了对付高欢这么个共同的敌人，他们又联合起来。尔朱天光从长安出发，尔朱兆从晋阳举兵，尔朱度律发自洛阳，尔朱仲远从东郡赶赴，四路大军共20万人在邺城汇集，夹洹水列阵，准备和高欢决战，想一举攻灭这个“忘恩负义”的“贼子”和他手下六镇降附兵士。
高欢派封隆之留守邺城，亲自率兵马屯兵紫陌。其时，高欢战马不满两千，兵不过3万，而敌兵有20万之众。众寡不敌情势之下，高欢用牛驴连系在一起堵塞自家军队的退路，在韩陵一带摆成圆阵，兵无退路，都有必死之心。高欢自领中军前突，大将高昂将左军，高欢堂弟高岳将右军。高欢中军迎战不利，被逼后退。尔朱兆军直扑而来。高岳率五百骑兵突前迎敌兵，高欢另外一个将领斛律敦将领收拾败退四散的兵士重整旗鼓从尔朱兆后面又扑上去，大将高昂自率一千多骑兵横击而入阵中，尔朱兆军大败。败逃之际，尔朱兆对慕容绍宗捶胸大叫：“不用公言，以至于此。”
慕容家族四散奔逃。本来就首鼠两端的大都督斛斯椿等人抢先一步回到洛阳，尽杀留守的尔朱氏党羽。尔朱世隆、尔朱度律、尔朱天光相继被俘斩。为尔朱氏所立的节闵帝派人慰劳高欢。高欢此刻觉得从前所立为帝的安定王枝属疏远，就派属下魏兰根前去观察节闵帝为人如何，准备重新迎立他。魏兰根认为节闵帝神采高明，恐怕日后难以挟制。高干兄弟及其他手下也劝高欢说节闵帝是尔朱氏所立，其名不正，劝高欢废掉他。高欢就把节闵帝幽禁在寺庙中。拣来挑来，选中平阳王元修成为皇帝，即北魏孝武帝。孝武帝元修纳高欢女儿为皇后。高欢成为国丈。转年，尔朱家族最后一个漏网之鱼尔朱兆在秀容兵败，被逼自缢。尔朱氏最后一个钉子被拔掉。尔朱兆大将慕容绍宗携尔朱兆妻子及余众归降，高欢以其忠义，待其甚厚。
原属节闵帝臣下、又奔抢回洛阳杀光尔朱氏党羽的斛斯椿见到高欢势力强大，便与南阳王元宝炬，武卫将军元毗和王思政一同劝说孝武帝除掉高欢。斛斯椿重新安排宫内都督人选，增加侍卫人数，选出数百骁勇武士担任孝武帝的近卫军。皇帝又多次以出猎为名，与斛斯椿排兵步阵，互相密谋。又派人与在外拥兵的贺拨岳、贺拨胜兄弟暗中联络，准备内外响应。魏朝司空高干本是高欢的死党，孝武帝想收买高干以为已用，借一次在华林园宴饮的机会忽然要与高干拜盟结为兄弟。事出忽然，高干表示自己“以身许国，不敢有二心。”而后见到孝武帝增加武卫，知道事变即将发生，暗中劝高欢准备自立为帝。高欢当时觉得时机还不成熟，装出非常害怕的样子拒绝了高干的提议。高干进退两难，于是密启高欢要求外派，被任命为徐州刺史。孝武帝获悉高干要外任为官，怕他泄漏自己密图高欢的事，就先发制人，诏告高欢说高干与自己立过盟誓，反复两端。高欢得知后很生气，就把高干劝自己称帝的事通知给魏帝。高干被双方所卖，终究落得被赐死的下场。孝武帝又派人去杀高干的弟弟高昂。高昂劫夺诛杀自己的敕令，带领十几个人奔晋阳投奔高欢。高欢与他抱头痛哭，大叫“天子枉杀高司空。”高干另一个弟弟高行密也投奔高欢。借皇帝之刀杀人之兄，而又能获得被杀者二弟的尊信，高欢手腕之高，由此可见一端。
