可是，军中长史却心惊胆颤，与与决眭都尉辉渠侯商议道：“将军心怀异心，为邀取功名而不顾将全军带入危险的境地，恐怕必招致失败。”于是两人密谋将李广利抓起来，以阻止他的莽撞行动。不料消息走漏，为李广利所探知。李广利果断出手，借故将长史斩了，但内心里觉得他的担忧还是有道理的，忙收拢军队，率部撤退至速邪乌的燕然山（即今杭爱山脉）。
狐鹿姑单于知汉军劳倦，觉得战机到了，便亲自率领已休整多日的五万骑兵前去截击汉军。双方大战数日，死伤都很惨重。但汉军明显更为劳顿，一天深夜，匈奴人趁汉军不备，在汉军的营垒前挖了一条壕沟，深达数尺，然后匈奴人从营垒后猛攻汉军。汉军疲敝，渐渐不支，且战且退，却发现身后是一条大壕沟，退无可退，顿时阵脚大乱。匈奴人见胜利在望，军心大振，便发动了更猛烈的攻势。连日的奔波的汉军终于抵挡不住了，一个踉跄，被击得大败。走投无路之际，李广利率领剩下的人投降了匈奴。
狐鹿姑单于大喜，叹息说自汉匈大战以来，年年征伐，年年被动，只有今天才算取得了一个像样的大胜利，又知李广利虽不如卫青、霍去病尊贵，但在汉廷也算得上是大将、贵臣，因而既不轻视他，也不怠慢他，便将一个女儿嫁给他做妻子，尊宠则在卫律之上。
这卫律本是匈奴人，却在汉廷长大，在朝廷做官时，与李广利及他的弟弟李李延年、李季都有一定的交情，与李延年的交情尤其颇好。因此，李延年曾在武帝面前举荐卫律，使其得以出使匈奴。后来，李延年因李季之事伏法，卫律怕被株连，便投降了匈奴。如今卫律见李广利投降在自己之后，而受到的尊宠却在自己之上，心生嫉妒，欲加害李广利，便天天盘算着，表面上与其谈笑风生，内心里却苦思除掉他的对策……
汉军贰师将军李广利部有七万热血男儿，却全部陷没于匈奴。这一惊天消息辗转传送至京师后，武帝愕然，勃然大怒道：“奇耻大辱！”一脚便将面前的几案踢翻，声嘶力竭地吼道：“朕的大司马大将军呢？朕的大司马骠骑将军呢？”左右无人敢应答。武帝余怒未熄，见人就骂，见物就踢，而后呆了半晌，又叹息了半晌……
不久，李广利的家人为其所累，全部被诛。
征和四年（公元前89年），因长年的战争，弄得汉匈都很疲敝，于是狐鹿姑单于派遣使者给武帝传书说：“南有大汉，北有强胡。胡者，天之骄子也，不为小礼以自烦。现在我们想与汉廷大开边关，娶汉女为妻，每年请汉廷送给我们糵酒万石，稷米五千斛，杂缯万匹，其他如故约，那么我们就不再侵扰汉廷的边界了。”武帝阅后笑了一笑，写了一些不痛不痒的话，令一使者回报并顺道护送匈奴使者回国。狐鹿姑单于阅信后有些不悦，便令左右设法为难一下汉使，有人说：“汉，礼义国也。但是，听贰师将军说，前太子曾发兵谋反，这是什么缘故呢？”汉使不慌不忙道：“是有这么一回事，但并非太子有意谋反。乃是丞相私与太子争斗，太子发兵欲诛丞相，丞相诬之，故诛丞相。此种行为，乃子弄父兵，罪当笞，不过是小过错罢了。与冒顿单于亲自射杀生父、自立为单于、娶后母为妻的行为相比，怎么样呢？更不值一提了。据实而论，后者简直是禽兽的行为！”对方瞠目结舌，哑口无言。狐鹿姑单于则恼羞成怒，立即下令扣留汉使，三年后才让他回来。
李广利在匈奴居住一年多后，恩宠日盛，惹得卫律的妒火更是旺盛。不久，单于的母亲病了，久治不愈。狐鹿姑单于很是忧愁，便求助于一巫师。可巧这名巫师与卫律交好，于是卫律教唆他对单于道：“大阏氏的病之所以很难治好，是因为先单于发怒了，他说：‘我们过去祭兵，经常说抓住贰师将军就要把他杀了以祭祀宗庙，现在抓到了，为什么还不行动？’”狐鹿姑单于听了，当即决定牺牲掉贰师将军。李广利被捕时，怒不可遏，一面大骂卫律无耻，一面大骂单于不讲信用，恶狠狠地诅咒道：“我死必灭匈奴！”狐鹿姑单于闻言也大怒，立即喝令速取贰师将军的人头来祭祀宗庙。
李广利死后，正巧匈奴连着下了几个月的大雨雪，牲畜冻死了不少，庄稼不能成熟，人们也害瘟疫得病。狐鹿姑单于想起了李广利临死前的诅咒，以为是他的亡魂在作祟，吓出一身冷汗，忙令人为贰师将军建立祠室，然后备上齐全的祭品，亲自前去祭祀。
