李广利的征大宛，虽然知道内情的人都认为并不光彩，但终归也是一场胜仗，而且单单汉武帝为他提供的各种配备就已经够瞧的了，所以大宛被攻破后，西域各国都感到了震惊恐惧。这年正好匈奴单于死了，新单于初立，汉武帝想要借破大宛的余威再次发动对匈奴的战争。于是引春秋大义，说是要学齐襄公复九世的仇，要为高祖的平城之困及吕后被冒顿单于所辱算老账。
这个宣告马上获得匈奴的回应，新单于怕初立之时即发生战事对自己不利，向汉朝表示愿意把手中扣留而不投降的汉使者送还汉帝国。于是，第二年即天汉元年（公元前100年）汉武帝得意地派遣苏武等人，带着被拘留在汉朝的匈奴使者，到匈奴和他们交换，并送了大批礼物，以答谢他们的善意。可是匈奴的善意原来并不是诚心，汉朝一客气，他反而傲慢起来。这时正好发生了一件事使双方关系又变僵了。一位降匈奴的汉将虞常，计划挟持单于的母亲阏氏好有借口回到汉朝，结果被发觉了。本来这事与苏武无关，但因为虞常曾把这个计划告诉过苏武的副手张胜，所以把苏武也牵连进去。苏武自杀不成，被关在一个大窖里，好几天就靠饮雪、吃旃毛才没死。匈奴认为他是神人，把他送到贝加尔湖（北海）没有人迹的地方去牧羊，而且牧的一律是公羊，却又告诉他，羊要是生出小羊来，就放他回去。
外交的和解破裂，汉武帝于天汉二年（公元前99年）在未央宫召见李广利并命令他带领三万骑兵出酒泉去攻击匈奴右贤王。匈奴把其疆域分为中左右三部，所谓左右，系以匈奴面向南边的方位而定，东边为左，西边为右。中部由单于直接统辖。左部由左贤王及名衔带“左”字的属官（如左大将、左大都尉）统治；右部则由右贤王及名衔带“右”字的属官（如右大将、右大都尉）统治。
这个时候的匈奴，由于早先受到汉武帝外交攻势的压迫，其左部由辽东一带西迁；右部亦西迁而与汉朝的酒泉、敦煌相对。所以汉武帝命李广利出酒泉攻击右贤王。
这道命令包含指派屯驻在张掖的李陵，负责征匈奴大军的“辎重”，辎就是载衣物的车，重则是载武器装备，这等于是后勤支援的任务。所谓李陵有李广的遗风，就已经含有李广“自负其能”的个性在内。一个名将的后代，在边地练兵备胡，摩拳擦掌了好几年，一直没机会表现。而这年他已经三十五岁，正是体力智慧各方面都处在巅峰状态的时候。前年要他去塞外迎接李广利的“胜利”归来，这年又要他为这位平庸的将军做后备工作，他如何能服气？
于是，就在行前接受汉武帝召见的时候，他叩头请求，说他所练的兵，都是来自荆楚（两湖及四川东南、贵州东北一带）的勇士，多的是奇才剑客，力能扼虎，射必命中，希望能够自成一队，独当一面。他自请的任务就是要出奇兵去攻击匈奴“中部”的单于，分散单于的兵力，以配合李广利的主力目标，达到牵制的作用。
汉武帝听了说：“为将的都讨厌隶属于他人是吧？只是我出兵太多，恐怕分不出骑兵给你！”
李陵说：“用不着骑兵，臣愿以少击众，只要步兵五千，就可以直捣匈奴单于的王庭！”
汉武帝觉得他很有气魄，就答应了他，同时命令路博德带兵在中途负责接应李陵，可是路博德曾经是伏波将军，在十二年前平定南越时，立了大功，这名老将怎么会愿意为后辈接应呢？
路博德越想越不甘心，就上书汉武帝，说目前秋天正是匈奴马肥兵壮的时候，不适宜开战。不如等到来春，由他和李陵从酒泉、张掖各带五千骑兵，合击东西浚稽山（在今蒙古北部库伦之西，额尔浑河与土拉河之间，当时匈奴单于一批人分居在东西两山），到时必定可以大胜。
多疑的汉武帝看到路博德的奏书非常生气，他怀疑这本奏书一定是李陵后悔了才要路博德写的。于是就命令路博德立刻出兵到西河（鄂尔多斯高原西为朔方郡，东部为西河郡，因在黄河之西而得名），说是匈奴可能从西河入侵，而命令李陵九月间出发，出居廷到东浚稽山去观察敌情。如果没有什么动静，就带兵回受降城让士兵休息。
受降城修建于太初元年（公元前104年），修建这座城是因为当时的匈奴单于好杀伐，匈奴人不安，匈奴左大都尉派人向汉表示，想杀单于投降，但嫌汉太远，他说如果有军队去迎他，他就敢发动叛乱，因此汉武帝就命公孙敖修建受降城以接应他们。受降城在居廷（宁夏北部居廷海附近）北边的蒙古境内。
就在汉武帝误会而意气用事的情况下，李陵率领五千步兵出了居廷，向北行了三十天，到浚稽山扎营，把所经过的山川地形绘制成图，并派部下陈步乐先回京城向汉武帝报告。陈步乐在汉武帝面前述说李陵很得人心，兵士们都愿为他效死命（颇有李广之风）。汉武帝非常高兴，步乐因而也被任命为郎。
可是不久，李陵的部队和单于相遇了，单于军队大约有三万人，是李陵的六倍，而且是骑兵。他们居高临下，在两山之间以大车为掩护，把李陵包围起来。李陵见状，立刻集合部队，在营外摆出阵式，命令持戟盾的站在前排，持弓弩的站在后排，下令“闻鼓声而纵，闻金（钲）声而止”。匈奴军看汉军人数不多，想以大吃小，都离开掩蔽物向李陵阵前冲过来。李陵鸣鼓，千弩俱发，前面的匈奴军一个个应弦而倒，于是后面的纷纷退回山上。汉军乘机追击，杀死了数千人。单于非常震惊，又调来了八万多骑兵加入战斗。李陵一看情势不妙，开始边战边向南撤退。后来退到一处山谷中。
经过几天连续的战斗，中箭受伤的士兵越来越多了，李陵只好让受三处伤的坐车子走，两处伤的扶着车子走，一处伤的仍然拿着兵器作战。有一天，李陵感觉到军中的士气似乎有点衰退而且鼓不起来，他怀疑是军中藏有女眷的关系。他下令逐一搜查，果然查获。原来是军队出发时，有关东群盗的妻子被流放到边地并被军士们占有，她们混到军中跟随而来。李陵把她们全部斩了。第二天再战，士气就高得多，杀死了敌人三千多人。
又过了四五天，队伍退到了一个长有芦苇的湖沼地带，匈奴在上风处放火，李陵索性命兵士把旁边的草木先烧掉一片，免得匈奴放的火延烧过来。
就这样一边打一边向南行走，又来到了一座山（大概是阿尔泰山的支脉）的山下。匈奴单于在山上，命他的儿子率领军队攻击李陵。汉军在树林中与匈奴军搏斗，因为林中不适合骑兵，汉军占了优势，又杀死了几千人。李陵又命人发连弩（可连续射箭的装备）射单于，单于被迫下山逃走。
这天李陵抓到一名俘虏，据他说，单于怀疑李陵军是汉军的精兵，打也打不败，只顾往南跑，是为了引匈奴军越来越接近汉的边塞，他担心会不会有埋伏，考虑要退兵。但匈奴的各当户（匈奴官名，在大都尉之下）君长都认为，单于亲自率领几万骑兵，如果打不过几千汉军，日后将如何指挥各部军队？这样会令汉人更看不起匈奴。他们建议：“现在利用山谷地形，还可和汉军一拼，再过四五十里就是平地，到时候假使还是破不了，再行退兵也不迟！”
由于这种唯恐越往南，越可能中埋伏的心理，使局势越来越紧张，匈奴抓紧进攻，李陵受的压力比先前更大。匈奴以数量上的优势，一天战斗数十回合，但李陵军也越战越勇，又杀死了两千多名敌人。匈奴终于觉悟自己仍然占不到便宜，只好准备撤兵。眼看着李陵的困境马上就要解决，可惜司马迁说的“军亦有天幸”，李陵竟是一点都得不到，孤军深入而逢敌已经不幸，等到奋勇杀敌并挫败了敌军的意志，马上可以胜利班师的时候，偏偏自己内部出了问题。
一位主管侦探敌情的军侯因为被军中某校尉侮辱而投降了匈奴，他把李陵军的实情向单于报告。他告诉单于，李陵其实没有后援，箭也快用完了。只有李陵和校尉韩延年各自率领八百人为前锋，分别以黄白旗为帜。他建议单于只要派精骑把他们射中了，汉军就可以被打败了。
