公元前119年，汉武帝派大将军卫青和骠骑将军霍去病远征匈奴，至此匈奴元气大伤，再也没有胆量和力量侵扰汉朝边境了。过了几年，匈奴派使者到汉朝来访问，为了表示友好，汉朝也派使者回访匈奴。可是，匈奴单于并非真心实意和汉朝通好，经常扣留汉朝派去的使者。汉朝为了报复，也扣留匈奴派来的使者，但这并非长远之计。
公元前100年，汉武帝下诏，准备再次派兵讨伐匈奴。正在这个时候，匈奴又派来了使者，说刚刚即位的侯单于愿意和汉朝和好。作为和好的表示，匈奴把以前扣留的汉朝使者全部释放。汉武帝觉得这个新即位的单于还懂道理，就决定罢兵，愿重新修好。为表诚意，他决定派中郎将苏武为正使，副中郎将张胜为副使，带着助手常惠和一百多名士兵，护送以前扣留下来的匈奴使者，同时带了好多金银绸缎等礼物，赠送给匈奴的单于。
苏武，字子卿，是已经去世的平陵侯苏建的第二个儿子，他和哥哥、弟弟都是汉朝的官员。苏武这个人办事认真，而且对皇帝很忠诚，所以汉武帝就把这次出使匈奴的任务托付给了他，让他拿着“使节”和匈奴修好。“使节”是表示使者身份的，它是一根七八尺长的长杆，顶部挂着一串毛绒球，很威严。
到了匈奴，苏武把那些被扣留的匈奴使者交给单于，然后送上礼物和汉武帝的书信。由于汉武帝在信中的语气很和气，匈奴单于便以为汉朝天子是讨好他呢！又看到汉朝送来那么多的礼物，心里更加得意不免骄横起来，就说了些狂妄的话，对苏武他们也很怠慢。苏武心里很生气，但表面上还是一团和气。尽量压着火气耐着性子，准备完成任务后及早返回汉朝。
眼看着任务就要完成了，一件很不愉快的事情发生了。
原来，早在苏武出使匈奴之前，有一个叫卫律的汉朝使者投降了匈奴。匈奴单于正需要人帮他出主意，就封卫律为丁灵王。卫律见单于这么器重他，也就死心塌地地跟着单于。于是他把汉朝很多的秘密告诉了单于，卫律有个手下叫虞常，曾被扣留在匈奴。这个人有些骨气，他表面上投降了匈奴，实际上是一直在等待时机，想把叛徒卫律清理掉，然后回汉朝。虞常听说汉朝又派来了使者，而且里面有他的老朋友张胜，于是他就偷偷地和张胜商量说：“我决定除掉卫律这个叛徒。我的母亲和弟弟都在汉朝，倘若我有什么不幸，希望能够得到皇上的照顾。”张胜非常赞成虞常的计划，答应说：“您如果真的这么做，我一定会告诉皇上，重赏您的母亲和弟弟！”当下他拿出好多钱财资助虞常。可是，由于虞常办事不够仔细，计划泄露而被抓。
事情变化得这么快，张胜有些慌了。他怕事情闹大，赶紧去找苏武。苏武听了吃了一惊，说：“看来我难逃此劫了。可我乃堂堂汉朝使者，如果因为这事受到人家的审讯，就等于侮辱了汉朝，给皇上丢脸，给自己丢脸，还不如趁早自杀。”说着，拔出刀就往自己的脖子上抹。张胜和常惠赶紧上前把刀子夺下来。
卫律用各种严酷的刑罚拷打虞常，把虞常折磨得死去活来。重刑之下虞常把张胜供了出来。单于听说汉朝使者参与了这件事，勃然大怒，命令卫律去把苏武召来受审。苏武叹口气，对常惠他们说：“丧失了使臣的气节，使国家受到了侮辱，我即使活着，又有什么脸面回到汉朝呢？”拔出佩刀向自己脖子上抹去。卫律大吃一惊，急忙去夺刀子，可是苏武已经受了重伤，晕了过去。众人抢救了半天，苏武才慢慢地苏醒过来。
单于很佩服苏武的骨气和视死如归的精神。他想：“如果苏武这样的忠臣能为我效力，那有多好！”于是他早晚派人去问候苏武，想软化苏武，让他投降。
苏武的伤势渐渐好了。一天，单于命令卫律提审虞常和张胜，叫苏武去旁听，打算迫令苏武投降。审讯的地方挂满了刑具，阴森森的很吓人，卫律把虞常提上来，宣布他的死罪，当场杀死。然后回头对张胜说：“你身为汉朝的副使，竟敢参与谋杀匈奴的大臣，也应当把你杀了！不过单于有容人之量，你要是肯投降，可以免你一死！”张胜害怕了，两腿一软，跪在地上请求投降。卫律冷笑几声，扭头看看苏武，冷冷地说：“副使犯了罪，你应当跟他连坐。”苏武正色回答道：“我既不是他们的同谋，又不是他们的亲属，凭什么叫我连坐？”卫律被苏武顶得说不出话，气急败坏地举起宝剑向苏武砍来。苏武不但不躲，反而迎了上去。卫律吓得赶紧抽回宝剑。硬的不行，只好来软的。卫律干笑了两声，和颜悦色地说：“苏先生，我劝你还是投降吧！如果你投降，单于保证你此生享尽荣华！否则，身死匈奴空有一片忠心又有什么用呢？”最后还说要和苏武结为兄弟。苏武再也听不下去了，站起来指着卫律的鼻子大骂。卫律被骂得狗血淋头，只好灰溜溜地走了。
单于见苏武这样坚定，更加希望苏武投降。他把苏武关在一个大地窖里，想用饥饿来迫使苏武投降。匈奴地处北方，冬天气候十分寒冷。但是，苏武丝毫也没有动摇，渴了，就抓一把雪塞进嘴里；饿了，就扯一把毡毛大嚼。这样一连过了几天，苏武居然没有死。单于实在无法劝降苏武，又不忍心杀掉这个硬汉子，就下令把他送到北海边上（今俄罗斯西伯利亚贝加尔湖）去牧羊。
这边人烟稀少，就是鸟兽也很少，苏武只好靠野菜充饥，靠羊取暖。过了些日子，单于又派人来劝苏武投降，苏武毫不动摇。一年年过去了，苏武在北海边上竟然待了十九年。
汉朝听说匈奴扣留了苏武，就派李广利、李陵等将军多次攻打匈奴，但一直没有结果。汉武帝死后，汉昭帝即位，匈奴发生了分裂，又想和汉朝议和。汉朝要求匈奴把苏武他们放回来，匈奴欺骗说苏武早就病死了。后来，汉朝使臣又来到匈奴，苏武的副手常惠听说了这件事，就在夜里偷偷地去见汉朝使臣，把苏武的情况详细地报告了汉朝使臣，并且给他出了一个主意，让单于放回苏武。
第二天，汉朝使臣去见单于，要他把苏武放回汉朝。单于又想故伎重施。汉朝使臣就按照常惠教给他的一套说：“单于你怎么能老是骗人呢！你如果一点信义也不讲，怎么能和我们汉朝通好呢？前不久，我们大汉天子在上林苑里打猎，射下一只大雁，那雁脚上系着一条绸子，上面有苏武亲笔写的字，说他在北海边上给你们牧羊呢？你怎么说苏武几年前就死了呢？”单于听了，真的以为苏武的气节感动了上天，连大雁都给他传书呢！他只好放他回国。
公元前81年的春天，苏武、常惠等九个人回到了久别的汉朝。长安人民听说苏武回来了，都出来迎接他。他们看到白发苍苍的苏武手里还执着那根光秃秃的使节，都被感动得流泪了。汉昭帝亲自接见了苏武，勉励了他一番，然后准备了牛羊等祭品，叫他到先帝陵庙去祭祀汉武帝的灵位，把那根光秃秃的使节交还到汉武帝灵前。
苏武出使匈奴时，还是个四十岁左右的中年汉子，十九年后他从匈奴回来时，头发胡子全白了。他那种坚强不屈、忠贞不二的精神感动了很多人，不论是做官的，还是普通老百姓，一提起苏武的名字，人们都称赞不已。
