苏武在汉廷时，曾与李陵俱为侍中，两人很是要好。苏武出使匈奴的第二年，即天汉二年（公元前99年），李陵兵败投降，自知大节有亏，明知他身在匈奴，却不敢求访。正所谓怕什么来什么，数年之后，单于指派李陵前往北海，履行劝降大业。李陵又喜又忧，喜的是又可以见到故人了，忧的是自己脸上无光，就这样怀着忐忑不安的心情上了路，行至北海，置酒设乐，款待苏武。李陵诚恳地说：“单于听说陵与子卿素来交厚，因而特意派遣我来做说客，言欲真心地厚待足下。你到死恐怕也不能归汉了，白白地在这没有人的地方受苦，坚守信义，可是，又有谁知道呢？先前长君（苏嘉的字）做奉车都尉，随从圣驾去雍地的棫阳宫，扶辇下台阶时，触柱折辕，被指控为大不敬，不得不伏剑自刎，天子赐钱二百万以葬。你的弟弟孺卿（苏贤的字）随从圣驾去祭祀河东地神，过河时宦骑与黄门附马争船，前者把后者推堕入河，以致溺毙，宦骑逃亡。圣上下诏让孺卿负责追捕，人没抓到，孺卿惶恐服毒自杀。我来匈奴之前，你的母亲已经去世，我曾送葬至阳陵县。你的妻子正当青春年少，听说已经改嫁了。你家中仅剩的两个妹妹，两个女儿和一个儿子，从你离家至今已有十余年了，是否存亡尚不可知。唉，人生如朝露，本就时日不多，何必要让自己受这么久的苦呢？我刚投降的时候，也痛苦得如同发疯，恨自己负汉，以致连累老母被收押在保宫里。所以，你不欲投降的心情，我是懂的，可是，难道会比得过当初的我么？如今陛下春秋已高，法令无常，大臣无罪却被夷灭者达数十家；安危不可知，子卿还用得着再尽忠么？请足下听我一言，不要再有别的心思了。”
苏武道：“我苏家父子没什么大的功德，全是仰仗陛下才得以位列将帅，获爵封侯，兄弟皆为亲近之臣，因而常思肝脑涂地，以谢圣恩。现在若需要我杀身以报，即使是斧钺汤镬，也甘愿承受；更何况，臣子侍奉君主，就好像儿子侍奉父亲一样，子为父死，虽死无恨。请勿复再言。”
李陵不再多说什么，与其对饮数日，又寻机劝其听从自己。苏武正色道：“我本来应该早就死了。如果右校王（李陵在匈奴的爵位）一定要让我投降，那么，请停止今日之欢，让我直接死在你的面前。”李陵见其一片至诚，喟然叹曰：“嗟乎，子卿真是义士啊！”不禁自惭形秽，“陵与卫律之罪上通于天。”顿时泪下数行，沾湿了衣襟。苏武也不知该如何劝慰，只得说善自珍重。于是李陵诀别而去。
李陵虽去，却始终记挂着苏武，又不好意思直接给他什么东西，便让且鞮侯单于之女、匈奴公主、他的妻子赠送牛羊数十头给苏武。
过了一些时候，李陵又到了北海，对苏武说：“区脱（边境）地区捕捉得几个云中郡的人，言太守以下吏民皆白服，说是圣上驾崩了。”苏武听了，面向南方，嚎啕大哭，因过于悲痛以致吐血；尽管如此，仍然旦夕哭吊。
后元二年（公元前87年），昭帝即位。匈奴与汉渐渐达成了和议，于是汉廷寻求苏武等人。匈奴单于心想困辱汉使终究不是什么光彩的事，加之心有不甘，便慌称苏武已经死了。昭帝不信，又派人前来打探。常惠得知了这一情况，便请求看守人员行个方便。这十多年来，守卫目睹了他的忠贞，早不由自主地生了敬佩之心，有心成全，便一口答应，领着他偷偷地去见了汉使。汉使见他居然还活着，惊得半天合不拢嘴，欣喜之余，忙询问苏武的情况。常惠详细地述说了众人这些年来在匈奴的情况，末了，特别叮嘱道，要想单于放了苏武，须如此如此：只道前不久汉天子在上林苑中射猎，获得一只大雁，其腿上系有一帛书，上面说苏武等人在某泽中。
汉使大喜，依言而行。单于大惊，不敢直视使者，为掩饰尴尬，看看左边的护卫，又瞧瞧右边的部属，心想莫非真有此等神异之事么？虽然疑惑，但还是诚恳道歉，言苏武等人确实还活着……
李陵得知苏武即将归汉，特意携带了酒菜，前来祝贺，感叹地说：“今足下还归，扬名于匈奴，功显于汉室，虽古竹帛所载，丹青所画，又有谁比得上你呢？陵虽然愚劣胆怯，但假使朝廷当时暂且宽恕我的罪过，保全我的老母，使我能忍辱负重而不忘早已立下的志向，那么，曹柯之盟（春秋时，齐桓公与鲁庄公会盟于轲，曹刿执匕首迫使齐桓公答应退还侵鲁之地）必会重新上演，如此便可立功赎罪了，这也是我初降时夙夜所思，一直念念不忘的。可惜啊，人算不如天算。先帝为贼臣所蒙蔽，不听良言，不辨贤愚，族灭我的全家，令我身败名裂，为世人所耻笑，既如此，那我还如何顾得上立功归汉的宿愿呢？唉，算了吧，一切都已过去了。子卿，我说这么多，只想让你知道我真实的心意罢了。如今我已成了异国之人，这一别咱们就永远隔绝了。”苏武也叹息不已。
李陵起身，拔出宝剑，翩翩起舞，放声歌唱：“径万里兮度(渡)沙幕(漠)，为君将兮奋匈奴。路穷绝兮矢刃摧，士众灭兮名已（颓）。老母已死，虽欲报恩将安归！”不觉泪流满面。苏武不知该如何劝慰自己的老友，也是泪下数行，深情地凝视着他。不久，两人依依不舍地惜别了。
单于召集苏武及其以前的部属，除去已归降和逝世的，先前的百余人，如今总共只剩下了十人。单于也感叹不已，劝慰一番，又赞苏武乃国士无双。苏武坦然一笑，起身致谢，便领着九人回国了。
始元六年（公元前81年）春，苏武等人回到长安。京师震动，男女老少，纷纷出动，争相一睹这些传奇人物。自霍光以下的朝臣也纷纷投来赞许的目光。昭帝也很敬重他们，令苏武备齐一牛、一豕、一羊等太牢，拜谒武帝园庙。苏武又痛哭了一番，言自己虽历经坎坷，但总算是不辱使命。
归来后，昭帝升任苏武为典属国（掌管少数民族事务），秩中二千石，赐钱二百万，公田二顷，住宅一处。常惠、徐圣、赵终根等皆拜为中郎，赐帛各二百匹。其余六人因年老而返乡，各赐钱十万，终身免除徭役。
元凤元年（公元前80年）鄂邑长公主，燕王刘旦，左将军上官桀、其子骠骑将军上官安，御史大夫桑弘羊等人谋反，皆被诛杀。苏武之子苏元与上官安交情不错，免不了牵涉其中，因而也被处死了。
当初后元二年（公元前87年）的时候，武帝病危，临终之前，指定大司马、大将军霍光领尚书事，车骑将军金日磾、左将军上官桀、御史大夫桑弘羊等为其助手，共同辅佐刘弗陵、时年方八岁的汉昭帝。
