司马谈在临死时对司马迁说：“余死，汝必为太史。”负薪塞河的第二年（公元前108年），三十八岁的司马迁果然被任命为傣禄六百石的太史令。这一年，距离卫青、霍去病最后一次大规模出击，使匈奴被迫逃到远方已经有十一年了，距离南越平定也已经三年了，西南夷含滇国之内属（指作为汉朝之属地）则已完成一年。在东北方面，这一年灭了朝鲜卫氏，在其地设立了四个郡。西域方面，这一年击破了杀汉使的楼兰、车师两国，从此汉使西行可以无阻。另外，今青海及甘肃西南部、四川北部一带的西羌，也已经平定三年了。
所谓太史令，在战国以前并没有，只有太史（写作大史，“大”字读“太”）。在周礼，属于春官，春官除了太史以外，还有太祝、太卜等，掌邦礼，以事神为主。司马迁说他的祖先是“文史星历，近乎卜祝之间”，指的就是古代太史的性质。太史令最初的职务是记言记事，而古人最重视鬼神灾祥的事情，所以既记人事（文史），也记天事（星历），古代史官是与历官不分的。汉朝距离周代很近，这种做法仍然保存，太史令等于是太祝、太史和太卜三项合而为一的职位。
说到司马迁担任太史令，就会使人联想到他写的《史记》。是的，担任太史令与写《史记》确实是有关系。但有一个观念必须弄明白，我们可以说司马迁担任太史令，所以他有办法或较有可能写成《史记》，但不能说他担任太史令，所以他必须写《史记》或写史。
所谓史书有广义和狭义的区分，广义的史书是泛指所有可依据的记史的书。狭义的史书则是指有组织、有体例的书。依照狭义的史书来说，编年体的《春秋》才是中国的第一部史书。那么，为什么说“担任太史令则必须写史”是错的呢（此处的写史指的是写狭义的史书）？因为在司马迁的时代，还没有官方修史的制度。真正的官方修史，要到唐朝以后才有。
就实质上说，古代所谓史官掌管星历及记言、记事，其所记的言与事，用现代的话说，不过是史料而已，只能说记下来存档，并没有加以运用，组织编写成一本史书。表面上是因为没有官方修史制度，史官还没有这个责任，实际上则是史书的体例还没有被发明。孔子作《春秋》立下了编年体的典型，到了司马迁，则开创了以人物为中心的纪传体。
司马迁是开创者，而不是依例行事，或依职务办理。因此不能说他是太史令，所以他必须写《史记》。《史记》是他个人的私家著作，是接受父亲遗命，是自比于孔子所修的《春秋》以及个人受了挫折及侮辱而发愤等几个因素所促成的。而且事实上，《史记》并不是在他担任太史令任内完成的，与太史令的职务并无职责上应该或必然的关系。不过，太史令这个职务确实是他完成《史记》的不可或缺的条件。因为这时的太史令除宗教方面的职掌以外，还负责保管官方典藏的文书及掌握得到的历代史料。又因为要负责记载当代时事，当时规定天下各级政府的政务报告（以有数字者为主）在呈送给丞相的同时，要分送一份给太史令，或说呈送丞相之前，要先送给太史令，以便作为记录的依据。而这些东西都是写史所必需的材料，也是民间无法接触的，若非太史令是难以接近的东西。所以说司马迁担任太史令，他才有办法或较有可能写成《史记》。也因此司马谈的遗命说：“为太史，无忘吾所欲论著矣！”把“为太史”作为“论著”的先决条件。
关于太史令，司马迁也是个分界点。司马迁是最后一任的宗教、星历与记言、记事合一的史官。在他以后，两者就开始分途，太史令只管占候星历，而不管记言、记事的事务，唐朝改太史为司天台，其主管叫司天监或太史令，到明朝又改为钦天监正，很符合它的实质内容。至于记言记事的史官，从他以后就不叫太史令，而叫著作郎、起居史、起居舍人等，分工较细。到元朝以后，又以翰林院兼掌修史之任。所以明、清两代的士子，如果入了翰林，往往自称“太史氏”，又在他们的门匾上写着“太史第”。他们所谓的太史，又恢复到司马迁以前的意义。
《史记·太史公自序》写到他被任命为太史令的时候说：“而迁为太史令，绌史记石室金匮之书。”石室金匮就是国家藏书之处，绌就是阅读而加以整理。看来，这应是令他兴奋而感到向往的生活。
另一方面，太史令也管祭祀的事情。汉武帝因为敬鬼神和求神仙，经常到处巡游祭祀名山大川等，而不论是以管祭祀还是管记事的职责，司马迁作为太史令都要护驾随从。他上任的第二年，又随汉武帝巡游到达了雍祭祀五时，然后到回中（今陕西陇县西北），出萧关（甘肃的东北部），绕了一个大圈，往东到鸣泽（河北省张家口东南方的涿鹿），再转向西南经山西北部的恒山回京城。司马迁在《史记·五帝本纪》所说的“余尝西至崆峒，北过涿鹿……”中的涿鹿，就是这次巡游经过的。
第二年（公元前106年）汉武帝又到南方巡游，司马迁随行先到南郡（今湖北一带），又到今湖南南部宁远县的九疑山，传说虞舜葬在这里，于是在此举行祭祀大礼。然后到天柱山（今安徽东南部的霍山），从浔阳（今江西九江）改经水路到枞阳（今安徽桐城东南），巡游的扈从队伍十分浩大，《汉书》上说在江上“舳鲈千里”。五十一岁的汉武帝据说还亲自射死了江中发现的一只蛟。又经过鄱阳湖，沿途巡礼名山大川，向北到琅琊（今山东诸城县东南）及山东沿海，再到泰山增封。武帝还学习古代天子，在此处接见诸侯王、列侯及接受各郡国呈报的账目。
这一年，大将军卫青去世，这似乎是汉武帝时代盛极而将衰的讯号。同时代的名臣、勇将多半已经不在了，李广、霍去病已死了十几年，那位协助汉武帝严厉控制天下的法家人物张汤，也死去将近十年。而卫青的去世，使汉武帝更感到人才即将殆尽的危机，于是他以“盖有非常之功，必待非常之人”而下诏求才。
这年前后可说是人才交替的时期。司马迁本身接替了父亲的位子担任太史令；外戚方面，卫子夫时代的卫氏时代早已结束，卫青的死等于是为卫氏时代加上一个句号，代之而起的将是李氏。抑郁的关西军人、李广的第三代，已经长大成人，也准备在下一幕的汉和匈奴的战争中登场。而这三方面的“不期而遇”正为司马迁后半生遭逢的悲惨命运徐徐揭开了序幕。
