司马迁的另一个老师董仲舒，是广川县（今河北枣强县东）人，乃西汉今文经学的代表人物之一。但董仲舒不怎么研究《尚书》，他一心扑向《公羊》《春秋》等古籍。从狭义来说，董仲舒只是“公羊学派”的领袖，但从广义来说，他的影响改变了整个今文经学。首先，他把阴阳五行作为经学的核心，将春秋战国以来的百家学说都纳入儒学一家，同时主张社会要更新、政治要改革。在他的引领和推动下，今文经学家对经书可以依政治需要而随意解释，以适应大汉帝国的政治需要，这么一来，今文经学就成为了西汉时的官方御用哲学。
景帝时，董仲舒已被看成是今文经学的代表，被选为博士。汉武帝登基后，于建元元年（公元前140年）革新政治，下令全国选拔贤良之士，优秀者可录用做官（这项改革措施前已述及），董仲舒再次中选。元光元年（公元前134年），汉武帝亲自考察他的学问，他一一答复汉武帝的提问。
他向武帝呈上对策三篇，史家称其为《天人三策》，他在《三策》中提出自己的哲学体系，即天人合一学说，这种学说的目的是要构建天地万物归于一元的统一世界，因而很适合汉朝的大一统政治，为汉武帝所采纳。
董仲舒的思想也有进步的成分，如其中的天人感应说，目的是要限制君权。董仲舒也提倡仁政，主张薄赋敛，让耕者有其田；又提出兴学校，让贤人从政，宣扬行善者得众。
董仲舒提出的三纲五常伦理学说，即君为臣纲，父为子纲，夫为妻纲，以及“仁、义、礼、智、信”五项经常要遵循的道德准则，对后世影响很大，甚至成了维系两千年中国封建皇权社会的准绳。
当时，董仲舒的威望很高，被尊为群儒之首。他从公元前140年起就开始做官，历任江都相、中大夫和胶西相等职。元朔五年（公元前124年），朝廷兴立太学，设立公羊春秋学，这是一门专门研究古籍《公羊》《春秋》等的学科，董仲舒的学说成了该学科的典范教义。元狩二年（公元前121年），董仲舒辞掉官职回家，潜心于学问之中。据说三年之内，他强制自己的眼睛不离开书本，连窗外的花园也不偷看一眼，其治学的精诚一贯达到无人可比的程度。
司马迁出外游历之前，就仰慕董仲舒的大名，可能也和这位大儒见过面，聆听过他的教诲。元朔三年（公元前126年），司马迁二十岁时，出外壮游，按照父亲和老师们的指示，采集各地的旧闻轶事，以便写作历史。他游历归来时，大约是公元前124年，也就是他二十二岁时。之后不久，就逢上董仲舒居家茂陵的时候，这样司马迁就可以正式拜董仲舒为师，常常向其求教了。这段时间，估算起来，正是司马迁二十五到二十九岁之时（公元前121年—前117年）。
司马迁主要是向董仲舒学习《春秋》和《公羊传》两书。
《春秋》是儒家经典之一，也是我国现存最早的编年体史书，记载了上自鲁隐公元年（公元前722年），下至鲁哀公十四年（公元前481年）的历史。其写作特点是所谓“春秋笔法，微言大义”，但全书只有一万七千字，过于简略。后世学者为了丰富历史细节，还原历史真实，对《春秋》这部经典加了许多引申和解释，称之为“传”。到了汉代，为《春秋》作的传已有五种之多，它们是《左氏传》三十卷，《公羊传》《榖梁传》《夹氏传》和《邹氏传》各十一卷。汉代时，董仲舒是对《春秋》这部经典最精通的一个人，而在解释这部经典的各种“传”中，董仲舒最擅长、最精通的是《公羊传》。
《公羊传》又称《春秋公羊传》或《公羊春秋》，相传为齐国人公羊高所撰。公羊高是孔门弟子子夏的学生，他讲述《春秋》的微言大义，传至玄孙公羊寿。汉景帝时，公羊寿和他的学生齐国人胡母生最后著录成书，即今之《春秋公羊传》。该书专门阐释《春秋》的微言大义，它不用史实疏证经文，而是逐字逐句地解释《春秋》，以问答体逐层阐说大义。史料价值不高，但能使读者理解《春秋》的字义，对了解先秦时期的名物制度和礼仪制度有一定的参考作用。西汉时期解释《春秋》，以公羊学派最为盛行。
公羊学派的领袖董仲舒经常在家中讲学，弟子众多，很多人甚至无法见到他的面容，只能跟随他的弟子学习。那些号称董氏弟子的人，真正听过董仲舒讲授的人，少之又少。而司马迁师承董仲舒，却是多次听过董仲舒讲课的，这在《史记》中有所反映，如《太史公自序》记载司马迁与壶遂大夫问答，司马迁的答语中就有“我听见董仲舒先生说过”等语，这篇著名的问答如下：
壶遂是西汉著名天文学家，在朝廷任中大夫，是光禄勋的属官，秩一千石。某天，壶遂大夫问司马迁：“孔子为什么要写作《春秋》？”
司马迁答道：“我听见董生（董生是对董仲舒的尊称）说过：‘周道废弛时，孔子做了鲁国司寇，却遭到诸侯的迫害、大夫的阻挠。孔子知道言之不用、道之不行，便坐下来著书，记述鲁国二百四十二年的历史，作为天下功过是非的标准，贬斥诸侯，讨伐大夫，以达到探讨帝王事业的纯正目的。’孔子申述这件事的意义说：‘我想与其空发些议论，倒不如表现在行动中更为深刻明显。’也就是说，坐言不如起行。”
壶遂大夫把头接连摇了好几下，说道：“既然《春秋》是孔子针对当时的乱世而写作的，郎中（郎中是司马迁的官衔）您就该知道，时代在进步，今非昔比，新的理论不断淘汰旧的，您常常鼓吹《春秋》为不刊之论（刊，削去的意思，不刊之论指不能更改或磨灭的言论），道理何在呢？”
司马迁认真反驳道：“大夫此言离《春秋》的意义差之甚远！《春秋》的主题永远不会失去意义。这本经典上则阐明三王之思想，下则辨明人事的规律，解释疑惑难明的事情的道理，判明是非，审定历史上可疑的案例，褒扬善良，贬斥邪恶，推崇贤人，抨击不肖，恢复已经灭亡国家的称号，延续已经断绝的世系，修补弊端，振兴已荒废的事业，这是最大的王道，乃万世尊奉的准则。称为不刊之论，难道不可以吗？”
旁边的博士、宿儒们听了，都拍手叫好，于是司马迁进一步发挥说：“孔子整理或编纂的先秦典籍有《诗》《书》《礼》《乐》《易》《春秋》六部经典，每一部都是对从伏羲氏和轩辕黄帝以来的三千年华夏文化的总结，每一部都有不可替代的独特功能。《诗经》记载山川、溪谷、禽兽、草木、牝牡（牝，pin，雌性的鸟兽，牡，mu，雄性的鸟兽）、男女，所以长于教化；《书经》记录先王的事迹，所以长于政事；《礼经》规范人伦，所以长于实行；《乐经》是礼乐制度建立的依据，所以长于陶冶性情；《易经》谈天地、阴阳、四时、五行，所以在说明变化方面见长；《春秋经》明辨是非，所以长于治理百姓。由此可见，《诗》可以用来表达思想，《书》可以用来指导政事，《礼》可以用来节制人，《乐》可以用来抒发平和的感情，《春秋》可以用来阐明仁义。如果要治理乱世使它归于太平，再没有比《春秋》更实用的了。《春秋》的文字虽然只有一万七千字，但它的要旨有几千条，万事万物的变化分合，都在《春秋》里面。”
听众一齐说道：“司马郎中说得有理，壶遂大夫应当服输了。”
“未必！大家也太性急了点吧？”壶遂大夫说，“其他经典我懂的不多，面对众位大儒，我不妄加评论，但《春秋》之道，太虚无缥缈，据我看来，并非今日王治之道，郎中您鼓吹《春秋》的思想是最大的王道，万世尊奉的准则，未免危言耸听吧？”
司马迁说：“这怎么是危言耸听呢？我以为凡人不可不知《春秋》。《春秋》一书所体现的礼义、伦理准则是天下之人须臾不可违背的为人、为政的准则。做国君的不可不懂《春秋》，否则面前有谗佞之徒却视而不见，奸贼之臣跟在后面也不会发觉；做臣子的不可以不懂《春秋》，否则就只会墨守成规而不懂因事制宜，遇到突发事件而不知变通处理。为人君父者不明白《春秋》大义，必定蒙受着首恶的罪名；为人臣子者不明白《春秋》大义，必定陷入篡弑君父的罪恶。《春秋》是礼仪的本原。礼仪是在未然之前加以禁止，法令是在已然之后加以实施。法令的作用容易看到，礼仪的奥妙难以了解。所以孔子才作《春秋》以解释礼仪。大夫怎么能贬斥《春秋》呢？怎么能说《春秋》之道非王治之道呢？”
他的慷慨陈词令在座的人感到吃惊。壶遂一向能言善辩，在司马迁面前，自然不肯拜下风。他又问司马迁说：
“臣还是有所不明，请郎中您详细解答。孔子时代，上无明君，下得不到任用，所以他才写作《春秋》，流传下一纸空文来判断礼仪，取代帝王的法令，这也是圣人的无奈。现在上有圣明的天子，下可以恪尽职守，万事顺遂，井然有序，听说郎中您在写《史记》，您在这本书中论述的东西，要说明什么呢？”
司马迁坚持说：“壶大夫言之无理。我听先人说过，‘尧舜至圣，《尚书》还要加以记载；汤武至隆，诗人还要加以歌颂。《春秋》采善贬恶，推崇三代的功德，褒扬周室的事迹，不仅仅是讽刺。’汉朝兴起以来，天子至明，频获符瑞，封禅泰山，四方朝拜的人，不胜枚举。臣下百官即使竭力颂扬圣德，还是不能尽如人意。如果士人贤能而不用，这是有国者的耻辱；如果主上圣明而其德行不流播，这是主管的官吏的罪过。如果我职掌太史，废弃英明的圣主的盛德不记载，埋没功臣贤士的业绩不追述，忘却先人的遗训，罪莫大焉。此外，我的《史记》只是讲述旧事，记录下来供后世参考而已，不是所谓创作，大夫用《春秋》相比，可谓谬以千里。”
司马迁一番话，说得壶遂无言以对。他这篇长篇答语，本意在于论《春秋》的意义，其内容是董仲舒的《春秋繁露》一书的精华的化用，由此可见，司马迁是董仲舒的高足。
司马迁的第一个老师孔安国因坚持对古文进行严谨的训诂，不曲解原意以迎合当前的政治，因而被排挤出京师，被贬为临淮郡太守，临淮郡是汉武帝于元狩六年（公元前117年）设置的，下辖二十九个县，政务很忙，后来孔安国积劳成疾，死在那里。
司马迁的第二个老师董仲舒死得更早，元狩六年（公元前117年）就去世了。他一生著作丰富，共计有一百二十三篇，十余万字。留传至今的仅有《春秋繁露》和《天人三策》两种。
