经过了“祠后土”“祭太一”等小规模的封禅实践后，汉武的大型封禅活动终于拉开了序幕。元鼎七年（公元前110年），一切上泰山的准备工作都已就绪，只等汉武帝一声令下，就可出发了。负责的官员拟定了随从封禅的人员的名单，呈交武帝核准，武帝划掉了司马谈的名字，保留了所有方士和巫师的名字。至于汉武帝的心意，大家不说已经肚明。武帝封禅的最大心愿是上山找到仙人和长生不老的仙药，方士和巫师是他这方面的助手，司马谈上山只会妨碍他这样做。
司马谈听到随从人员中没有他的名字，既担忧，又气愤。令他忧虑的是伴君如伴虎，今天受到如此冷遇，说不定是日后大祸临头的预兆；气愤的是自己为了封禅的大事忙碌了大半辈子，好不容易盼到这一天，他的一切努力即将成为现实的时候，可是却得到了不准参加的回报。而那些毫无贡献的方士们反而都能参加，世上哪有这么不公平的事情呢？他对远道赶来和他见面的司马迁说：“今日天子继承已延续万年的传统，上泰山封禅，可是我不能跟随前去，这是命运在捉弄我啊！我的命运怎么这么不幸啊！”这时他已病得很重。
据《汉书》记载，元鼎七年十月（当时以十月为岁首），武帝北巡，登单于台，遣使于匈奴单于挑战，但单于不敢出来应战。春正月，武帝率领人马经过缑氏（今河南省偃师县南），然后去泰山封禅。
当方士们正在泰山上围绕着武帝热火朝天地欢庆封禅时，司马谈却独自在洛阳无限凄凉地面对死神。
司马谈之所以因封禅的事最后忧愤而死，是因为他对于封禅有自己的立场：封禅是为了显示国家的太平，并非为了求不死的仙药，汉武帝受了方士们的愚弄，使封禅偏离了正确的方向，劳民伤财，迹近荒唐。司马谈被方士们排斥，不能扈从封禅，也就不能将自己的立场向武帝、大臣等剖明，更不能将封禅典礼引导到正确的方向，因此登时气死。后来司马迁在《封禅书》和《太史公自序》中将父亲的立场向世人说明，使世人对他父亲的死因有正确的看法。
对司马谈的死因，清朝的学者方庖在其《书太史公自序后》中有正确的论述：“盖封禅用事虽希旷，其礼仪不可得而详，然以是为合不死之名，致怪物，接仙人蓬莱士之术，则夫人而知其妄矣。子长恨群儒不能辨明，为天下笑，故寓其意于自序，以明其父未尝与此。而所为发愤以死者，盖以天子建汉家之封，接千岁之统，乃重为方士所愚迷，恨已不得从行，而辨明其事也。”
方庖在这里阐述的观点是这样的：封禅的事情是许多年代才有一次的盛典，其中究竟采用什么样的礼仪制度，我们不可能完全知道。然而如果以祈求长生不老的名义来举行这样的典礼，或者攀上高山举行祭祀只是为了寻求怪异之物，甚至想借此事招引仙人来，以达到自己航行到蓬莱仙岛的目的，那么，世人都知道这是愚蠢的行为。令司马迁恼恨的是：许多腐儒跟随武帝封禅，却弄不清合理的封禅和荒唐的封禅的区别，也伴随着皇帝做寻找仙人、追求怪异等蠢事，以至成为天下人的笑柄。因此，司马迁将自己和父亲对待封禅的态度写入《大史公自序》中，以表明他的父亲和那些跟随武帝封禅、大搞寻仙活动的方士、腐儒们是不一样的。而司马谈之所以气愤而死，正是由于他认为：身为天子的武帝代表大汉帝国举行这样隆重的封禅大典，承继一千多年来敬畏大自然（即天神）的传统，本是一件大好事，不料又一次被方士所误导和迷惑，落入寻仙和寻找不死药的巢臼。好事变成了劳而无功的坏事。更令司马谈气愤的是，他自己被方士们排斥在外，不能参加他多年设计的封禅盛典，因而也不能向皇帝陈述自己主张的正确和指出方士们主张的错误。
方庖说出了导致司马谈死亡的真实原因：他不甘心眼睁睁地看着他多年策划的神圣的封禅大典被方士们引入求仙的歧途，可是他又无可奈何，无法改变现状，只能眼睛一闭，撒手尘寰。
据记载，司马谈死于公元前110年，武帝于这年夏四月上泰山封禅时，将年号改为元封元年。
各种证据表明，司马迁比自己父亲幸运一些，他是参加了宏大的封禅典礼的。当时他本来奉使巴蜀以南，但为了参加封禅大事，千里迢迢兼程赶到今天的山东泰山地区。一方面是必须向武帝报告出使经过，另一方面司马迁当时担任郎中，是近侍官，必须参加封禅。
除上述的《太史公自序》外，《史记》中最能反映司马谈、司马迁父子的封禅思想的篇章是《封禅书》。这篇文字由司马迁执笔写作，但是在司马谈整理的资料的基础上完成的。其中详细描述了秦始皇、汉武帝等封建帝王劳民伤财搞迷信活动的情形，语气中带有讥讽。
从这篇长文中，我们看不到鬼神赐福的描述，却看到各种巫术不灵验的记录。
如关于海上仙山的传说，谈论它们的方士多到数不清。春秋时齐威王、齐宣王、燕昭王都曾派人下海寻找蓬莱、方丈、瀛洲三座仙山。据说这些仙山坐落在渤海中，离人间不远。众仙人和长生不老药都在那儿。远远望去，三座神山像天上的云气，但船只将要逼近时，风就把船吹开，始终不能到达那儿。秦始皇统一天下以后，曾派人携带童男童女到海上去寻找这些神山。但船只都空手而归，都拿被风所阻作解脱之词。后来，秦始皇亲自坐大船沿海北上，希望能遇到海中三神山，得到长生不老药，结果毫无所获，回京途中，到沙丘逝世了。
如汉文帝时有个巫师新恒平，自称有观望气数的方术。他说长安东北有一道神气，凝成五彩，于是，文帝在渭阳建五帝庙。庙成，新恒平组织人举火照彻四周，光辉上连天际，文帝见了，以为真是神气出现，就封新恒平为上大夫，赏赐多至千金。后来，新恒平继续弄虚作假，他预先派一个人捧着一个玉杯在金殿下，然后对文帝说，“金殿下面有宝玉的瑞气呈现。”察看时，果然有人呈献玉杯。新恒平又说自己能使过了正午的太阳再回到天中间，当时也没有仪器测量，就凭他胡说，文帝竟信以为真。后来有人上书告发新恒平所称宝气神异的事迹，都是诈术，文帝很生气，逮捕新恒平加以拷问，果然都是作假，于是诛杀了新恒平。
汉武帝时，齐人少翁由于在夜间能让天子从帷幔中望见逝去的王夫人，被封为文成将军。但后来少翁的巫术都无效，招神没有神降临。这位巫师黔驴技穷，冒险玩最后一招：用帛书喂牛，却装作不知道，又说：“这牛腹中有奇异。”杀了牛取出帛书，上面的话极其荒谬，武帝认出书上的字体是少翁的笔迹，经过拷问，果是作伪，便杀了文成将军。
方士公孙卿说河南缑氏城（今河南省偃师县东南）有仙人踪迹，汉武帝信以为真，赶到缑氏城去看，却没有看到，武帝觉得受了骗，责问公孙卿说：“你不会再学文成将军说谎吧？”后来公孙卿又说在东莱山看见了神仙，武帝来到东莱，逗留了几天，没有看到什么，只见到一个很大的脚印。
司马迁在文中最后说：从武帝初次封禅起，十二年以来，对五座大山（五岳）、四条大河（四渎）都祭遍了，派方士四处寻找神仙，到海上去寻找蓬莱仙境，始终没有结果。而公孙卿迎候神仙，只能拿大脚印来搪塞，找不到真迹。武帝逐渐嫌弃方士们的奇谈怪论了。
如果说司马谈是道学家，对方士们的说法还有点相信的话，司马迁是不信的。他在《封禅书》中指出孔子和其他儒士对封禅都采取嘲笑的态度，也指出管仲等大政治家千方百计阻止齐桓公上泰山封禅。由此可见司马迁对封禅等活动中的迷信成分的批判态度，比他父亲更进了一步，而他对于封禅这样的事也远没有他父亲那么热衷。
