司马迁游历东南回京城后，跟着古文大师孔安国学习六经，很可能正是由于孔安国的推荐，他才成了汉朝政府的博士弟子员。又经过反复的经书考试，终于被任命为郎中。其时间大概在元狩五年（公元前119年），正值司马迁二十八岁时。
上文提到，从武帝起，汉朝取消了其他各家的博士，只留下儒家的专攻五经的博士。从公元前124年起，又为博士设置弟子员，也就是替他们招收研究生。这些弟子员可以免除徭役，生活费用由政府供应。弟子员的名额长年维持五十名，一年举行一次经学会考，成绩优等、精通五经的一经以上的就可以分派官职。
司马迁就是凭借这套新的选拔官员的办法，由博士弟子员经过考试成为郎中的。
那么郎中是什么官呢？
我们先从汉朝政治制度的特色说起。秦、汉是中国从春秋战国以前的周朝封建制度，进入中央集权帝国组织的时代。汉朝初年的制度，大多还保有西周封建时代余留的残影响，而西周封建时代，封地是封建领主所有，百姓也是封建领主所有，封地中的政治就是封建领主个人的家务，他底下的官吏其实就是他的家臣、门客。这个习惯遗留到汉初，使汉初的天子王室与统治天下的朝政间的界限并不清楚。当时有一种叫做“郎”的官职，属于皇帝左右的侍卫集团，好似天子个人的家臣、门客。而郎中是“郎”这一类官职中的一种。
什么人可以成为“郎”？
早先，“郎”的来源有下面几种：一、汉朝官吏的等级，是以所领俸米多少来分，俸米的单位叫“石”，最高的是三公，属“万石”阶级，其下有二千石、千石、百石等。按照规定，凡是二千石以上的官吏，就可以把儿子或兄弟选送为“郎”，例如苏武就是。二、家财五百万以上的，可以为“郎”，例如司马相如就是。三、具有特殊技能的，例如驾车驾得好的，可以为“郎”。但如果按这三种途径，司马迁都无缘入选，他是在博士设置弟子员这个新办法公布后，通过考试，因成绩优秀才入选为“郎”的。
“郎”在当时官吏的组织系统中占据什么位置呢？
汉朝立国后，基本上沿袭了秦朝的三公九卿制。三公是丞相、御史大夫、太尉。三公共同行使宰相的职权，协助皇帝处理朝政，参与朝廷的行政决策，并且负责具体执行。三公也有分工：丞相是百官之首，太尉掌管军事，御史大夫负责监察公卿大夫。而九卿则为：太常、郎中令、卫尉、太仆、廷尉、大鸿胪、宗正、大司农以及少府。其中廷尉管理刑狱司法，大鸿胪管理外国事务，大司农管理国家财物，三者都算是全国行政性质。其余的，太常管理宗庙礼乐及医药等，卫尉管理宫廷侍卫，太仆管理皇帝出门的车马，宗正管理皇族事务，少府管理山海池泽的税收（这些税归皇帝私人所有），再加上郎中令也管理侍卫，这六种都是宫廷服务性质，等于皇帝的家臣。而“郎”就划归郎中令管理，是郎中令的属官。
“郎”在宫廷中做什么呢？
卫尉管理宫廷侍卫，郎中令管理的也是侍卫，但二者的分工不同。卫尉是驻守宫殿的卫队的队长，以所驻守的宫名为官名，例如甘泉宫卫尉；郎中令则是管理宫殿门户（不是正门，而是左右侧门）的官员的首长，其属官有大夫、郎、谒者等，其中真正管门户的就是“郎”。除了管门户，皇帝出门的时候，他们列成车马队侍从。此外，他们因为平常居住在宫中，皇帝出门时也常随侍在左右，所以是皇帝身边现成的顾问，皇帝有什么事情，也常差遣他们去执行，例如司马相如、司马迁奉旨出差抚慰西南夷。他们在行政上没有固定职务，没有办公室，也没有一定的员额，多时人数达上千人，完全由皇帝自由决定他们的任务和人数。
“郎”又分为四等：议郎、中郎、侍郎和郎中，其中除了议郎的主要工作是议论政策和时事外，其余的几种“郎”都要轮值守卫宫门，皇帝出门时都作为侍从跟随。司马迁担任郎中，属于“郎”的第四等，“郎”的长官是郎中令，可称作宫廷侍卫长，当时任郎中令的是抵抗匈奴的名将李广。
郎中这种官，必须一年到头跟随在皇帝周围，有点像战国时代的士（门客）。当时像明朝的阉党这样的参政的宦官集团还没有形成，皇帝身边的“郎”担任的是后来的参政宦官的工作。
司马谈作为一个父亲，对于儿子做郎中，不一定满意。他所寄希望于儿子的是继承史官的家学，现在成为皇帝身边的内臣——郎中，好比和一只老虎在一起，只要稍有差错，就会被老虎吃掉。并且，置身一班庸俗的官吏之中，将受到功名利禄思想的熏染，这就和史官家族的清廉传统相背离。司马谈深知，自己作为关西人，属于秦国遗民之列，朝廷对关西人一直抱有成见，认为这些人时刻想复辟秦朝，不能重用。关西人进入官场，没有青云直上的机会，挨整治却难免。就拿著名将领李广来说吧，此人祖籍陇西成纪（在今甘肃省东南方），威名震慑边关，匈奴畏惧他，称他为“飞将军”，一听见他驻守在边境，就不敢南下半步。早在文景之治时期，李广就屡建奇功，但一直得不到应有的封赏。到武帝时，李广已经辅佐了三朝天子，却没有一个天子给他封侯。只为一次败绩，就把他撤职为民。后来武帝发觉如果不用他，匈奴就频频南下侵扰，只好又把他召回，派他去当右北平太守。李广的坎坷命运使司马谈心寒，生怕李广的命运日后会降临到他儿子司马迁的身上。
司马迁多次在宫廷中见到自己的上司李广，他的印象是：“我见到的李将军，纯朴得像老农，不善言辞。”他对自己上司的命运十分同情，很想为他抱不平，这种情绪也预伏下他后来的悲剧命运。
司马迁自从当上这个芝麻官后，就没有机会离开首都漫游天下了。但在宫中任职也有好处，他得以认识同为郎中的许多精英人物，如任安和壶遂等，并和他们结为知己朋友；同时他也有机会见到这个有作为的皇帝，观察他的言行和作风，为他以后撰写《孝武本纪》积累了第一手资料。
