《史记·太史公自序》中叙述完东南旅游结束归来后，紧接着说：“于是迁仕为郎中。”也就是说东南游历以后，司马迁就踏入了当官的道路，担任“郎中”，不过究竟是哪一年他没有写明。
司马迁二十岁开始游历了大半个中国，以当时的交通工具，花上一两年时间是需要的，所以他回到长安时大概已经二十一二岁。而在他二十二岁那年，即公元前124年，正好汉朝采取了一个建设性的措施——为博士置弟子员，换句话说，为博士招收学生。我们前面说过，司马迁十一岁的时候，汉武帝采纳董仲舒的建议，把各家各派的博士一律取消，只留下儒家的五经博士。这次提出招收学生建议的，是公孙弘。他表面是个儒家，实际上是个杂家，法家的成分也很大。
汉武帝在实际政务方面根本就不重用儒生，独独以公孙弘为丞相，其实也是因为这个狱吏出身、“习文法吏事”的公孙弘法家成分很重的关系。他这次提出为五经博士招收学生的建议，显然把先前的“独尊儒术”政策变得更为具体，使学习儒学与人事官道相接通，规定学生毕业成绩特别优秀的可以为“郎中”，而通五经中的一经以上者就可以委派职务了。
司马迁为郎中应该就是由这个官道而当上的，因为本来郎官（郎中是郎官的一种）的来源不外以下几种：一、高官子弟。汉朝官吏的等级，是以所领的俸米来分的。俸米的单位叫“石”，最高的是三公，属“万石”阶级，其下有两千石、千石、百石等等。按照规定，凡是两千石以上的官吏，就可以把儿子或兄弟选送为郎，例如苏武就是。
二、富家子弟。家财五百万石以上的，可以把家中子弟选送为郎，例如司马相如。
三、具有特殊技能的人。例如戏车的（即能演杂戏之人）或驾车驾得特别好的，或者近似弄臣之类的人可以入选为郎。
从这原有的三种途径来看，司马迁都不可能入选。他的父亲司马谈为太史令，俸禄不过六百石，离两千石标准还有一段距离。而以这样低的收入，第二种情形也是不可能的。至于第三种情形，司马迁更是不可能。所以司马迁应该是由于博士置弟子员这个新办法公布以后，因为成绩好才有机会由博士弟子被选为郎的。
那么，郎、郎中是什么？
秦、汉是中国从春秋战国以前的封建制度，进入中央集权帝国组织的时代。汉朝初年的制度，大多还保有秦时余留的残影。而封建时代，封地是封建领主所有，百姓也是封建领主所有，封地中的政治就是封建领主个人的家务，他底下的官吏其实就是他的家臣，这个习惯遗传到汉朝初期，使汉初的天子王室，与统治天下的政府间，界限并不是很清楚。那个时候，在基本意义上属于皇帝家务官的宦官集团也还没有形成。全国行政与宫廷服务两套制度是并立或交叉互用的。
郎，是随从在皇帝左右的侍卫，味道有点像战国时代的国君或贵族所流行的“养士”或“食客”。
从组织上来说，皇帝以下的官吏最重要的是三公、九卿。三公在汉初是丞相、御史大夫和太尉。而九卿则为：太常、郎中令、卫尉、太仆、廷尉、大鸿胪、宗正、大司农及少府。
其中廷尉管刑狱司法，大鸿胪管外国事务，大司农管国家财务，三者都算是属于全国行政性质的。其余的，太常管宗庙礼乐及医药等，郎中令及卫尉管宫殿侍卫，太仆管皇帝出门的车马，宗正管皇族事务，少府管山海池泽的税务，而这些税归皇帝私家所有。这六者皆属宫廷服务性质的。
郎就是后六者中管侍卫的郎中令的属官。“郎中令”在汉武帝太初元年（公元前104年）司马迁四十二岁才被改为“光禄勋”。同是侍卫，郎中令和卫尉不同的地方在于：卫尉是驻守在宫殿的卫队队长，以所驻守的宫名为官名，例如甘泉宫卫尉。郎中令则是管宫殿门户（不是正门，而是左右偏门）的主官。其属官有大夫、郎、谒者等。其中真正管门户的就是郎。除了管门户，皇帝出门的时候，他们列成车马队侍从。此外，他们因为平常居住在宫中，皇帝出门时也常随从左右，所以是皇帝身边现成的顾问。皇帝有什么事情，也常差遣他们去执行。他们在行政上没有固定职务，没有办公室，也没有一定的名额，多时人数达上千人，完全是由皇帝自由决定他们的任务和人数。郎又分为议郎、中郎、侍郎和郎中四等，其中除了议郎职为顾问应对，其余的都要轮值守卫宫门，皇帝出门的时候则为侍从。
司马迁担任的郎中，就是这种性质的官。
有一点很值得注意，郎在当时是很受重视的进身台阶。由于科举制度还没有建立，汉朝中、下层官员的主要来源，一个是各政府机关的办事人员，另一个就是郎。前者往往被富人豪门独占，后者若非是祖宗的庇荫，也是家财万贯的人才有可能担任。
司马迁运气不错，正好博士弟子员制度使他有机会踏上这个令人羡慕的跳板。这个跳板因为由皇帝亲自控制，前途非常被看好，也是他向仕宦之途踏出的第一步。究竟他在哪一年成为郎中，到目前还没办法确定，以他二十岁出游，二十一二岁回长安计算，最快也要在二十二三岁才有可能。
从此，司马迁和父亲司马谈一同在宫内任职，只是单位不同。他父亲是太常的属官，他则是郎中令的属官。由于在宫中任职，他有更多的机会可以直接接触一些有名气或有才学的人士，如孔安国、董仲舒，也有人认为就是在这段时间，司马迁才开始和他们接触的。
