在此期间，决死3纵队余部、五专署、长治牺盟中心区领导机关在戎伍胜(戎子和)、董天知的率领下，撤退到石村344旅旅部驻地附近。
1939年9月中旬，687团团部住在高平的东张壁村。一天早饭后，旅政治处主任找张庆林谈话。邓主任对张庆林说：
“为了锻炼你，增加你的基层工作经验，旅里决定派你到687团政治处当指导员，先锻炼一个时期，以后再到营连去工作。
政治处虽是机关，但当指导员和当干事不一样。当指导员要和战士们直接打交道，要做好机关战士的思想政治工作，要搞好机关支部工作”。
本来张庆林是要求到连队去锻炼，虽然目的没有实现，能先到机关做实际工作，也是难得的机会。于是张庆林就愉快地接受了此项任命，这是张庆林第一次走上基层政治工作岗位。
在政治处当指导员，遇上了处里有一位年龄大的老文书，老文书年近五十，身体很好。他怀着一颗报国之心，为了抗日救国，毅然告别妻子儿女，告别家乡，参加了八路军。
因为他年龄大，首长把他留在机关当文书。他是一位老八股，在家读过私塾，写得一手好字。写东西常是之乎者也，说话也文绉绉的。
老先生对张庆林帮助不少，他教张庆林认繁体字、写报告、记伙食账。张庆林和这位老文书还有一段难忘的、而且是有趣的回忆。
一天下午，大家都在吃晚饭，吃的小米干饭，豆角烧茄子。老文书不知怎么高兴了，他对张庆林说：
“指导员，你还能吃多少饺子”？
张庆林问老文书：
“你买多少”？
“1块钱的”。
当时1分钱1个饺子，100个水饺分四碗装，每碗有25个。
“可以”。
张庆林笑着说。
老文书说：
“你要是吃不了，钱由你出，明天你还要请我吃100个饺子”。
说完话，老文书跑到村中间一个小饭店端来四碗热腾腾的水饺，摆在张庆林面前。张庆林虽然已经两碗小米饭下肚，但还是毫不费力地一口气把四碗饺子吃进肚。老文书说：
“小老弟，你真行。这1块钱我出了”。
张庆林笑了笑对他说：
“老大哥，你差点把我撑死。饺子已经进了我肚子，钱当然由我出了”。
当时张庆林的口袋里只有1块钱，就这样吃进肚子了。最后落得个扶墙归去。
为了适应形势发展和对敌斗争的需要，加强对晋冀鲁豫地区部队的统一领导，巩固扩大冀鲁豫抗日根据地，打通与华中地区的联系，相机增援新四军作战。
八路军总部于1940年1月命令，将晋冀鲁豫边区的部队统一编为八路军第二纵队。并以原344旅旅部为纵队部，八路军副参谋长左权兼第二纵队司令员，黄克诚任政治委员。下辖新编第一、二、三旅和三四四旅及纵队教导团、特务营。
为保存培养干部，纵队成立不久，在山西平顺县成立纵队中级干部队，由沈铁兵同志担任中干队队长兼党支部书记，这个队挂靠在教导团里。
八路军第2纵队组成，所属各部队的改编先后是有一个过程的。
改编后，344旅建制保留，属第2纵队建制所辖一部，其番号不变，344旅所辖第687团原建制未动基本不动，2营也就是以前的旅警卫营调出；第688团则是重新改编组建的；
由韦杰的老688团与唐天际的晋豫边游击支队编成新1旅，归属第2纵队序列；
八路军第2纵队由集总直接指挥，以准备南下华中为中心任务，由于苏北，特别是皖东北地区我党领导的各部队不相统属，于是中央委派左总长负责。
第2纵队成立的前一阶段也是分成两部分在不同地区活动的。左总长、黄政委和韩参谋长率纵队部、344旅、新1旅等部，在太行山、太岳山东西屏围的晋东南以及豫北一带活动。杨代旅长、崔主任仍在冀鲁豫，率冀鲁豫支队在那一带活动。这种局面持续了约两个月，其间，杨代旅长、崔主任也曾率部回晋东南休整。
太南区是太北、太岳、直［冀］南和冀西的中枢地带，这里有不少八路军部队，早已形成重要的抗日根据地，日、顽都企图占取这个地区。
就在日军围困八路军抗日根据地的同时，蒋介石令庞炳勋(后与孙殿英部投日敌)40军、晋军孙楚部独8旅及范汉杰27军一部，在晋东南高平、长子、壶关等地修筑堡垒，渐次推进，包围、进逼八路军第2纵队。
为达到教育和争取国民党顽固势力，巩固抗日成果的目的，在政治主动的形势下，八路军第2纵队配合陈赓太岳军区部队(包括386旅、决死1纵队、特务团等)进行自卫，给破坏抗日的反动武装予以打击，收复了部分失地。
3月18日，八路军第2纵队所辖之344旅，全歼来犯的反共急先锋顽军晋东南行署主任孙楚部独8旅第13团，俘该团团长以下200余人。孙楚部锐气大伤，退往晋西。
自此，八路军第2纵队在晋东南稳定下来，能够集中兵力对驻扎在该地区的日军第36师团进行分割打击，使其难以互相策应，不敢轻举妄动。
在此期间，张庆林当学生了。中干队学员是从纵队各部队中（主要是三四四旅）抽调的营团干部和少数连级干部。一共百余人。
由于领导的关怀，张庆林被选送中干队学习。作为贫苦出身的穷孩子，一个表面没有多少文化的放羊娃，第一次走进军队学校的大门，张庆林心中感到十分高兴。张庆林一直希望能进学校，像抗大毕业的学生一样，学到渴望学到的东西，这个愿望终于实现了。全队约百余人，其中张庆林是年纪最小的，职务也是最低的。
4月中旬，奉中央军委命令，黄政委、韩参谋长率八路军第2纵队司令部、直属队和教导团为一路，第2纵队下属的344旅为另一路。
