撤退命令下达以后，在徐州的各部队陆续向西南方向的河南永城逐次撤退。让李宗仁深感意外的是，在撤退的关键时刻，忽然从鲁西方向闯入一股日军前来堵截，一下打乱了整个后撤计划。在突然而至的日军面前，原来有序后撤的大军被打乱了建制，部队官兵惊慌失措，四处乱窜，混乱不堪，形势非常危急。就在这紧要时刻，多亏了张自忠第59军临危不乱，独当一面，主动冲上前迎战这股日军，顽强地顶住了日军的攻击。第59军不愧是一支善打硬仗的部队，他们自动替代了孙连仲部队的“殿后”角色，关键时刻浴血奋战，为全军后撤打开了生命通道。
实际上第59军此时能参战的部队已经不多。该军仅有的主力独立师，已从“台儿庄战役”前的1.5万人锐减到不足3000人。部队的武器装备更是破旧，士兵使用的枪械大多是“汉阳造”和“老套筒”，轻重机枪更是数量有限。但张自忠还是毅然主动承担了掩护全军后撤的重担。在撤退途中，其它部队已溃不成军，而第59军却始终秩序井然。因为张自忠在撤退时，要求部队将军帽一律反戴，这样不管部队处在多么混乱的状态，第59军的官兵只要认准了反戴的军帽，就能很快在溃兵中彼此找到对方，确保了部队建制整齐如一。友邻部队在后撤中都将大炮辎重一路抛散，而第59军每一门炮都保存完好，并始终随队前进，保证了部队完好的战斗力。在抗击了从鲁西方向赶来的日军以后，第59军又主动出击，打掉了沿途遇到的日军一个辎重部队，缴获了上百匹战马和百余箱弹药。正是因为张自忠第59军在后撤中的前突后顶，与尾追的日军黏在一起拚死苦战，才保证了如潮水般后撤的60万大军从河南永城方向安全撤离。最后，连李宗仁的嫡系桂军也在撤退中出现了溃乱，白崇禧连续奔波七天七夜才到达安全区域。由于极度的惊慌疲惫，白崇禧多次从战马上摔下，摔得鼻青脸肿，异常狼狈。
最值得敬佩的张自忠第59军，在大军全部撤离之后，才借助夜色掩护逐次脱离战场。当时第五战区派往一线督战的一个联络参谋，亲眼目睹了这场大撤退的场面，他连连赞叹：张自忠予人以安，自处危境，真乃名将典范！
大军撤离后，国民党统帅部了解到相关情况，专门向第五战区发出了蒋介石签发的嘉奖令，通令嘉奖第59军，并表彰张自忠为“抗战模范”，对第59军在此战中损失的武器装备优先补充，缺失的部队兵员择优补足。
第五战区云集的60 万大军刚刚撤离徐州不久，日军的包围圈就迅速收缩。“北路”华北方面军很快逼近了徐州城区，并以重炮猛烈轰击城内，炮弹直接命中了李宗仁第五战区司令长官部；“南路”华中派遣军也进展迅速，从徐州东面攻入徐州城内，南北两路实施对进的日军最终在徐州实现了会师。而此时的中国军队已经成功跳出了日军包围圈，日军最终占领的徐州，只是一座空城。
但是，日军的作战计划还是异常诡谲和出人意料。就在华北方面军和华中派遣军对徐州实施“南北对进”之时，日军居然还派出了一支“奇兵”深入到了第一战区纵深。
这支奇兵，就是华北方面军第1军第14师团，师团长是土肥原贤二。这个毕业于日本士官学校的老牌特务，在指挥作战上同样非常狡诈。1938年5月12日，就在“徐州会战”激烈进行的时候，土肥原率第14师团从鲁西南忽然突破了第一战区商震部队的黄河防线，于5月14日攻占山东菏泽，17日攻陷内黄集。随后，孤军深入的第14师团马不停蹄，在土肥原的率领下又杀气腾腾冲向豫东兰封县城。
土肥原第14师团是华北方面军的精锐，此次担负着一项特殊的战役穿插任务，兵力编成超乎寻常，总兵力达到3万余人。除师团所属的第27、第28两个旅团以外，又特别加强了1个重炮旅团，配署了装甲、骑兵、野炮、高炮、工兵、渡河架桥和辎重兵联队等一系列特种部队，作战力量异常强大，甚至超过了日军第2军凶悍的矶谷师团和坂垣师团。
土肥原师团进攻到河南兰封县城之后，狡猾地避开了驻守该城的中国守军桂永清第27军。第14师团第27、第28两个旅团，施展“小双头蛇”分进合击战术，绕城而过，只在兰封城外留下步兵第2联队作正面牵制，师团主力绕过兰封城，抢占了城北的黄河滩头，与早已占据黄河对岸的日军沟通了联络，并在黄河中架起浮桥，获取了机械化师团急需补充的油料、装备和后勤物资。土肥原第14师团在黄河岸边建立了新的后方补给线之后，立即像一只喝足了鲜血的野兽，更加凶猛和残暴，随即攻陷了兰封县城，切断了河南境内横贯东西的陇海铁路，使中国军队第一战区和第五战区彻底中断了联系，也使从徐州后撤的大批军用物资滞留在了商丘一带。土肥原师团切断了陇海铁路后，又将矛头指向河南省府开封。在很短时间内，第14师团“快速挺进队”就推进到了距开封仅40里的地方，形势一下变得万分危急！
就在这万分危急时刻，多亏了胡宗南率部及时赶到。
在蒋介石的严令下，胡宗南率领第17军团从西北紧急驰援，与土肥原第14师团的“快速挺进队”短兵相接，猛烈对抗，终于将日军挡在了开封城外。在此之后，从徐州撤围后在豫东陇海线上集结的中国军队，也陆续投入战斗，战局开始向对中国军队有利的方向发展。此时，集结在豫东一带的中国军队达到了15万人，而土肥原第14师团孤军冒进，总兵力只有3万余人。此时的中国军队不仅在数量上占据压倒优势，而且在天时、地利、人和等诸多方面尽优于敌。此时在徐州会师的日军主力正忙于庆贺“会战”的胜利，忙于邀功请赏，顾不上孤军深入的第14师团，土肥原一下陷入了孤立无援的绝境。
夜深了，乌云遮蔽了月亮和繁星，四周万籁俱寂。程潜此刻正在河南大学指挥所内，和众多将领研究“兰封战役”的作战方案。由于战局紧张，连日熬夜，会场上的将领们都双眼通红，脸色灰白，不停地大口抽烟，以抵挡极度的倦意。当众将领正紧张商议作战计划时，一个机要人员走到程潜跟前，送来一份特急电报。程潜得知，蒋介石已飞到了郑州，指示程潜和第一战区指挥官迅速赶往郑州商讨新的作战计划。程潜匆忙结束了会议，率领部下乘车赶往郑州。
一路上将领们都在议论，近一个时期，蒋介石刚愎自用的毛病有所改变，在诸多方面能较大程度地听取他人的意见，决策上减少了不少失误。首先，在“台儿庄战役”上，他不仅放手让李宗仁独立自主地指挥作战，而且及时从全国各地抽调重兵参战，其中还包括大量的黄埔嫡系中央军部队，这对取得战役的胜利起到了至关作用。其次，他果断地惩办了擅自放弃济南城的战区副司令长官韩复榘。在前不久召开的“开封军事会议”上，蒋介石历数了韩复榘的罪责，将其押至武汉处决，并通电全国，警告各级将领“今后如有不奉命令，无故放弃领土，不尽抗战为能事者，法无二例，决不宽待”。一个上将战区指挥官因丢失阵地而身死名裂，从无前例，给中国军队树立了一个反面样板，极大震慑了众多将领。同时蒋介石还赏罚分明，褒奖和厚待了在徐州撤围中立下汗马功劳的张自忠第59军。李宗仁在评价蒋介石此举时说：“此事确使抗战阵营中精神为之一振。”不少地方军将领包括蒋氏嫡系部队将领，在日后的战斗中死命抗敌，不能说与此事无关。第三，是万分惊险的徐州撤围。蒋介石及时听取并采纳了军令部刘斐厅长的建议，当机立断作出了60万大军紧急撤离徐州的决定，及时钻出了日军的包围圈，避免了中国的抗战有生力量出现重大伤亡，保留了与日军决战的本钱。虽然蒋介石在政治上狡诈阴险，但作为全国的抗战领袖，他的这些转变，还是让大家倍感欣慰。
蒋介石此时也在为全国的抗战局势而深深焦虑。“卢沟桥事变”后，日军从华北、华东、华南三个方向中国纵深大举进攻，特别是华北方向的日军推进极快，防不胜防。
华北方向的日军分三路南下。沿“平汉线”推进的华北方面军4个师团，1937年10月攻陷河北石家庄后，又以3个师团继续南下，11月占领了河南安阳，1938年2月占领了新乡，进而占领了豫北25县，兵临郑州。直到黄河铁桥炸毁以后，平汉线的战事才算稳定下来，中日双方隔河相峙。沿“津浦线”推进的日军，先后占领了河北沧州、山东德州、济南、泰安、曲阜等重镇，之后又与华中派遣军“南北对进”，5月19日占领了徐州，打通了津浦线，使日军南北战场联成一片。沿“平绥线”南下的日军，兵分两路进攻山西，坂垣第5师团于1937年9月沿同蒲线南下，川岸文三郎第20师团及第108、第109师团沿正太线西进。两路日军于9月份就攻占了山西省朔县，突破了阳方口等中国的内长城防线，10月攻占山西崞县、原平等诸多县城并占领忻口，1937年11月，日军第5、第20两个师团攻占了山西省城太原。
华中方向的日军，在“上海派遣军”松井石根司令官的指挥下，其第3、第11、第9、第13、第101五个师团，先后向上海的中国守军发起进攻，展开了历次3个月的“淞沪会战”。在会战中，双方投入的兵力之多、作战程度之激烈，为抗战史上所罕见，中国军队的参战兵力达到了70个师、70余万人，蒋介石亲任战区司令。双方激战至11月5日，日军第10军主力突然从杭州湾北侧登陆，致使中国军队腹背受敌，被迫全线撤退，上海城于11月12日沦陷。“淞沪战役”后，日军又调动8个师团、两个旅团20余万兵力，沿长江逆流而上会攻南京，于1937年12月13日攻占了中国首都南京，屠城30万，国民政府被迫迁都重庆。华中方向的日军又随后向九江、南昌发起新的攻势，矛头直指华中重镇武汉。
华南方向的日军，在广东省大亚湾一带海面部署了大批海军船艇，集结了3个师团的兵力，矛头直指华南重镇广州。日军计划占领广州后沿粤汉铁路北上，与华北和华东方向的日军会师武汉。
华北、华东和华南的三路日军部队，都把进攻的矛头指向了武汉。在平汉线上，日军对郑州虎视眈眈，如果日军攻占郑州，南下可直取武汉，西进可攻入陕西，而武汉和陕西一旦丢失，中国不仅会彻底失去战略纵深和后方依托，而且日军会从东、北两面对重庆和四川实施大迂回、大包围，到了那个时候，中国的抗战局面真到了不可收拾的地步！
蒋介石作为全国的抗战统帅，身边还是聚集了一群极有见地的高级幕僚，能够站在更高的层次上俯瞰全局，运筹帷幄，捕捉稍纵即逝的战机。就在中国60万大军从徐州撤围后，他们捕捉到了一个万分珍贵的战机：孤军深入的土肥原第14师团在豫东突出冒进，已经陷入了中国军队的重兵包围之中。此时，远在徐州的大批日军正忙着庆功邀奖，无力西顾，这就给中国军队创造了一个难得的歼灭第14师团的战机。蒋介石决心紧紧抓住这次机会，集中第一战区以及从徐州撤围集结在豫东的10余万部队，组织一次较大规模的“兰封会战”，力求全歼土肥原第14师团。
1938年5月16日，蒋介石从武汉专程飞临郑州，他要亲自部署和指挥这次意义重大的“兰封会战”。在“台儿庄战役”时，考虑到与李宗仁的历史宿怨，蒋介石没有过多地插手作战指挥，这一次情况不同，第一战区司令长官程潜算是自己“线上”的人，参战部队又多为黄埔嫡系中央军，蒋介石决定亲自指挥这次战役，他要挫败日军占领郑州、合围武汉的企图。
作战会议在郑州陇海路铁路局大院内召开。会议开始后，蒋介石目光阴沉地看着桌子两旁正襟危坐的众将领，半天没有说话。徐州撤围后，中国军队的精锐总算是保留了下来，这些力量是抗战的本钱，也是当前围歼土肥原师团的主力。如果此次能够歼灭土肥原第14师团，不啻也是一个新的“台儿庄大捷”，对鼓舞全国民众的士气意义重大。蒋介石面色冷峻地向与会将领阐明了全国抗战的危机，介绍了此次“兰封会战”重大意义，要求参战将领要敢打必胜，与日寇血拚到底，务求全歼孤军冒进的土肥原第14师团。蒋介石在会上直接下达了“三路围歼日军”的作战命令：
“东路军”由李汉魂指挥，下辖第74军、第64军第155师等部队，自河南商丘向西进攻；“西路军”由桂永清指挥，下辖第27、第71军等部队，由河南兰封向东攻击；“北路军”由孙桐萱第3集团军和商震第20集团军等部队组成，配置在山东定陶、菏泽、东明附近，任务是切断日军逃向黄河北岸的退路。蒋介石还命令第8军、第64军第187师和第24师等部队，坚守商丘、砀山等城镇，坚决阻击从徐州方向增援的日军，防止其沿陇海路西进。以上部署意在从东、西、北三个方向合力夹击土肥原师团，将其一举歼灭。
下达作战命令后，蒋介石目光极为严厉地扫视了一下在座的各位将领，严厉地对他们申饬：
“这次‘兰封会战’事关重大，务求必胜。对那些在战场上贪生怕死、擅自退却者，无论是谁，无论职务多高，都将严惩不贷，押送军事法庭，随时准备处决第二个韩复榘！”
蒋介石稍微停顿之后，又口气略有缓和地说：
“这次聚歼土肥原第14师团，可谓是中原逐鹿，群雄擒敌，势在必得。但我们千万不能小看了土肥原这只‘鹿’，因为他不是一只普通的鹿，它是日军部队中战斗力极强的机械化师团，是一只钢铁之鹿，是一块硬骨头。但不管这块骨头多硬，我们也要把它撕碎、啃碎，把它彻底砸烂！现在国家到了生死存亡的关头，这一仗一定要打胜，要争取第二个‘台儿庄大捷’！”
蒋介石话音刚落，全体将领齐刷刷地起立宣誓——决不辜负委员长的重托，誓死杀敌报国！
