蒋介石在徐州与冯玉祥会晤后，联合冯玉祥加攻武汉的计划无法实现，但是总算使冯玉祥没有倒向汉方。侧翼暂告安全，于是积极准备西征武汉。但是南京政府方面实力最为强大的桂系李宗仁、白崇禧不同意蒋介石对武汉用兵。新桂系可以说是北伐的中坚力量，他们逐渐不满蒋介石的独断专行，也不甘心做他人的嫁衣裳，蒋桂矛盾开始加深。对于武汉方面，李、白除了需要联合其进行北伐之外，也包含有拉拢汪精卫反蒋的用意。
不过在7月初，武汉方面率先采取了行动，军事主力从河南境内回撤，它的精锐部队第四、十一、二十、三十五等军，纷纷向长江下游移动，陈兵湖口。军情紧急6月下旬，担任津浦路正面主力的李宗仁从临城前线被召回南京，会商防御武汉进攻的计划。李宗仁按蒋介石的命令，率领第七军回到芜湖布防；津浦前线的军事则由第三路前敌总指挥王天培责，固守徐州。
此时李宗仁的军队已急剧扩充，新编了第十三、十九两个军，大部屯兵南京四周。蒋试探着将抵御汉方的军事腹案就商于李，而李宗仁的回答是：“北洋军阀是我们一定要打倒的敌人，武汉方面是兄弟间的意气之争，总有一天会得到解决。放弃一定要打倒的敌人，从事兄弟阋墙之争，恐怕国人不会谅解吧！”鉴于南京陷入两面作战的不利形势，李宗仁建议缩短战线，将主力撤回淮河南岸，必要时放弃徐州，固守淮河天险，待宁、汉对立问题解决，再挥师北进。蒋介石仅同意缩短战线，不同意放弃徐州。
宁汉双方的斗争给北洋军阀一个大好的喘息机会。张作霖联合了北方各系军阀，重组了北京政府，就任安****政府陆海军大元帅，厉兵秣马，准备与北伐军决一雌雄。
孙传芳残部退到山东后，几乎完全丧失了战斗力。各部下为了自己的出路，纷纷暗中与北伐军联系投诚改编。大将彭德铨暗中与白崇禧联络，打算就任国民革命军第十九军军长。周荫人残部在陈以燊统帅下，就任了冯玉祥委任的第三十九军军长一职，并于7月2日，突然举兵倒戈，拆毁胶济线一段铁路，并向驻守青岛的直鲁军第八军祝祥本部发起进攻；同时驻防高密的郑俊彦部也与其采取一致行动，爆发了著名的“胶东事件”。这时，基于自身利益，日本方面公然出兵干涉，他们一边要求陈、郑两部恢复胶济路的通车，一面从大连运兵5000人到青岛，直接协助祝祥本防守。
部下倒戈，孙传芳大为被动，遭到张宗昌的奚落。他不得不亲自上阵讨伐。由于各路北伐军都已经从前线回师，陈、郑两部孤立无援，在孙传芳与日军双重压力下，郑俊彦首先归附；陈以燊被部下陆殿臣赶走，部队也重新回到孙传芳旗下。
孙传芳借机重新改编了部队，并得到张作霖拨付的50万军饷和大批军械，于是重整旗鼓，利用国民军内部即将火拼的时机，与直鲁军一道开始反攻。
早在6月底蒋介石下达撤兵令后，北伐军的部署就出现了极度混乱。由于白崇禧指挥第2路继续在鲁东南围攻临沂，第1、2两纵队后撤严重耽搁，第3路前方部队为配合第2路进攻也大部未能后撤，蒋之亲信第1军第2师、21师、22师分别滞留于苏北高邮、六合、柘皋等地，真正顺利南撤的只有李宗仁的第7军等少数部队，李部也由此逐渐完成芜湖至南京一线的布防。
撤兵令下达时，第3路王天培部深入到鲁南津浦路沿线地区，阵线突出，正面敌人又较强大，极易招致攻击。7月初，张宗昌、孙传芳在鲁南发动反攻，该部首当其冲，受到强大压力。加之部队薪饷未照常发放，士兵闹饷（注：当时，该军已连续数月未发薪饷，官兵多怨声载道，但南京方面对该军薪饷实际仍如常发放。后王氏克扣军饷一说，即由此而起。参见《黔东南文史资料》第4辑附录。），战斗力大受影响。在张、孙联军进攻下，很快败退，其扼守的鲁南滕县、临城据点相继弃守。
应该说，在大军后撤、转攻为守情况下，凸出敌前的滕、临已失战略价值，事实上也难以固守。滕、临既已易手，趁势收缩阵线更属明智之举。但此时白崇禧仍在鲁东南全力进攻，不能容忍滕、临弃守暴露其左侧背。7月7****致电王天培等，要求其“仍向滕县前进，夹击此敌，以攻为守，以进为退”。在白的压力下，王天培不得不会同第40军反攻临城，与孙、张联军在滕、临一线全力相拼，虽收复临城，但第10军元气大伤。第40军军长贺耀组认为，此次“战争之烈，为渡河以来所未有”。
临城收复后，北伐军防线再次拉长。18日，孙、张联军全力向临城发动反扑，第10军久战疲乏，加之受后方部队撤退影响，“前线将士多摇动”，稍经抵抗即告溃败。由于该路主力第7军已后撤，部队配置没有层次，失去纵深保护，以致一退即难以收拾，鲁北防地全线告失，王氏被迫令“全部集中徐州一带”。此时军心涣散，将无斗志，王氏本人对担任如此艰巨的掩护任务也满腹怨气，抱怨：“当此前抗大敌，友军后退，实属万难”，对守徐缺乏信心和决心。24日，徐州不战而弃。
当时驻守徐州、鲁南的北伐军尽是王天培、贺耀祖、叶开鑫等所谓杂牌部队，已经血战两三个月，部队伤亡严重。而蒋介石给予这些部队的补充非但不及时，反而拖欠军饷四个月未发，以至于前线将士怨声载道。前敌总指挥王天培曾大发牢骚：“我所率的是云贵子弟兵，转战万里，从事革命，伤亡损失既大，补充没有，待遇又不平，我们在前线与敌作战他们却往后撤，留我在前方送死，我也不干了。”同时，大家看到宁汉对立，蒋桂矛盾重重，都力图自保。王天培、贺耀祖、叶开鑫、曹万顺、谭曙卿、周凤岐、赖世璜等都与武汉方面暗中来往。因此面对北洋军阀的反攻，哪还有什么斗志可言。
徐州为苏北门户，徐城弃守，苏北、鲁南全线动摇，久战无功的白崇禧也被迫从鲁东南地区后撤，孙、鲁军大有一鼓而下江南之势。7月22日，孙传芳乐观地表示：“倘在此时期，乘胜肃清江北，再与蒋言和，似亦不难就范。”江北面临的全线崩溃危险，使蒋介石不得不重新移目于徐州的攻防战。另外，就宁、汉关系及宁方内部形势看，汉方7月中旬分共后，宁、汉间已趋缓和，汉、桂间日趋接近，西征讨汉已再无可能，汉方威胁也基本消解，而李宗仁陈兵于芜湖—南京间，也使蒋如芒刺在背。戎伍起家的蒋介石明白，要摆脱困局，只有在战场上重新杀开一条血路。
徐州一失，冯玉祥在豫东方面压力很大，立即致电蒋介石，“徐州不保，诸事棘手。”南京方面震动也很大，蒋介石决定亲率大军收复徐州。同时给冯玉祥复电，“宁失宁粤，决不委弃徐州，以断我两军之联络也。”他保证一星期内达成目的，且要求冯玉祥从豫东派兵夹击徐州。但是冯军受到当地红枪会武装的袭扰牵制，进展非常缓慢。
然而此一时也彼一时也。北伐军再难展现从广东出师时的势如破竹、摧枯拉朽，而北洋军以哀兵之势，全力以赴。于是胜败立显。
7月25日，蒋介石率第1军第21师赴蚌埠，准备北上一搏。至此，第1军基本均已离开南京。李宗仁对北上态度消极，强调：“以现有兵力估计，恐力有不逮。”（按：24日徐州失陷，25日蒋已至蚌埠，以当时消息递送及交通状况看，蒋在宁时，尚不可能获知徐州失守确息，开会讨论的应为在徐州发动反攻问题。至于广被征引的所谓蒋离宁前出席纪念周时声称：“此次不打下徐州，便不回南京”更显系捕风捉影之谈。）据当时报载：“李曾报蒋，言本部各军一到徐州以后，均不期而然生一种思家之疾，咸无斗志。”不愿向苏北发兵。白崇禧事后说：“徐州撤退之最大原因，便是李德邻先生指挥之第7军为了预防唐生智，止于芜湖、安庆不能前到。”委婉道出了蒋氏调兵不动的真相。
李宗仁按兵不动，白崇禧态度不明，何应钦的第1路军又远在沿海海州一带，北进收复徐州主要还得依靠屡败屡战的第10军。26日，蒋介石下达作战命令，以第2路、第3路左、右两翼分由东、西、南三面“向徐州分进合击”。第2路总指挥仍为白崇禧，第3路总指挥蒋自兼，王天培、贺耀组分任所属左、右两翼总指挥，第21师为总预备队。
当时，各部距徐州均不过百里左右，蒋介石希望乘孙、张联军新下徐州、立足未稳之机，一举收复徐州。他致电左翼总指挥王天培强调：“现敌人大部均集中于中路，左翼空虚，该军第30师应迅速由阎村一带袭取徐州，攻敌人之虚而拊其背。”速战速决意图十分明显。王部随即迅速北进，8月1日下午进抵徐州城郊，当夜，前锋直薄徐州城下。2日上午，王天培乐观地估计：“徐州逆等，闻风摇动，克服该城，当在今日。”
左翼进攻顺利时，自东向西沿陇海路进攻的第2路却迟滞不前。第2路参战的第三十七（陈调元）、四十四（叶开鑫）两军均非该路主力，战斗力不强，进攻决心也不够。该路7月31日与敌接触，但直到徐州兵败，始终未组织起像样攻势。白崇禧回忆：“我行进八义集附近即与敌接触，而徐州城又不闻枪炮声……如此相持两天，第三天，第2路参谋长系上海市市长张定藩转来总部撤退命令。”（《白崇禧回忆录》）可见，该军实际是处于观望状态。因此，其攻击起点虽距徐州仅百里，在三路部队中最为接近，但整个战役，纵深仅进至距徐州20公里左右处。
第3路右翼担任正面攻击徐州任务，蒋介石随该路行动，并调预备队21师加入。该路战斗力较弱，行进也“颇行迟滞”。经蒋一再督促，并以亲信部队第21师前顶后，始于8月1日由徐州南面进抵徐州城郊。2日，左、右两翼分别从西、南两面向徐州郊外敌军据点发起强攻，前锋直逼徐城外围敌军最后据点，双方在此展开激烈拉锯战，宁军攻势甚猛，“徐城几被包围”。下午，蒋介石亲抵距徐城仅7里的云龙山麓督战，并判断“敌人险要已失，必难久于支持”，准备部署向徐州追击。然而就在此时，风云突变，敌军紧急自后方及战事较为平稳的陇海路东段抽调大批兵力，向进展最快的左翼第10军全力反扑。第10军进展正顺时，骤遇强劲反击，措手不及，加之刚历新败，士气飘忽，遭遇挫折后即一蹶不振，于下午6时前全线后撤。
第10军仓皇溃退，第2路又蛰伏不动，担任正面主攻的右翼部队在各路敌军联合夹击下，也迅告不支。3日凌晨，蒋介石忍痛下令各军全线后撤，徐州攻击战功败垂成。
客观地说，反攻徐州失利，李宗仁按兵不动，白崇禧迟滞不进，埋下最初祸根；第3路右翼进展缓慢，左、右协调不够，再添作战隐忧；而左翼王天培部的溃退，则是导致失利的直接原因。当然，失利的深层原因还在指挥官间的意见分歧，统帅部进退不定造成的军心不稳，军队久战加之新败之后仓促上阵导致的士气萎靡等。以往史学界对此役失利原因，多依据李宗仁说法，归结为蒋急躁冒进，对预备队使用不当。（注：参见《李宗仁回忆录》上，第483页。）证之史实，不无片面之处。
8月5日，蒋介石不得已退至蚌埠，下令各军退守淮河一线。无奈各军已无斗志，争相南撤，根本无法阻织有效防御。8月6日，蒋介石退回南京，各军无心恋战，自行败退江南。12日，孙传芳军渡过淮河。17日，南京军事委员会鉴于各军已不堪再战，乃下令撤至长江南岸，休整部队，扼险固守。尾随的孙军随即进抵长江北岸的浦口、六合、扬州一线。从8月5日到18日，13天中北伐军从徐州至浦口一溃七百里，成为北伐出师以来最大的一次败绩。
