徐树铮仍不肯就此罢休，他亲自动手捏造了一封北洋系同人联合署名的致靳云鹏的信，指责靳“近来举止颠倒，长外藩嚣张之气，生宵小觊觎之心，中央威信，丧失殆尽。以合肥(指段祺瑞)提携，我公方有今日，而我公反令合肥出走，公请夜自思，何以对合肥？何以对吾党？仆等亦无他言，请公作良心上之裁判”。靳云鹏接到信后就又向徐世昌辞职，徐世昌对他多加抚慰，并调侃说：“见怪不怪，其怪自败，理他作什么？”
靳云鹏辞职的消息传出，直、奉两系的督军们纷纷通电挽留。张作霖还亲自写信给段祺瑞，请他约束徐树铮，勿要言听计从，累及自己的名声。有鉴于各派势力对靳云鹏内阁的拥护，段祺瑞对靳云鹏也表示支持，希望他不要辞职。
段祺瑞出走也好，亲自干预也好，都没能制止靳、徐之争。“倒阁”派与“保阁”派进行着针锋相对的斗争。5月8日，靳云鹏因为事事掣肘，向徐世昌正式提交辞呈。事前，他把自己的决定告知曹锟和张作霖。5月9日，曹锟致电徐世昌，明确提出不能更换靳阁的理由，同时他致电靳云鹏，要他坚持住。张作霖得到消息，赶紧致电段祺瑞，要他出面设法留住靳，同时他也致电徐世昌，要求徐果断行动，挽救这次内阁危机。10日、11日，反皖各省督军、督军代表在津集会，重申支持靳阁的立场，提出解散安福国会，从湖南前线撤军等行动方案。“直、奉结合倒皖，段究是北洋老辈，未放轻侮，故置段而攻徐(树铮)”。以直、奉两系为代表的各路反皖督军在不到一个月的时间内，发出几十份通电，声讨徐树铮及其安福系。各方面的反皖行动已然公开。面对这种境况，安福系仗恃着段祺瑞和皖系力量，其倒阁决心丝毫不减。
靳云鹏看到这场斗争卷起的惊涛骇浪越来越大，而他的处境最为尴尬，因为对他来说，“亦不能舍段而完全站在直、奉方面”，所以他的去意更坚定了，连上四道辞呈，坚决不肯复职。徐世昌是一再挽留，他在5月14日签发命令，给靳十天假，由萨镇冰兼代总理，由罗开榜代理陆军部事务。靳一再不复职，徐就一再给假。“总理危机”引发“内阁危机”，国家中枢更迭不定，而令政府几同瘫痪。
吴佩孚一直是直系反皖的急先锋，早在1月，他就接受了桂系军阀控制的南方军政府的60万元开拨费，作为对他北上抗皖的支持。2月底3月初，吴佩孚派人护送3000多直系眷属北归，同时不准士兵随意请假，并和属于西南护法军政府的谭延闿的湘军密约好，一旦直军北撤，就由他们直接接防。表面上，他还通知张敬尧来接收即将撤出的直军原防地。张敬尧已经知道吴佩孚和西南方面有联络，但他怕得罪直系，不便揭露，只好隐忍下来。5月20日，吴佩孚正式从湖南衡阳撤兵北上。吴军一撤，南方湘军步步跟进补空，与来争夺吴军防地的张敬尧部发生冲突，自此，湘南战争爆发了。
张敬尧在湖南两年多时间里，横征暴敛，胡作非为，把整个湖南弄得乌烟瘴气，湖南人民恨透了他，发动了“驱张运动”。故而，湘南战争一开始，南方湘军就节节得利，逼得张敬尧一封又一封加急电报拍往北京求救。段祺瑞因为北京政府内阁危机暴露出直、奉等系联合反皖的局面，不敢贸然行动，激化矛盾，引起直奉反皖大战，所以迟迟没有援张。张敬尧孤立无援，他的第七师被打得伤亡惨重，溃不成军，一部分退入湖北境内，接受王占元的改编；一部分退入江西境内，被陈光远缴械遣散。统治湖南两年零三个月的皖系骁将张敬尧被彻底驱逐出了湖南。6月29日，北京政府下令将张撤职查办，改以吴光新为湘督兼省长。
6月初，吴佩孚行抵郑州，其部分驻于郑州至保定一线，摆出要对付皖系的阵势。同时，吴通电全国，矛头直指安福系以及徐树铮本人，明确指出必除之而后快。直皖两系剑拔弩张，关系极为紧张。
张作霖这时以“调停人”的身份带着两营卫队、一个机枪连进入北京，他是受大总统徐世昌之邀进京会商时局的，同被邀请的还有曹锟、李纯，但这二人出于种种考虑，只派代表入京。张作霖进京，先拜见了徐世昌，随后在6月21日到团河会见段祺瑞，劝段不要庇护徐树铮，以免发生意外事件，损害自身的名声。段祺瑞这时表示他反对徐世昌，自己也不想组阁，也不想做副总统，至于靳云鹏辞职问题，他表示自己敦劝多次，无奈靳执意不从，他以后还会派人切实请其销假。张作霖表面上忙于了解各方要求，调解各方关系，暗地里与直系共商讨皖之计。6月22日，张作霖又与曹锟、吴佩孚以及反皖诸省的代表在保定举行会谈。会议中，吴佩孚再次强烈抨击安福系及徐树铮，得到与会者的认同，最后共同签署给北京政府的“最后通牒”。“通牒”要求：靳云鹏复职、撤销边防军、惩办徐树铮、解散安福系等等，都是针对段祺瑞一派来的。第二天，张作霖带着“通牒”见了徐世昌，徐表示可以考虑酌量采纳，尔后张又到团河拜见了段祺瑞。段见到这份“通牒”恼火不已，但对张没有表露，而是尽量忍耐敷衍，没作明确的答复。28日，张作霖和段祺瑞再一次会面，双方达成一项解决方案，即解散原靳阁，由周树模组织内阁；财政、交通、司法三总长撤换，内务、海关总长不动，外交、农商、教育三总长补提，靳云鹏仍为陆军总长；关于徐树铮，其所辖边防军、西北军归段祺瑞节制，徐树铮保留筹边使的职位。实际上与徐树铮毫发无损。该方案得到了徐世昌的认可，却遭到曹锟的反对。曹锟坚持要取消筹边使官制，解除徐树铮兵权，罢免李思浩、曾毓隽、朱深三个安福系总长。
段祺瑞不会束手待毙，他一直在拖延时间以备战。事实上，他6月中旬就把徐树铮从库伦调回来以布置战事。30日，当张作霖再次来到团河，讨问段对曹锟的要求的意见时，段认为同直系决战的时机已成熟，便不再模棱两可，而是怒气冲冲地对张指责吴佩孚以一个小小的师长，竟敢公然要挟罢免边防大员，干预政事，简直就没有把中央政府放在眼里，如果一定要罢免徐树铮，就必须同时罢免吴佩孚。段要张作霖转告曹锟，叫吴佩孚不要轻举妄动。
曹锟得知段祺瑞这种态度，加上7月1日安福系议定要请段祺瑞组阁并惩办吴佩孚，便在7月3日亲自致电张作霖，请他转呈徐世昌，要求罢免徐树铮；同时他又联合张作霖、李纯共同声讨徐树铮，打出“清君侧”的旗号。同日，曹锟又单独发表致徐世昌的通电，称：“安福奸党，倒行逆施，天下共愤。迭请中央申明法纪，迄未奉准。今闻彼党益无忌惮，竟欲拥段组阁，贯彻亡国主义，是皆徐树铮等之鬼蜮伎俩。三军将士，倏闻之下，义愤填膺，甚有向神京歼此丑类之势。幸请大总统刚断，先行罢免徐树铮各职，为入手办法，以平众怒。否则，锟实无法排解，惟有不负维系之责，静听罢黜而已。”由于当时“盛传吴军已开抵长辛店，总统以保定形势紧迫，即于四日在公府举行特别会议”，徐世昌在此特别会议上下令解除徐树铮西北筹边使、西北边防军总司令等职，并将边防军交陆军部接收，一下子把皖系的重要军事力量和地盘给掠夺了。
段祺瑞又把鼻子给气歪了，说：“徐树铮并未见任何发端或举动，而吴佩孚自由行动，政府不加惩戒，如是还有黑白之分吗？”第二天(7月5日)，他以边防督办的名义，下令徐树铮“照章办公”。6日，他对张作霖说：“罢免吴佩孚，万事皆休。”张回答这恐怕办不到吧。段一听更加恼火：“办不到也要办！你们办不到，我一定要办到。”张作霖作为“调停人”，他主张要罢吴佩孚，同时也要免徐树铮。这个主张叫徐树铮更恨张作霖，徐欲借段祺瑞与张会见之机，将张暗杀掉。但段祺瑞为人还是较坦荡磊落，他“向来不采取阴谋暗杀手段”，所以徐树铮没能下手。徐树铮却是个不肯善罢甘休之辈，他又想乘张作霖回奉天要路经廊坊之机再行暗杀，消息被靳云鹏得知，他赶紧密报给张，张作霖易装连夜赶赴天津，得逃一劫。徐树铮随后又搞了个13人组成的暗杀团到奉天，企图暗杀张作霖，并暗中招募、支持匪徒“在山里或中东路线一带扰乱东省”。其阴谋败露之后，张作霖再也不能忍耐，公开表明他要进行“武力调停”，且对曹锟表示他的立场是支持直系反对皖系的。
段派方面一直在积极备战，直军也在布置防线，吴佩孚曾向曹锟表示：“大帅放心，一星期动员，一星期作战，一星期复员，没有大不了的事。”8月，段祺瑞“由团河回京，在将军府开特别会议，阁员及靳云鹏均列席，连同军警界要人，共计百余人。段氏极端愤怒，决定呈请总统将曹锟、吴佩孚、曹锐免职，交段亲自查办。下午国务院再开特别会议，结果吴佩孚予以免职处分，曹锟则改为褫职留任。”这项议决送到大总统徐世昌处，徐却脸露难色“恐此令下后，激起曹、吴之反对也”。段祺瑞遂派兵包围总统府，逼迫徐世昌同意，段声称：“大总统任免黜陟，不能为一党一派所挟制；关于徐树铮、张敬尧免职，余不过问，惟湖南问题，四省经略使曹锟，任吴佩孚自由撤防之罪，不可不问；余为维持国家纲纪计，必兴问罪之师”。并且，段让边防军传出消息“如免曹、吴令候至8日夜不下，则琉璃河方面，当于9日上午首先开火”。徐世昌无可奈何，只好下令惩办曹、吴令。此令下达，段派人人称快，“而在直军方面，是知总统此令全由段派威逼而出，适足激动兵心，几有枕戈待旦之势，从此双方备战，日夕不遑”。
7月9日，段祺瑞将边防军改为“定国军”，在团河成立讨伐曹、吴的“定国军总司令部”，自任总司令，靳云鹏为副司令，徐树铮为总参谋长，段芝贵为第一路军司令兼京城戒严总司令，曲同丰为第二路军总司令兼前敌司令，魏宗瀚为第三路军司令。同日，边防军第3师陈文运部开赴廊坊，第1师曲同丰部与陆军第9师魏宗瀚部、第13师李进才部、第15师刘询部开赴长辛店、卢沟桥、琉璃河一线。
直系方面，7月9日，曹锟在天津召开誓师大会，成立“讨逆军”，自任总司令，吴佩孚为前敌总司令兼西路总指挥。“吴宣言将亲率三军，直往神京，驱老段，诛小徐。”其司令部设在高碑站，第一混成旅旅长王承斌为后路总指挥，留守郑州，第4混成旅旅长曹瑛和奉军李景林部为东路正副总指挥，占据杨村。
7月10日，段祺瑞以吴佩孚不仅不交卸军队，反而开进，下令向直系发动进攻。11日，曹锟发出通电，声称“目的一日不达，锟一日难卸甲”。12日，曹锟又和张作霖联名通电讨伐段祺瑞，不再只是针对徐树铮，而是明确打出“讨段”的旗号，称“皖系军阀恣胜专横，惟有秣马厉兵，共伸义愤。”吴佩孚还在第二天的通电里指斥段祺瑞是汉奸，并将之与张宗昌、石敬瑭、吴三桂相提并论。
张作霖在曹锟、吴佩孚公开发表反皖通电后几天，就悄然来到军粮城，一面仍保持局外中立的假象，一面在天津北仓一带布置人马。13日，他发表派兵入关的通电，并以张景惠为关内军总司令，从第27师、28师里各抽调一旅入关。14日，顺直省议会、天津总商会、直隶商会联合会联名通电，宣布段祺瑞的三大罪状。张作霖的立场确实出段祺瑞所料，他本指望张能保持中立的。而皖系的曲同丰、刘询等部也有不稳之声传出，他感到有些不妙，遂由曹汝霖、傅良佐出面去见徐世昌，要大总统发停战令，严饬双方军队，退回原防。但段祺瑞转而考虑到事已至此，不战不足以保持地位，特别是军心不稳，更应速战速决，所以又要求徐世昌下达总攻击令，二令一日同出，引为笑谈。
1920年7月14日，直皖大战爆发。双方兵力部署，西路在京汉路沿线。皖军由段芝贵指挥，直军由吴佩孚指挥。西路一线是双方主力军交锋地区，是主战场。激战五日后，因曲同丰倒戈相向，皖军见“四大金刚”之一，备受段宠的曲同丰此举，自然全军溃散，不可收拾。而总司令段芝贵狼狈逃回北京。与此同时，东路京奉铁路沿线双方也大打出手。皖军东路指挥为徐树铮，直军为曹瑛。皖军在日本人的暗中帮助下，将直军逼至北仓，双方僵持不下之际，一支奉军援兵赶到。直奉两军并肩作战，皖军抵挡不住，死的死，伤的伤，逃的逃。徐树铮见大势已去，也仓皇逃回北京。一场酝酿多时的大战，才进行四五天，便以皖系的全军溃败而告终。段只有请求停战，并自请罢官，解除定国军名义。这场大战中，段几乎将自己的老本赔尽。他败得彻底，败得无奈。
这时候的他表现得非常消极颓唐，终日待在府学胡同的家中，对外声称他既不离京也不入租界，谁也不见。他原就有咯血的毛病，这次气急攻心，又复发了，身心状况都落到最坏的地步。他甚至想到自杀。7月21日，段祺瑞突然对着自己的脑袋开枪，但子弹却从旁边飞过去，打死了站在他身后的一名卫兵，他自己幸免于死。其左右因此对他严加监护，恐生意外。经再三劝说，段祺瑞才打消寻死的念头。
此后不久，他便携家眷悄然离京，搬到天津的日租界寿街，表面上过起了远离政治斗争的平静生活。当然，在他的内心深处，他从来就不甘心失败，他相信自己一定还会有出头之日。
