1912年5月，民国改制，原东三省总督改称奉天省都督。赵尔巽虽然依规定继任奉督一职，但他自知不为袁世凯所信任，很快便自请辞职，回京担任了一个清史馆长的闲官。对于空缺出来的奉督一职，张作霖、吴俊升以及冯德麟等东北实力派人物无不垂涎三尺。但对这一职务期望值最高，也最自信能得到这一职务的，无疑是张作霖。
可是张作霖并没有如愿以偿。袁世凯所选定的奉天都督，其实是自己的心腹上将张锡銮。
这个张锡銮正是数年前出任盛京将军的那个“快马张”，袁世凯之所以选他为新任奉督，一来因为他是自己的心腹，唯己之命是从。二来更因为他是张作霖、冯德麟等东北实力派的老上司，想以他来控制张、冯等人就范。
但袁世凯的算盘打错了！今日的张作霖已非昔日的张作霖，今日张作霖眼中的张锡銮更非昔日的张锡銮。张锡銮自己也非常清楚，张作霖当初不顾一切地巴结自己，是因为他还有求于己，想往上爬。而现在，他的军事实力在奉天无人可比，连袁大总统也惧他三分，怎么可能再把自己这个无一兵一卒的都督放在眼里呢？但顾虑终归是顾虑，在袁世凯的再三敦促下，他还是诚惶诚恐地走马上任了。
事实正如张锡銮所预料，当他踏上奉天的土地时，张作霖虽然对他在明里都督前、都督后地叫得比谁都欢，但在暗里却处处设障、时时作阻，令张锡銮几乎寸步难行。尽管袁世凯在1914年又任命张锡銮为镇安上将军，节制东北三省军务，但张作霖仍未将其放在眼里。有一次，奉天军务课课长之位空缺，张锡銮没与张作霖商量便任命自己的参谋熙洽继任，张作霖知道后大为不满，但他不动声色，静待时机。某日，熙洽上门拜见张作霖，张作霖没好气地大嚷道：“打哪儿冒出你这个军务课长来了？是不是要给我张某人发号施令呢？”如此露骨的讽刺，把熙洽弄得坐也不是站也不是，一回去便向张锡銮递交了辞呈。张锡銮无奈，只好另请张作霖举荐。张作霖二话不说，立即举荐了自己的心腹，第27师正书记官陶历卿接任军务课长。
这样的局面持续了将近三年，张锡銮实在不愿厚着脸皮再留奉天，乃于1915年8月向袁世凯提出了辞职请求，旋即得到袁的批准、这一下张作霖可高兴了，心想奉督之职非己莫属，无人可与己相争。
为了使这一梦想尽快变成现实，还未等张锡銮离开奉天，张作霖便亲自进京，结交各方要人，并到中南海总统府亲见袁世凯。据说他此番进京，故意把自己装扮成一个胸无大志，不问政治，只知效忠大总统的老粗模样，希望以此打消袁世凯对自己的戒备之心。但是袁世凯并未中其“装粗卖傻”之计，除了对张作霖施以财物上的恩惠之外，对奉督一事则只字未提。
果不其然，当张作霖离京反奉不几天，袁世凯的任命书便下来了：接替张锡銮任奉天都督兼东三省镇安上将军的人选并非张作霖，而是袁世凯的另一员心腹爱将段芝贵。
段芝贵与张锡銮有所不同。一来他是袁世凯的铁杆忠臣，与赵秉钧、段祺瑞、王士珍并称为袁门“四大天王”，与袁关系之亲密远在张锡銮之上；二来他年纪较轻，上任时只有56岁，而张锡銮上任时已年近古稀，从年龄上来说二者不可同日而语。除此之外，还有一点令张作霖最撕不破脸面，那就是，段芝贵的父亲段有恒曾是张作霖由绿林投靠清廷时的保人之一，对张作霖有恩在先。袁世凯煞费苦心选中段芝贵执掌奉天军政大权，其真实意图仍在于以段芝贵收拢张作霖之流的不羁之心，让他们真心诚意为自己效劳。
袁世凯的这一人事安排果然有些奏效。当1915年9月段芝贵带领他的600卫士开进奉天之时，张作霖表现出了极大的欢迎热情。他不仅亲自到城门外列队迎接，而且很快与段芝贵互换兰谱，结为“兄弟”。另外，他还亲自登门，给段芝贵送上了大量的金银财宝，以满足段的私欲。
张作霖真是如此欢迎段芝贵的到来吗？当然不是！其实，他的心里有无数的不痛快，只不过段芝贵来头太大，腰杆太硬，得罪他无异等于得罪了袁大总统。毕竟小腿敌不过大腿嘛，张作霖再有实力，再有野心，暂时还不敢在袁世凯这个太岁头上动土！所以，他只能暂时委曲求全，以期能通过段芝贵讨得袁世凯的欢心。
段芝贵进奉之时，袁世凯筹划帝制复辟的活动正紧锣密鼓地开展。段一到奉天，便牵头联络北方各省将军为袁世凯称帝制造声势，张作霖积极响应段芝贵的吆喝，不仅单独上表劝袁世凯早日登基，而且还建议段芝贵在东北搞所谓的公民投票，为袁世凯制造所谓的“民意”。当“公民投票”活动举行时，张作霖又指使他的爪牙们在投票场所荷枪实弹，对投票者进行武力恫吓和监视，务使人人投赞成票而后快。
或许正是因为张作霖等实力派人物的鼎力相助，袁世凯这个巨奸大贼果真于1915年12月公开撑起了帝制大旗。之后，他马上对那些支持过他的实力派人物进行了分封，以表示他的所谓谢意。其中段芝贵被封为一等公爵，张作霖被封为二等子爵。
按理，张作霖应该心满意足，对袁姓皇帝连声称谢，但他没有。恰恰相反，他不仅丝毫未领袁世凯的封爵之恩，而且流露出了对袁世凯的强烈不满。就在封爵令下达不久，他公然向袁世凯递交了“辞职”的请求。所谓辞职，自然不是真心诚意地要辞掉自己的官位，只不过是以此表达自己不再归顺袁世凯的意图而已！
为什么一心一意巴结袁世凯的张作霖，在袁世凯称帝天下，权倾一时的时刻，反而公然与袁世凯作对呢？答案其实很简单。
张作霖的行事准则可以用六个字来概括，即“一切为了自己”。无论巴结赵尔巽还是巴结袁世凯，其目的都不过是利用他们达到自己的目的。几年来，他多么希望借袁世凯之手得到奉督一职，但袁世凯却一而再、再而三地令他失望，其心中的苦楚只有他自己最为清楚。所以，如果有可能，他真想一脚将段芝贵从奉天踢走，由自己取而代之。
袁世凯公然称帝，在张作霖看来就正是这样一个绝好的机会。
袁世凯称帝，固然是他权力达到顶峰的标志，但同时也是盛极而衰的开始，善于观察风向的张作霖敏感地意识到了这一点。他非常清楚，自辛亥革命将宣统皇帝赶出紫禁城之后，中国的君主专制时代已经正式结束，打那以后，民主共和的观念已经深入人心，任何一个人，无论他有多大的能耐，如果他敢打起帝制复辟的旗号，国人的唾沫都会将他淹死。袁世凯冒天下之大不韪而称帝，其厄运也必定随之而来。当袁世凯的厄运到来之时，段芝贵自然也就不能在奉天一呼百应了。此时此刻与袁世凯作对，无异于为自己荣升奉督之职制造声势。
张作霖的这一着棋果然下对了！
袁世凯公然称帝，很快引起了国人强烈的反对，各地的讨袁檄文如雪片般飞向北京，西南诸省揭竿而起，首先举起了反袁护国的旗帜。特别值得一提的是，段芝贵也被列入复辟帝制的主要帮凶之列，同样受到了国人的唾骂，他在奉天的处境极为狼狈，留也不是，去也不是。这给张作霖的驱段创造了良机。
现在张作霖所考虑的问题是，怎样成功地将段芝贵赶出奉天？他是一个聪明人，事事都考虑得滴水不漏。在他看来，段芝贵作为中央派驻地方的封疆大吏，如果对他的驱逐太过露骨，则不仅可能引起他的反击，而且还可能引起中央政府对自己的猜疑。所以，他要把驱段作为一场精彩的戏来演。既要成功地让他离开奉天，却又不能暴露出一点点蛛丝马迹。
他首先找到28师师长冯德麟，与冯商量驱段对策。
作为奉天省仅次于张作霖的实力派人物，冯德麟也早就对奉督一职垂涎三尺。特别是，段芝贵自进入奉天后只倚重张作霖一人，根本不把他冯德麟放在眼里，所以，他对段芝贵的仇恨决不亚于张作霖。当张作霖找他商量驱段对策时，他自然满口答应。他愤愤地对张作霖说：“上将军段芝贵是朝廷官吏败类，秽史劣迹人所共知，今为东三省帝制祸首，却仍居奉天人士之上，我辈如何心甘？干脆将其逐出奉天，由我辈奉天人自己来干。”张作霖假意向冯德麟讨一个万全之策，冯拍拍胸脯，一副满不在乎的样子说：“这有何难！我们28师演黑脸，从正面逼他；你们27师演白脸，从侧面吓唬他，不怕他不走。”
听冯德麟如此一说，张作霖心中有了底，于是当即与冯密商，合谋演出了一场不费一兵一卒的绝妙双簧戏。
张作霖首先跑到将军署，神秘兮兮地对段芝贵说：“将军可要多加提防，听说冯德麟准备进兵省城，反对段将军。”段一听慌了神，忙问张作霖有什么计策，张说：“请将军放心，我已做好了一切准备，随时护驾上将军。”
只过两天，张作霖先差遣几个部将对着将军署的上空放了几枪，然后假装慌慌张张地跑到段芝贵处，说：“将军听见枪声了吗？我真没想到，冯德麟这么快就到省城来了！听说他还联络了奉天各界团体要人，就连27师中的部分官兵也附和他，叫嚷什么‘惩办帝制祸首’。看来形势对上将军极为不利啊！’段芝贵听张作霖这么一说，更加慌张，忙问：“你说我该如何是好？”张作霖并不直接回答段的问题，在屋子里焦躁地踱来踱去，然后突然停住，用手指沾水，在段芝贵的桌案上快速写下了碗大一个“走”宇。
段芝贵对张作霖的意见心领神会，当即电请中央政府同意他回天津养病。离奉那天，张作霖亲自到车站为段芝贵送行，并送上数量不少的金银财宝。段临上火车时，张作霖竟然挤出几滴眼泪，依依不舍地说：“望将军早日返回奉天，奉天人民需要您掌舵。”
结果是不言而喻的，段回到北京后，除向袁世凯哭诉自己的苦衷外，没忘记将张作霖的“大恩大德”大肆吹嘘了一番，更没忘了将冯德麟的反叛之举痛骂一通。尽管袁世凯此时的处境不比段芝贵好到哪里，但他还是在自己临死前履行了对东北地区的最后一次人事任命。
1916年4月，也就是袁世凯一命呜呼前两个月，张作霖被任命为奉天督军兼省长，正式掌握了奉天的军政大权。
