就任西北边防督办
1922年的第一次直奉战争的爆发，给冯玉祥提供了一个向东发展的机会，冯玉祥改任河南督军。随着直系军阀连连获胜，冯玉祥也得到不断升迁和队伍的扩充，此间，他由河南督军，进而被吴佩孚控制的北京政府于1922年底委任为陆军检阅使，成为北京政府陆军部的高官。检阅使者即为协助陆军总长巡检全国所属各路部队，但北洋政府授给冯玉祥陆军检阅使之职，只不过是个有职无权的虚衔。他除了检阅自已所带的部队外，并无权检阅其他部队，而吴佩孚的真正意图也是为了限制冯玉祥势力的发展。因此，冯玉祥就任陆军检阅使后，率部驻扎在北京南苑。在此两年间，冯借机练就了三万余能攻善战，纪律严明，而又具有一定爱国精神的精兵，这便为冯玉祥以后事业的发展准备了条件。
南苑练兵是冯玉祥事业发展的一个黄金时代，也是冯玉祥治军生活中发生历史性转变的开始。这期间，冯玉祥策动胡景翼、孙岳等人，于1924年10月24日利用第二次直奉战争期间，山海关一带直奉激战，北京兵力空虚之机，发动了“北京政变”。
“北京政变”后，冯玉祥先后采取了如下一些重要举措：
1．改所属部队为中华民国国民军，宣布脱离直系军阀系统，由冯玉祥任国民军总司令兼第一军军长，胡景翼、孙岳分别就任副总司令兼二、三军军长。
2．囚禁贿选总统曹锟，驱逐废帝溥仪出宫。
3．电请广州的孙中山北上主持国家大计。
同时，通电全国，明确宣布国民军“誓将为国为民效用，如有弃兵而揭吾国，好战而殃民者，本军为缩短战期起见，亦不恤执戈以相周旋。”李泰棻：《国民军史稿》。
冯玉祥发动北京政变，推翻曹锟、吴佩孚政权，建立国民军，沉重打击了控制北京中央政权的直系军阀势力，这无疑是一件在全国产生影响的重大政治事件。为了联络皖系阻挡可能北上的直系势力，冯玉祥邀请段棋瑞出来暂维政局。然而段祺瑞为独揽北京政权，又暗中联络吴佩孚。奉系张作霖也乘机派四万大军，长驱入关，进驻天津，并沿津浦铁路南下，北京政权遂落入段祺瑞和张作霖之手。
段祺瑞、张作霖掌握北京政权后，便联合排挤冯玉祥，迫使冯玉祥不得不于11月25日、12月3日和5日连续提出辞职。这时的段祺瑞一方面借助于张作霖的军事力量遏制冯，另一方面又感到如果没有冯的军事力量，自身便会受奉张的摆布，所以段对冯的辞职坚决挽留，并对冯部略施抚慰手段，便借机委任冯玉祥为西北边防督办。
对于段的委任，冯玉祥认为是个阴谋，让他到贫苦寒冷、交通闭塞、远离海口的西北地区，使他难以购买武器装备和扩充自己的部队，因而十分消沉，拒不受命。这样一来，北京的政局更加复杂，革命势力与反革命势力的矛盾、国民党与张作霖、段祺瑞的矛盾，相互交错在一起，北京的政局处于动荡不定的状态之中。
正在这动荡不定之际，中共北方地区党组织及李大钊给予了冯玉祥以极大的支持。李大钊组织中共北方区委对冯玉祥的处境及国内局势进行了深刻分析，认为：冯玉祥在此时完全辞职，必然会引起全国正在勃兴的形势急转直下，对整个国民革命是不利的；冯的部队也会由于冯玉祥的引退，失去中心支柱而被分化瓦解；西北地区虽远离海口，但段、张势力也鞭长莫及，大有经营余地；同时，背靠苏联，可争取苏联援助。于是，1925年1月，李大钊和孙中山的代表徐谦，与冯玉祥进行了多次交谈，说服冯玉祥接受西北边防督办的任职。
关于李大钊等人争取冯玉祥的情况，曾任冯玉祥秘书的共产党员陈天秩作了详细的回忆。经过多次直接交谈，徐谦向冯玉祥讲：他和李大钊曾以国民党中央委员的身份，几次同苏联大使加拉罕交换意见，劝冯不能消极，打消辞意，就任西北边防督办。苏联可以通过蒙古到张家口的路线，给冯以无偿援助。冯高兴地接受了李大钊和徐谦的建议，就任西北边防督办。
陈天秩认为，这是“冯玉祥在徘徊中接受了共产党对他的影响和帮助”的结果。陈天秩：《我跟随冯玉祥先生的一些经历》，内蒙古《史料荟要》第三期。
1925年2月冯玉祥从天台山下来，乘火车经西直门赴张家口，就任西北边防督办。与此同时，将国民军一军进行了改编。当时国民军一军共有六个师。但西北幅员辽阔。兵额不足。难以分配。甘肃、察哈尔、绥远都各需一个师驻防。由于鹿钟麟为北京卫戍司令，也不得少于一个师。六师之外，石敬亭、石友三各编为一混成旅，外加炮兵两旅，交通队一团，人数在15万左右。为了与扩充军队编制相适应，冯部组织了军官教导团、交通教导团、骑兵教导团、炮兵教导团、铁甲车团等教育机构。并于南苑设训练处，内分步骑、炮工、辎重等科。冯玉祥：《我的生活》，第149页。
由于冯玉祥从消极、苦闷中振作起来，军务整编也有了较大起色，这自然引起吴、张的惊恐。他们惧怕冯玉祥势力崛起后，便难以再施加控制，于是便采取办法，试图遏制冯的发展。
在冯玉祥即将赴张家口就任前夕，由奉系人物陆军部部长吴子堂提议，取消国民军名称。改称中华民国西北边防军，简称西北军。以后，冯玉祥所属部队便有了西北军的称号。当然，在许多史籍上仍有称其为国民军者。
入主甘肃
1925年3月。冯玉祥在张家口就职，成立了西北边防督办公署，与此同时冯还兼任甘肃省督办。
西北地区贫瘠，但为何冯又要去呢?除了当时李大钊等人的极力帮助之外，冯玉祥也逐渐认识到。此时如不退让，难免受吴、张两面夹击，另外，退是为了进。退避之后，或许吴、张矛盾上升，引起争端，冯便可伺机行事。同时，“效法张留侯退居留坝的办法，到那地僻人稀的地域里”，可远离矛盾中心，为自己军事实力的发展提供机会。
因冯玉祥不能亲赴甘肃任督办，于是派部下刘郁芬代理，又委任蒋鸿遇为帮办。
蒋鸿遇是冯玉祥的一员爱将，早年毕业于日本士官学校，曾任保定军校教官，足智多谋，深得冯玉祥器重，在冯玉祥创办“模范连”时，为训练冯军骨干力量立下汗马功劳。一次，蒋鸿遇向冯玉祥建议：“先生南北奔走，数十年来无安身之地，现在总算有了个地盘。但是‘狡兔三窟’，我们要给自己多留几条后路。以防不测。民国以来，无人重视甘肃，其实甘肃进可以攻。退可以守，实为重要战略要地。如若再与陕、热、察、绥连成一片。可称西北半壁天下。”
王赞亭：《跟随冯玉祥二十余年》，山东人民出版社，1981年，第39页。
蒋鸿遇对甘肃战略地位的
一番分析，使冯玉祥对西北及甘肃有了新的认识。虽说他仍对西北瘠苦的生活环境心存疑虑，但为了国民军的生存发展，他在树立西北地区督办防务和屯垦戍边艰苦事业决心的同时，开始注重甘肃的战略地位。遂由刘郁芬、蒋鸿遇率国民军第二师取道绥远、宁夏入甘肃。
当时，甘肃是西北回族“五马”(马福祥、马鸿逵、马鸿宾、马麒、马麟)的势力范围。“五马”之中，马福祥居长，乃西北回族地方实力派首领，在各回族将领中有较大影响。“五马”基本上都属祖籍甘肃河州(今甘肃临夏回族自治州)的马氏家族。清末八国联军入侵中国，马氏弟子组军随甘肃统领董福祥入卫京师，先期镇压义和团起义，后投入抵御八国联军的战争。八国联军攻占北京时，马福祥、马安良(马麒之父)率其部下随董福祥保护慈禧太后和光绪皇帝逃离京城，遂抵西安。
此举可谓是战火中保驾了太后，因此深得慈禧赏识，不久马福祥升任宁夏镇总兵，民国后又任绥远督军，马安良也获得青海循化的统治权。因当时青海、宁夏均属甘肃统辖，握有了青、宁两地的兵权，这样马氏家族势力不仅拥兵自重，而且对地方军政无不产生极大影响。
冯玉祥深知马氏家族势力在甘、宁、青的重大影响，决定在入主甘肃之前，先做通马福祥的工作，进而与马氏势力结盟。马福祥既为甘肃回族中势力和影响最大的人物，有相当的威望，而且本人思想开明、主张革新，早有支持冯玉祥的倾向。北京政变后，马福祥曾在西北各回族民众中极力宣传国民会议。孙中山北上时，马受回族集团推举赴北京谒见孙中山先生，对孙中山的三民主义和救国主张表示推崇。
田生兰：《马福祥事略》，见《文史资料选辑》第27辑，第39页。
据说
孙中山先生逝世前赠送由他亲笔签名的《三民主义》一书，嘱其好好研究，力争在国民革命中有所作为。
为了争取“五马”势力，冯玉祥请北京政府委任马福祥担任西北边防会办(副督办)，从而提高了马在中央的地位，同时与马结拜为把兄弟。至此，冯玉祥便通过马福祥达到了稳住回族实力派的目的，为顺利入主甘肃奠定了基础。
1925年夏，冯命令刘郁芬入甘，刘开始筹备赴甘各项事宜。首先，确定全师约一万人马的进军路线和沿途设站的补给。此时，刘郁芬驻节绥远的包头，自包头至兰州约2000余里路，其问大部分是荒漠地带，交通极为不便。像刘郁芬这一师人马的万人队伍要通过这样的路，以往还是罕见的。而刘为了能顺利地通过这条路，选定了从包头，经五原、磴口、石嘴子、中卫，直抵兰州的路线，这基本上是沿黄河的左岸行进的。
即使如此，这条路线是要经过磴口和沙坡头两段沙漠地带，这里是亚洲著名的沙漠区。因为风沙流动的缘故，几乎找不出可以行车的道路，即使有路，往往一夜狂风之后，第二天要走的路已“今非昔比”，行人不得不踏出一条道来。因而，在磴口和沙坡头两处设补给站时，要选派由当地人组成的一批向导，而且每日由这些人带着侦察人员勘察道路，沿途设标，指引道路，以便大部队通行。除此之外，沙漠最困难的是饮水问题。
国民军二师在每个补给站准备了大量的牛、羊皮袋，这种皮袋，当地人用它作盛水的容器，有了它便可有了储水装备，基本能供应每日路经沙漠的部队饮水问题。
其次，选调了一批将来在甘肃接管行政事务的人员。随同第二师入甘的行政人员，大都经过冯玉祥的精心挑选。冯玉祥认为，欲使自己的势力在甘肃立足，仅有军队是不够的，地方政务需要大量的行政人才，于是冯派包括国共两党党员在内的优秀青年，充实到刘郁芬所属的部队，这些人当中，有中共党员宣侠父、钱崝泉。“另有延国符是国民党员，郑道儒是从美国留学回来的，马登洲是从日本留学才回来的，杨恭时管财，沙明远是冯玉祥的慕友，此外，还有西北银行的行务人员。”张寿龄：《国民军二师刘郁芬部在甘肃》，见《文史资料选辑》第51辑，第148页。
国民军二师赴甘时，所带的这批行政人员中的宣侠父、钱晴泉是最早来甘的中共党员，他们随军抵甘，无疑给封闭落后的甘肃带来了巨大的影响。
宣侠父，浙江诸暨人，又名尧火，号剑魂。早年曾赴日本留学，1923年加入中国社会主义青年团，同年转入中国共产党。为黄埔军校第一期学员，受党组织委派赴张家口国民军总部为政工人员。
钱崝泉，江苏江阴人，1925年春，经恽代英介绍加入中国共产党。随后受党组织派遣到甘肃，曾任军务督办署政治处副处长，积极向士兵宣传革命思想。
1925年9月，踏着初秋塞外的薄雾，宣、钱等人和国民军二师的将士们一道，来到甘肃，开辟这里的大革命事业，传播革命的火种。
第三，疏通甘肃各地方实力派，为进军甘肃排除阻力。按民国地方军政建制，甘肃共设有八镇，分派八个镇守使，镇守使：民国初年官制，为一省内一地区的军事长官。俗称“陇上八镇”。由于甘肃乃回、汉杂居地区，因此，为平衡各派势力，八镇之中，回、汉各占一半。其中实力较大的汉族镇守使为陇东的张兆钾，陇南的孔繁锦，回族为青海的马麒，凉州的马廷勷。此外，兰州还有陆洪涛的一个师。陆洪涛，江苏铜山县人，曾入清末天津北洋武备学堂，与段祺瑞，冯国璋为同窗。清末民初长期在甘肃、新疆军中任职。1922年5月，被北京政府任命为甘肃督军，后又兼省长。1924年，陆改省防军为甘肃陆军第一师，自任师长。陆主政甘肃期间，各地方镇守使与其多有矛盾，故形成回、汉割据局面。由于冯玉祥举荐马福祥担任了西北边防会办，西北回族势力对冯派兵入甘，基本持谅解态度，从而予以配合。如马福祥之子马鸿逵部驻石嘴山，扼守着宁夏的北大门，马福祥之侄马鸿宾驻节宁夏城(今银川市)。马福祥动员子侄，欢迎冯军入甘，马鸿逵调部队南移金积、灵武两县，而马鸿宾在宁夏城则作迎接国民军二师的准备。这样国民军二师，不仅可以顺利通过宁夏，而且可在宁夏城暂作休息和补充。汉族实力派孔繁锦，盘据陇南重镇天水多年，自成体系，如暂不触动他的利益，不会构成过大威胁。唯有陇东张兆钾野心较大，早有谋夺省长一职的野心，加之冯玉祥势力来甘，自然要影响到他的计划，因而用“甘人治甘”的口号，企图抵制冯军来甘，对冯玉祥及国民军采取敌视态度，对其不得不保持高度戒备。
这样，在做了各方面充分准备之后，顺利入甘便有了一定条件。
为了补充兵员，刘郁芬按冯玉祥要求，选派一部分豫、皖、鲁籍的军官分别到原籍去招募新兵。冯玉祥多年来常用这种办法，他常说，“打架亲兄弟，上阵父子兵”。因而由军官赴原籍募兵，招来的兵非亲即友，一方面便于长官对士兵的驾驭，但也包含着许多封建性，部队内易于形成死党。刘郁芬新募来的兵，分派到各连队。进军甘肃的筹备事宜就全部就绪了。
剪除反冯势力
为了适应补给和前进中的策应，在全部队伍开拔前，刘郁芬将全师的12个步兵营和6个特种兵营分别编为9个梯队，每个梯队约两营兵力。刘任总指挥。蒋鸿遇为副总指挥。出发前，宣侠父、钱崝泉受命起草了《告甘肃民众书》等宣传品，内容是国民军将保持严格的行军纪律，希望甘肃民众与国民军共同努力。宣侠父：《西北远征记》，文史资料出版社，1982年，第43页。并在士兵的臂章上写上“不扰民、真爱民”六个字，以示部队的宗旨。刘郁芬还暗中派了一批参谋人员，潜入兰州收集有关情报资料，以作入甘后行动之参考。
1925年9月，秋风瑟瑟，塞外苦寒，国民军二师从包头出发，经五原、临河、磴口、石嘴子，于13日到达宁夏城，稍作休整后向甘肃进发。这一路大部分行军是在荒漠之中前进，风狂沙飞，生活之艰苦自不用说，特别是无水源地段，更是行路之难，“难以上青天”。由于事先沿途设有兵站，用皮袋预备了大量饮水，才不至于贻误军机。这样整个近2000里的路程，用了不到一个月时间，就将一支万余人马队伍从绥远的包头，调至甘肃省城兰州。
