夺回广州后，国民政府在7月1日宣告成立，汪精卫、胡汉民、许崇智、廖仲恺等16人当选为政府委员，汪精卫、胡汉民、许崇智、谭延闿、林森当选为常务委员，许崇智出任军事部长，胡汉民担任外交部长。在这次会议上，真正起决定作用的是作为总顾问的鲍罗廷，正是由于他的安排，汪精卫以全票当选国民政府主席，他同时还担任国民党中央执行委员会主席和常务委员会主席，因此成为孙中山去世之后新的政治领袖，胡汉民和廖仲恺也是核心圈内的人物。而蒋介石只是在7月3日成立的军事委员会里的一名委员，另外他所担任的实职也就是广州卫戍司令，为此，蒋介石十分不满，他迟迟不肯就职，甚至还曾提出辞去所有职务。
但实际上，蒋介石可以舍弃军事委员，也可以不当广州卫戍司令，但他却不会离开黄埔军校，“远远地呆在黄埔岛上，培植军校力量，打算有朝一日利用他们为其私利效劳。”作为军事委员会会员，他向军事委员会提出了下一步发展六个方向和目标：（1）发展西南革命势力，以抗拒帝国主义；（2）革除军队积弊；（3）统一财政；（4）整理军队；（5）利用罢工工人建筑道路；（6）统一两广。这六条看似是一个军事发展和改革纲领，但实际上却暗藏着蒋介石的个人意图——整理军队和革除军队积弊等实际上矛头所指正是蒋介石的顶头上司许崇智，他是要把军队从许崇智手中夺出来。汪精卫等支持蒋介石的建议。这期间，加伦却接到莫斯科的命令，悄然离开了广州返回莫斯科，当时只是说加伦将军病情加重，需要回到莫斯科治疗，但实际上在蒋介石提案的背后有一场不为人知的争执，这场争执不是发生在国民党人之间，而是发生在苏联两大顾问之间——鲍罗廷与加伦之间。张太雷后来对此分析说：“加伦主张支持许崇智为军事首脑，建立军事委员会制度；而鲍罗廷则主张支持蒋介石；结果由莫斯科裁定，否定了加伦的意见”。
在加伦被调回莫斯科后，8月20日，国民党中央执行委员会、国民政府委员会和军事委员会召开联席会议，讨论鲍罗廷的提议。他的提议是由汪精卫、蒋介石和许崇智三人组成特别委员会，特别委员会具有最高实权，鲍罗廷担任特别委员会的顾问——实际上这等于形成了这样一个权力结构，即鲍罗廷名为顾问，但却是真正的领袖，而汪精卫、许崇智和蒋介石为执行鲍罗廷意志的最高执行者。其中，蒋介石能以一名普通的军事委员会委员跃升为三人最高权力者之一，完全依仗鲍罗廷的推荐、支持。而就在这一天，还发生了一件震惊全国的事，那就是廖仲恺在国民党中央党部门前被刺杀——无论是谁刺杀了廖仲恺，他的死都为蒋介石跃升扫清了一个巨大的障碍，廖仲恺是一个能够成为领袖的人，但又注定不可能成为领袖，因为他既没有军队的支持，也没有苏联人的支持。
在成为特别委员会成员之一后，蒋介石在8月24日就任了一直未就任的广州卫戍司令，然后他就在8月26日下令何应钦警戒广州市区。
国民政府采取了一系列军队改组政策，所属各部队被重新编制，蒋介石担任国民革命军第一军军长，成为军队中的实力领袖，而原粤军领袖许崇智却失去了大部分军权。
但许崇智的厄运还远未结束，蒋介石已经利用廖仲恺一案暗指与许崇智有牵连，调查显示许崇智的部下梁鸿楷直接参与了谋杀活动，当鲍罗廷指示要对梁鸿楷采取行动的时候，许崇智却拒绝了。当然，这一切的背后总指挥是鲍罗廷，他需要许崇智下台，因为他认为许崇智“不是革命干将”，他还翻旧帐说“孙逸仙及其衣衫褴褛的饥饿军队处境十分困难时，曾向富豪许崇智寻求过帮助”，但许崇智连1000元也没给，他因此说“孙逸仙很憎恨他”。鲍罗廷因此指示说：“在说服许崇智，把许崇智拉到我们方面的一切努力都无效后，无论如何要清除他”。
蒋介石也按照鲍罗廷的意图在紧张地准备，9月9日，他致信汪精卫，表示许崇智限制第一军的发展，控制财政；9月15日，他又向鲍罗廷、汪精卫汇报说许崇智正在调集东莞、石龙的粤军，向广州进发；于是，9月18日，军事委员会授予蒋介石全权处置广州局势的权力。当夜，蒋介石下令黄埔军校学生占领广州市区及周边要地，第二日致信许崇智，希望其暂时离开广东，随后，许崇智就被武装“护送”出广州。随后，国民政府宣布免除许崇智军事部长、粤军总司令和财政总监的职务。
在驱逐了许崇智之后，鲍罗廷又支持蒋介石赶走了胡汉民。
广州一连串的剧烈权力之争也惊动了共产国际。共产国际东方部书记瓦西里耶夫在给维经斯基的信中说，“对胡汉民事件以及随后强行撤销国民党活动家的职务，解除许崇智的武装等都是我们绝对无法理解的。”他认为，这种情况“证明广州因左倾而陷入孤立和毁灭”，因此，他建议维经斯基亲自去一趟广州。
不久，鲍罗廷来到北京，向联共（布）中央政治局委员伊万诺夫斯基、驻华大使加拉罕作汇报。在解释为什么要驱赶胡汉民的时候，他说胡汉民是这样一个人，他“始终实行这样一种政策，在这种政策下，即使一个集团垮台了，他也总能同另一个集团一起执政。胡汉民始终做到了这一点，他是一个很聪明、在中国问题上很老练的人。他知道，他在玩弄权术时，必须依靠某种力量，他想在反共口号上找到这个支柱。”而支持胡汉民的报纸《国民新闻》已经在攻击苏联，另外，鲍罗廷还怀疑胡汉民可能是刺杀廖仲恺的主谋，因此，为了广东的稳定，胡汉民必须离开。他决定派胡汉民去莫斯科出席共产国际会议，然后就留在那里，不让其回国。无奈的胡汉民于9月22日登上了苏联轮船，于10月28日抵达莫斯科，此后在莫斯科居住了半年之久。
在廖仲恺被刺杀、许崇智被驱逐、胡汉民到了莫斯科之后，广州实际上就成了汪精卫与蒋介石的天下。鲍罗廷也向伊万诺夫斯基和加拉罕汇报说，自从许崇智、胡汉民离开广州后，广州就政令畅通，没有再出现抵制现象，“随着这两个人的离去，我们的决定始终得到了准确无误的贯彻执行”。
9月28日，国民党军事委员会任命蒋介石为东征部队总指挥，以国民革命军第一军、第四军为主力，分三路进行第二次东征。10月14日，国民革命军占领陈炯明盘踞的惠州；10月下旬，又先后取得华阳战役、河婆战役的胜利；接着，广东南部的敌军也逐渐被肃清，第二次东征胜利结束，12月31日，蒋介石凯旋而归，出席国民党第二次全国代表大会。在这次大会上，蒋介石得到一枚金质勋章。
但对鲍罗廷于蒋介石，苏联顾问中也有疑虑，切列潘诺夫就曾问鲍罗廷：“蒋介石能跟我们走多远？”
鲍罗廷回答：“他为什么不能跟我们一起走呢？”
实际上，国民党内始终对与苏俄建立联盟感到担忧和不满，孙中山在世时，慑于他的政治威望而没有出现什么波澜，但孙中山去世后，国民党内的右派就渐渐活跃起来，从1925年夏秋之际开始，国民党内就出现了旗帜鲜明地右派，国民党元老戴季陶就是右派的领袖，他在国民党内广泛散发印有戴季陶主义的小册子。当时，共产党领袖陈独秀在上海召开的中共中央执行委员会扩大会议上说，戴季陶的小册子不是他一个人的事，而是资产阶级企图巩固自己的阶级权力，走向反动的表现。为此，陈独秀建议中共党员应该及时退出国民党，这样才能保持共产党的政治面貌。但陈独秀的建议遭到苏联顾问维经斯基的反对，因为莫斯科总体上还需要与国民党保持合作。
国民党右派的活动也更趋公开，也更具组织性，1925年11月23日，国民党中央执行委员叶楚伧、戴季陶、谢持、皱鲁、林森在北京西山召开国民党中央执行委员会第四次会议，这就是“西山会议”，戴季陶等人也被称为“西山会议派”。这次会议通过了《取消共产派在本党之党籍案》，会议结论是，共产党的言论与国民党的利益诉求不一致，认为共产党加入国民党是另有居心，“盖其加入之意，系图利用本党，发展共产党党势，且籍以维持苏联”。除了要求国民党内的共产党退出外，会议还要求解除鲍罗廷的顾问职务，西山会议派认为，孙中山去世后，鲍罗廷作为政治顾问，利用政治委员会影响国民党中央执行委员会，操纵国民党的政治、军事活动，使国民党成为苏联的工具，因此，必须要解除鲍罗廷的顾问职务。
面对西山会议派咄咄逼人之势，苏联要求在华顾问不要采取对抗，而是尽量与国民党保持合作，促成国民党北伐，因为这才是苏联所需要的。因此，共产国际东方部也对中国共产党做出指示，要求共产党重新审视与国民党的关系性质，谨慎地活动，在国民党内担任要职的共产党员也要克制。不久，在12月24日，在维经斯基的斡旋与安排下，陈独秀、瞿秋白、张国焘在上海同孙科、叶楚伧举行会谈。会谈中，孙科要求共产党员退出国民党，鲍罗廷离开广州，陈独秀等人拒绝了孙科的要求，只答应不再对西山会议派展开宣传攻击，也接受在国民党中央执行委员会内共产党员人数不超过1/3的比例。鲍罗廷对莫斯科和中共采取妥协托让感到很不满，他质问张国焘：“为什么广东方面将那些阴谋破坏革命的国民党右派驱逐出去了，现在却又要将他们请回来？”鲍罗廷建议，国民党左派和中国共产党应该联合起来，共同反击国民党右派的嚣张气焰，否则就会此消彼长。鲍罗廷在西山会议派召开之时也对《民国日报》发表谈话说，“我们倘若想革命都能成功，只有大家联合，互相援助。就是中国同志，要帮助俄国革命的成功，俄国同志也要帮助中国革命的成功”。
鲍罗廷所采取的措施是促进汪精卫与蒋介石的合作，他仍然相信蒋介石，因为蒋介石在得知西山会议召开后，斥责西山会议派是“捣乱分子”，于是召开各军政治人员和党代表，讨论加强国民党的团结。他宣布，黄埔军校允许共产党员公开活动，也支持国民党员加入共产党。蒋介石这番话表明，他仍在坚持孙中山的“联俄、联共，扶助工农”的政策。在西山会议派召开会议前不久，即12月5日，蒋介石还在对黄埔军校第三期学员讲话中说，“吾敢率国民党内共产与非共产诸同志，集合于国民党青天白日旗帜下，为实行总理革命主义而死”，“三民主义的成功，与共产主义的发展，实相为用而不相悖”。12月11日，蒋介石在宴请苏联顾问的时候，他还说，今天能消灭叛逆，可以说是苏俄同志本其民族精神和革命使命，与本党合作，帮助中国革命的结果。他还斥责有些人思想狭隘，说中国革命受俄国人指使，他们不明白，现在是二十世纪了，中国革命就是世界革命的一部分，“若不具世界革命眼光，关起门来革命，不联合世界革命党，不以世界上以平等待我之民族共同奋斗，那么，革命成功的路径，恰同南辕北辙，决无成功的希望”，他接着说道，“如要真正的革命成功，一定要照俄国革命的方法去做，才是总理真正的信徒”，中国革命者必须学习俄国革命者，“今日在座的几位俄国同志，就是榜样”，“各位如果是有良心的，马上改过来努力做事，如同俄国同志一样，才可以救中国、救自己”。在西山会议结束的第二天，蒋介石向国民党各部下发了《为西山会议告同志书》，书中谴责西山会议派说：“值兹广东统一将告完成，北方民众共起奋斗，卖国军阀自行崩溃，总理三民主义即将实现之时，忽有一部分同志离异，自赴北京西山，开其所谓第四次中央执行委员会全体会议。自行发布议案，驱逐异己，不惜阻挠国民革命大业，迹其言动，无一不悖于本党之纪律与总理之意旨”。蒋介石的一番口诛笔伐自然让鲍罗廷相信，蒋介石仍然是忠实的，是苏联可靠的朋友。鲍罗廷对伊万诺夫斯、加拉罕说，在国民革命军6个军长中，蒋介石、谭延闿、吴铁城和朱培德都是可信的，可以同这些军长“一起完成一项大的工作”。
鲍罗廷尽管对莫斯科采取妥协措施有些不满，但仍只能按照莫斯科的指示执行，当中国共产党决定在国民党第二次代表大会上采取联合国命党中间势力打击右派的时候，鲍罗廷反对这样做，他反对让戴季陶、孙科、叶楚伧返回广州，那会让刚刚安定下来的广州重新动乱起来。他现在希望促成汪精卫和蒋介石的联合，而不希望西山会议派出现在广州打乱他的计划，就连陈独秀与孙科等在上海的谈判也被他嘲笑为“要不得安抚政策”，他直接对中共广州党组织下指示说，广州中共党组织要根据广州的实际情况采取措施，不要听从中共党中央的。
1926年1月1日，国民党第二次全国代表大会召开，但蒋介石和汪精卫的合作却是与鲍罗廷所希望的相左的。蒋介石和汪精卫都没有在这次大会中与西山会议派决裂，不但没有严惩西山会议派，反而调整了处理决定，减轻了原稿中的处罚，如大会将原提议中关于居正、石青阳、石瑛、茅祖权、覃振、傅汝霖、沈定一等7人“开除党籍一年”，改为“书面警告”；原定为将张继、林森、邵元冲、叶楚伧、张知本等5人从重处分，也改为只将皱鲁、谢持两人开除；对戴季陶责仅仅是“予以恳切之训令，促其猛省，不可再误”，孙科、吴稚晖等就连个名义惩治都没有，而会议还决定邀请西山会议派返回广州，这就与鲍罗廷所要求的背道而驰了。
实际上，鲍罗廷促成汪精卫、蒋介石合作根本就是不切实际——从个人角度来看，蒋介石和汪精卫正处在争夺国民党领导权的时候，从政治态度来看，无论汪精卫还是蒋介石，其根本上都是反对联俄、联共的，3月8日，蒋介石就曾向汪精卫说过，不应让权力落入俄国人之手，即使是与第三国际联系，也应该把握分寸，要不失自主地位。因此，他们根本就不可能按照鲍罗廷所期望的方向走。反倒是此时蒋介石在广州有些势单力薄，他需要与国民党右派联合，共同对付汪精卫集团。西山会议派也明白在汪、蒋之间，蒋更具军事实力，汪更具政治实力，蒋介石与鲍罗廷离心离德，而汪精卫则与鲍罗廷走的更近些，因此，西山会议派采取了“遵蒋抑汪”的策略。
汪精卫和蒋介石对鲍罗廷都采取了较为温和、恭顺的态度，两人的合作也多依赖鲍罗廷的从中调和，这也让鲍罗廷感到他能左右广州的局势，他过于自信了。
在1月16日的选举中，蒋介石当选国民党中央执行委员会委员，22日，他又当选为常委，蒋介石在国民党中的地位进一步提高。
在这次大会上，蒋介石并没有积极参加，他只在1月6日到会作了军事方面的报告，然后就再也没参加大会，他实权在握，已经不太在意大会是如何进行的乐。因此，在大会选举之前，汪精卫只好在黄埔军校召开党团会议，希望能了解蒋介石的意见。汪精卫通报了候选人情况，他说希望能听听蒋先生的意见，“我们的意思是，除了蒋先生及何应钦应该当选外，还有王柏龄、王懋功也应该提名为候选人，另外还要选拔几位年青人”，蒋介石回答说：“我还是在军事方面多尽点力，我不要当中央委员，也不应该当中央委员，一个军人如果什么事都管，就难免造成军人政治。我决不能做苏俄的托洛茨基。王柏龄和王懋功没有必要。至于提拔几个年青同志当中央委员，我倒没有什么意见”。
在这次会议之后，鲍罗廷要离开广州一段时间，他相信，在他离开广州这段时间内不会出现什么事，因为蒋介石已经具有相当的地位和实力，他和汪精卫之间的合作也表现良好，因此他可以放心地离开广州，“广东的工作在汪蒋合作之下，可以正常进行，不会因他的暂时离开，发生什么影响”。
共产国际也对广州感到乐观，在共产国际执行委员会第六次扩大会议上通过了《中国问题决议》，决议中认为，广州国民政府是东方革命民主政府的榜样，国民党是一个由中国工人、农民、知识分子和城市小资产阶级民主派组成的联盟，其革命目标是反对帝国主义和封建主义，是革命的力量，广州政府就是中国革命的先锋队。
然而，在他离开广州前往北方与冯玉祥会面仅仅两个月后，3月18日，就发生了“中山舰事件”。
