最后，多少有些讽刺的，早在“罗妹号事件”发生时，台湾地方官府就曾经以“台地生番……不隶版图，为王化所不及”来敷衍美国人。反倒是把版图误解为疆域、王化误解为主权的李让礼指出：“两百年来，中国在台湾的活动地区，配合着中国政府施及台湾的行政权力，由西岸以至东岸，逐步扩张。事实上从未承认生番领有其现住土地的主权，西岸的居民经常贩购生番地区的物产。而生番地区出产的樟脑，已成为台湾官府的专卖品，不容外人自由采购输出。违者严行惩治。所谓生番地区不属中国管辖的说法，实在没有根据。”
但是，日本正是拿着这个失言稻草，当了他们出兵台湾的法理令箭。当柳原带回这个令箭，并被福岛单方面解释为日本可以在台湾自由行动时，桦山资纪对此大加赞赏，认为是“柳原公使的英断，是副岛大使的面子”，并称即将展开的行动是“自丰公（丰臣秀吉）征韩以来的一大快事”。并大呼机不可失，所谓觐见清帝的问题已不重要，重要的是尽快展开对台湾的军事行动——其得意忘形的姿态可见一斑。
6月23日，桦山与高屋（海军少佐）、儿玉利国（海军大尉）、成富、水野五人离开北京，7月3日抵达上海，因等船而滞留两周，继而于17日离开上海。其中高屋、水野回国，桦山、儿玉、成富以及在上海加入的诚岛四人则赶往台湾。
因为要在福州换船，一行人于20日进入马尾港，并在这里再次因等船而滞留30多天，桦山一行不愿浪费时间空等，便化装成商人或雅士，四处搜集情报、测绘精密地图。当地清朝官员已有人意识到山雨欲来，可惜未能识破桦山一行的真实身份，其中一名叫陈锡的通商官员还特来向这些日本“商人”探寻口风，问日本是否要对台湾采取军事行动，桦山则狡猾地顺水推舟道：“这不是我辈商人所能知道的。”而在日记中，桦山则作出如下总结：福建省与台湾一衣带水，隔水相望。福州和厦门是最重要之地，与台湾是唇齿相辅之关系，可以说，有福建才有台湾，有台湾才有福建。福建是重要之地，需要注意。由于台湾没有安全的停泊地，将厦门作为台湾物产的集散港，无论从贸易上还是从国防上，将来都是大有作为之港。
古人说“得陇望蜀”，现在桦山还没有看到“陇”，就已经开始先“望蜀”了。
万里激波暂未鸣
8月23日，桦山一行终于登陆淡水。
在淡水，桦山遇到了英国领事馆的馆员贝德尔森。这位老贝对日本人相当亲善，此前，在台湾从事情报工作的水野遵和黑冈勇之丞便是住在他的家中。这次桦山一行又得到他的多方关照，他还在夜宴时拿出台湾地图，结合英国的考察报告，给桦山一行上了一堂扫盲课，令这帮人大感受益匪浅。
鉴于此前在香港留学的水野遵（后出任日据时代台湾总督府民政局长）于2月间接到福岛的通知后，于4月至5月下旬考察了台北地区，此时仅有苏澳等东部沿海地区是侦察空白。桦山于9月离开淡水，往基隆、苏澳等地考察，历时43天。
本来，按照桦山在北京的原计划，在考察结束后他将先返回本土汇报。但是由于沿途多次因等船浪费时间，桦山取消了回国计划，决定在岛上等待远征军的到来——因为按照当初的约定，远征行动将在10月底展开。桦山在苏澳与当地番民头目置酒欢饮分别之际，还赋了一首汉诗：“蓄山郁苍呼无声，仰天空想别袖情。月上东洋照台岛，唯闻万里激波声。”
但是，桦山期待的激波声并未立即传来。
10月16日桦山回到淡水后，因仍未等到出兵消息，先伪装成商人刺探消息，继而于11月3日，和贝德尔森等“友好人士”“惜别”后赴厦门，再转赴打狗、安平、台南等地侦察。而此前伪装成画师秘访了台湾的福岛九成则于9月回国作了汇报，并在12月5日向岩仓具视递交出兵建议白皮书。第二天，儿玉、成富也返回国内，并在12月17日得到大久保利通的召见。
成富清风在作为调查报告的“台湾地方觉书”中指出，“台湾岛位于琉球番之西南，实吾皇国之门户也。如果该门户不能坚守，出则无法控制西南各国，入则无法扞卫皇国。昔者九州边境之民，据此岛西窥闽粤，南通吕宋，及西南各岛屿，故欲将国威向外宣扬。占据此岛始可指挥西南各国。盖欧美各国之船舶，来往亚洲者，无不经过此一门户，而经过者必垂涎欲滴。如今该地唯三分之一属于清朝，而岛上欧美居民却不少，且皆在觊觎台湾，卧榻之侧，岂容鼾睡！”这里，他所说的曾经占据台湾的“昔者九州边境之民”不是别个，正是明朝之倭寇。
在当时中国的史料里也提到倭寇经常逃亡台湾设置根据地。后来连横着《台湾通史》也提到当时的日本“政乱民穷，萨摩、肥前诸国之氓，相聚为盗，驾八幡船侵掠中国沿海，深入闽浙，而以台湾为往来之地。”（顺便多说一句，后来清廷编修《明史》时粗枝大叶，仅凭前述明朝关于倭寇的史料便将台湾的基隆地区误记为位于台湾北部的“鸡笼国”，并称此国为“日本所属”，列入《外国列传》，成为后来日本宣传台湾主权归属未定的一个所谓“中方历史依据”，迄今仍为某些日本右翼人士及台湾极端亲日分子紧抓不放）而他所谓“该地唯三分之一属于清朝”则显然是故意将清朝的有限开发及直接管辖范围与主权范围相混淆。但他所提到的欧美列强觊觎台湾却不是虚传，在1867和1868年间，英美在台湾屡屡挑起事端，并大玩“炮舰外交”。可惜当时国人多意识不到危险，总以为台湾的问题是很遥远的事务，也看不清其对国家安全与国家利益的长远影响。反而是这位日本人害怕本国侵台落后，得出了如下建议：“（侵台行动）展缓一日则失一日之良机，唯仰乞尽速决定开辟台湾之议。”
次年1月，儿玉向海军卿胜安房正式提出了征台建议书。
可是，此时日本国内的政治形势，与桦山进京之时已经是大不相同了。虽然这些少壮派军官磨刀霍霍，西乡等大老深表支持，但最终有权拍板干与不干的，却是当时把持政坛枢纽的大久保利通。
缓急之争与十月政变
明治四年十一月，日本政府组建了规模惊人的外交使节团出访欧美，学习富国强兵之道，并幻想以外交手段废止不平等条约。这个使节团以右大臣岩仓具视为全权大使，参议木户孝允、大藏卿大久保利通、工部大辅伊藤博文、外务少辅山口尚芳为副使，包括五十余名官员、五十余名留学生，由横滨出海，游历了美、英、德、法、意、俄、比、荷、奥、丹、西、葡、瑞士、瑞典等国，参加了维也纳的外国博览会，亲耳聆听了铁血宰相俾斯麦的教诲。可谓受益匪浅。但日本内政也因之产生了一个意外的波折。
本来这次出访活动是大隈重信倡议举行的，按照大隈的本意，他自己肯定是要参加这个使节团的，而木户孝允与大久保利通则留在国内整顿内务，但出乎意料的是，木户与大久保对出访的事情极其热心，多方奔走活动，最后居然形成了木户与大久保出访，作为倡议者的大隈却被留下的情势，这就使得激进派暂时在国内政局中占得了上风。而激进派一旦意识到这个机会，也会刻意加大这个趋势，据大隈重信回忆：“处理萨长的倾轧和解决官吏安置的冲突极为棘手，且要清除阻碍各项改革和革新的弊端。因此，尽量把那些有碍于此的人派出去，即采取所谓‘阎王不在，小鬼当家’的办法，以在此期间进行全面的改革和整顿。总之，要尽快地和尽量多地派出一些人。于是，派出了将近一百人。”而根据原计划，是仅准备派出二十余人的。至于出访时间，本来也只安排了六个月，但实际上却延长为一年零九个月，就是在这漫长的一年零九个月内，日本政局发生了微妙的变化。
明治六年（1873年）初，由于日本单方面将釜山的草梁倭馆改为大日本公馆，一时使本就复杂的日朝关系极其激化。面对朝鲜方面的剧烈反应，西乡隆盛大感亢奋，他利用大久保等稳健派要员出访欧美的机会，逼迫太政大臣三条实美任命自己为内定遣韩公使，专职交涉韩人侮辱日本事件。西乡甚至对自己的心腹表示，如果自己此行被杀，则正可以使日本有口实对韩国采取军事行动。西乡还进一步表示自己将“戴乌纱帽、着文官服”，不带武士刀前往赴任，以加大自己被杀的戏剧性后果，和朝鲜的责任性。
同年5月，大久保从欧洲回国，以暂不参政表示了对西乡的蛮干路线的抗议。8月，西乡被内定为大使，西乡得意地表示：“已无梗阻之忧，人生之乐事在此。”第二天大久保就离开了东京外游，9月岩仓回国后，大久保才返回东京，岩仓也以休假方式软对抗。10月14、15日召开的阁议上，西乡派态度强硬。反对派则一口气说出七大理由反对：第一，（自天皇）亲政以来，百度更革，士民失业者多，或误会命令，或怀疑增税，稍有变动，则不免流血。这个时候征韩，只怕外不能平，内却先要乱。
第二，财政赤字问题严重，若对外战争，陷于旷日持久，自不能不加重赋敛。赋敛加重，民怨即生，纸币即须多发。纸币增发，物价即涨，外债不能不举。外债一举，则偿还无术。
第三，日本现在正处于制度变革的关键时刻，谋国富，图兵强，收效均当在数年之后。现在征韩，百事势须终止，前功尽弃。
第四，对外贸易存在进口超过出口的问题，此时对外开战，“使壮丁役于外，老弱困于内”，国内经济只能更糟，何况还要自外国购置船舰兵器，必将陷入“上下困顿”的局面。
第五，外国可虞者，首推俄国，彼有南进之意，为天下所熟知，今若与朝鲜交兵，是不啻鹬蚌相争，予俄国以渔翁之利。
第六，次于俄国者为英国。我国负英国之债已多，若不能偿还之，彼必以此为口实，干预我内政，沦我而为印度之续。
第七，我国与各国所订之条约，不能获得对等之地位。如英法两国悍然驻兵于我地，视我如属国，然我不以此为耻，反责朝鲜之无礼，是忍大而不忍小，察远而不察近者也。
虽然理论充分，三条实美的态度也发生了动摇，但西乡仍固执己见，并利用自己在军界的巨大影响力，强迫同僚接受征韩论。激烈的争论中，三条实美“病”倒了。西乡仍不屈不挠地坚持急征朝鲜。双方暂时呈僵持局面。
10月19日，经宫廷政治的运作，由天皇宣布岩仓代因“病”递交辞呈的三条实美主政，并指示：“整理国政，培养民力，以期成功于永远。”这才打破了力量平衡。
这里值得指出的是，三条和岩仓虽然都是缓征派的支持者，但是，前者意志不够坚强，难以对抗咄咄逼人的西乡隆盛。而岩仓则不然，西乡隆盛跑到他家中大吵大叫，岩仓也不为所动，而是还以大吵大叫。他和大久保互相支持，终于将西乡一派压制了下去。这就是日本史中所谓的“十月政变”。
10月23日，西乡隆盛辞去所有职务。带了一名随从、一名仆役，身披蓑衣，手拿猎枪，一副当代源义经的姿态离开了东京，先是到木下川越后屋的别墅，吟诗作赋、临池垂钓了三天，接着便回了鹿儿岛。他于明治七年六月设立私人学校，麾下聚集了15000人的私人武装，成为当时日本国内一支极其特殊的力量。
对当时的日本政坛而言，西乡的辞职带来了很大的震荡。就在他引退的第二天（24日），作为核心追随者的板垣、江藤还有刚从中国返回的福岛也递交了辞呈并被批准。其中福岛放弃了他一直参与的征台之议，转而支持征韩。同为陆军少将的桐野利秋与蓧原国干也跟着辞职，并追随西乡去了鹿儿岛。村田新八则从欧洲赶回递交了辞呈。闹到最后，每天都有数百名萨摩与土佐藩出身的军官纷纷或称病辞职或请求除名，然后络绎西行，像朝圣一样投奔西乡隆盛。桐野利秋甚至决定组织一场针对岩仓具视等要员的暗杀活动，只是因为遭到西乡的严厉斥责，才没有立即付诸实施。但是，后来（明治七年一月）还是发生了岩仓遭刺事件，虽然岩仓命大，身中数刀而未死，但已经隐约可见后来日本少壮激进派的身影。
回头再看台湾的桦山资纪。他结束台南考察后，于12月6日离开台湾赴香港，再到上海。这才得知国内已经暂时放弃了征韩论，内治派占上风，西乡隆盛等要员下野。虽然西乡从道给桦山来信并捎带口信，希望他能“暂时回国”，可桦山还是决定不回日本，而是再赴台湾。正如他在日记中所写下的那样，此时的桦山虽然对当局的决策深感惋惜，但却绝不会就此罢手，他认为：“好不容易在台湾经营可以就绪之际，却发生了几近绝望之感的情事。然而余等之目的与决心绝不会因此而沮丧，反倒是愈益强势地达成目标。”他先是在上海和陆军派往中国的益满邦介、美代清元等7名侦察员接上了头，于12月26日乘坐日本军舰“春日”号（舰长井上馨）离开上海，经香港、广东、澳门、汕头，一路搜罗情报，最后在1874年的3月2日抵达澎湖，3月9日登陆打狗，开始对台湾南部地区作更详细的考察。
让桦山喜出望外的是，在4月22日，他与水野遵在淡水意外遇到了久不相见的儿玉利国，还有陆军中尉田中纲常、中尉池田德四郎及成富清风等人。原来，这帮人准备以怀柔原住民的方式，策动台东的奇莱平原“独立”，然后展开日本殖民活动，将之建设成一个基地，并伺机占领整个南澳平原。
对于这个行动，桦山不用说是非常支持，但双方虽约定一起行动，可很快他们就又分道扬镳了，因为日本国内的政局又发生了出人意料的大逆转。
