在二战结束后的东京审判法庭上，一位苏联记者这样描述土肥原贤二，他说：“土肥原个子不高，身体肥胖，硕大的脑袋长在宽宽的肩膀上。头发仍是剪得短短的，这就更突出了宽大的前额和两只隆起的大耳朵。蒜头鼻子，上窄下宽，鼻孔特别，使脸面显出一副凶相。一双深陷、聪颖而炯炯有神的眼睛，不时地射出阴险的光焰。微笑时嘴唇张开，露出两排交错不齐的牙齿。”土肥原贤二是侵华期间最大的间谍头目，从日方来看，土肥原贤二堪称第三颗谍报巨星，有东方托马斯·爱德华·劳伦斯之称。
说到土肥原贤二就不得不从板西利八郎说起，而说到坂西利八郎又不得不从青木宣纯说起。青木宣纯，出生于1859年9月，幼时因读《三国志》而对中国产生浓厚兴趣，1875年入陆军幼年学校学习，1877年入日本陆军士官学校，1879年毕业。1884年，青木被调入参谋本部，派往广州。在广州期间学会了流利的粤语，并且展现出不凡的能力。1887年青木被派往北京，执行堪绘北京地图的任务。他与柴五郎等人走遍了北京周围的所有地区，因而绘制了极为详细的地图。
在甲午战争期间任日军第一军参谋，1897年任驻华公使管武官，也就是在这时结识了时任山东巡抚的袁世凯。在八国联军入侵北京期间，青木由于组织日方民众有效抵抗了义和团的进攻而声名鹊起，于是充任天津地区都统衙门委员。义和团之后青木又担任了清国驻屯军参谋长。此时，日本与俄国交战已经在所难免，1903年日俄战争爆发前，青木奉日本满洲军司令部之命前往北京组建了谍报机构，称为“青木公馆”。青木利用袁世凯的关系，从北洋新军情报系统中获得大量俄方情报，并组建了“特别任务训练班”，训练谍报人员，同时也招募中国东北和内蒙古东部地区的土匪武装，资助以武器弹药等，用以打击俄军后方。
板西利八郎是继青木宣纯之后的第二代情报巨星，已成了青木衣钵，组建“板西公馆”，同样获取了大量情报。
坂西利八郎1870年出生于日本和歌山县一个旧藩武士家庭，其父坂西良一是炮兵大尉。坂西利八郎幼年就读于陆军一所小学，其后考入日本陆军士官学校，1891年毕业后进入陆军，不久升为炮兵少尉，并随同炮兵第6连队一起参加过中日甲午战争。1896年再入陆军炮工学校高等科，1900年于陆军大学军刀组毕业，1909年因对中国问题有较深入的研究被调入参谋本部，之后即派往中国。
板西来到中国后成为青木宣纯的助手，并通过青木结识了时任直隶总督的袁世凯。当时，袁世凯正在培养新军，聘请了大量日本军官做顾问，不过由于中俄之间有《喀西尼密约》，密约规定中国军队如聘请军事教官及顾问必须由俄国人担任，袁世凯在聘请板西后就让他换上中国服装，并改名为班志超，其意是说板西就像是中国历史上的班超，故取名班志超。袁世凯十分清楚，这支新建陆军就是他日后的起家之军，因此他倾注了满腔心血，不惜重金聘请了十几位德国教官，其中包括退役军官沙尔等人。在袁世凯聘请的外国军事教练、顾问中日本人占有不小的比例，袁世凯所练新军也主要是以日军为典范。袁世凯先后聘有日本军官立花小一郎少佐到保定为练兵顾问，后立花小一郎又被委任为军政司参赞政会议议员；同时被聘的还有金竹弥三彦，他是一位炮兵大佐，也为军政司参谋处顾问；骑兵大尉嘉悦敏也是军政司教练出顾问，中川文昱为兵备处顾问等。1904年9月，当立花小一郎等人返回日本后，袁世凯又聘请炮兵大佐坂西利八郎为练兵顾问兼北洋督练公所总翻译官。在后来日本发动的侵华战争中，由于这些日本军事顾问熟悉中国，因而也都成为侵华日军中的干将，如立花小一郎、坂西利八郎、寺西秀武、山根虎之助等人。其中，袁世凯对坂西利八郎最为敬重，他曾对属下人吩咐：“坂西来见，如果有客，就一面让他在客厅坐，一面通报；如没客，马上就见，不得阻拦”。
坂西利八郎曾在日本参谋本部工作，主要研究中国情况，精通汉语，因而能与袁世凯直接交谈。袁世凯给他的待遇也很高，薪资与总办、帮办同级，由总督衙门支付；坂西还有自己的办公公馆，有事时可以直接去袁世凯的宅第。在袁世凯调任军机大臣来到北京后，坂西虽然仍在天津，但却经常往返于京津之间，每次进京必与袁世凯见面，有时还长谈。当袁世凯被开缺后，坂西就担任袁世凯心腹重臣、直隶总督杨士骧的顾问。1912年袁世凯就任民国总统后，坂西也来到北京，就职于设计筹备军事处，负责北洋军队的新编制，后又就职于设计筹备陆海军元帅统率办事处，这些都是袁世凯的军事核心组织。当时，坂西利八郎有两个重要的助手，其中一个就是后来赫赫有名的侵华战犯土肥原贤二。直到1915年7月，坂西利八郎才被解聘。
日俄战争爆发后，青木被调往满洲司令部，其所领导的情报工作就移交给了板西。当时，板西实际上已经和袁世凯在进行情报交换，袁世凯的干将段芝贵就具体负责此事。段芝贵将从全国各地收集的情报送交给板西，板西再命人将其中有价值的情报翻译成日文，然后送交日本驻屯军司令部，再由该司令部转送参谋本部。
日俄战争结束后，板西奉调回国，担任野战炮兵第9联队队长。数年后，中国爆发辛亥革命，参谋本部再调板西前往北京，担任驻华公使馆武官，实际上是在华建立谍报网，成立了“板西公馆”特务机关。袁世凯死后，正是北洋各派走马灯一样成为北京的主人，而板西则密切参与北京政府的大小适宜以及权力转换，从袁世凯开始，经过黎元洪、冯国璋、徐世昌、黎元洪第二次上台、曹锟、段祺瑞先后七任总统，而他始终在幕后参与中国内政，且能博得每一任总统的信任，因而赢得了“七代兴亡的不倒翁”的赞誉。
无论为哪一任总统出谋划策，板西的目的都只有一个，即为日本利益服务。
板西实际上是一个骨子里浸透了侵略思想的人，当中国爆发辛亥革命后，他就一直在仔细研究中国。1915年4月，当日本与袁世凯商谈“二十一条”受阻的时候，他就提出了“支那吞并论”。当时北洋政府在与日本人谈判的时候，日方要价过高，袁世凯颇为不满地对坂西利八郎说：“日本本应将中国视为平等友邦而相互交往，为何动辄便视中国为猪狗或奴隶？对于日本的‘二十一条’要求，中国固愿尽可能给予让步，然而不可能之事就是不可能，毫无办法。”言辞之间袁意表示出怒色，实际上也是在试探日本的态度。坂西随后向日本驻华公使日置益报告说：“袁世凯谈话时情调激切，似乎已有坚定决心。”在与坂西利八郎谈话后，袁还令曹汝霖赴日本公使馆，会晤日置益。曹汝霖说：“旧前贵公使返国述职之际，关于中国问题所订各节，原指望阁下归国后当与贵国政府有关当局进行磋商，或能带回良好之‘土产’，孰意贵公使已于昨日将贵国之‘土产’手交袁大总统，实令人‘感激’莫置”。对于曹汝霖的讽刺，日置益答复说：“昨日向袁大总统提出之各项要求，帝国政府已经过深思熟虑，且有坚定之决心，并必能期其成效。故切望对此中情况深加体……”于是日置益在向日本外相加藤汇报时说：“曹氏为人向属温厚，而言时词色异乎寻常，已露出其内心之感慨”。鉴于北洋政府的态度，板西利八郎在与寺内正毅大将的通信中就明确说：“值此欧洲无暇东顾之际，应利用此千载一遇之好机会，断然处置支那。非他日而应在今日实行吞并支那为最好。”1916年，他又说：“支那很难依靠自身维持完全独立”。不过，他提醒日本政府注意中国的民众力量，因为中国尽管军阀混战，但一旦国家遭到外敌的强大压力时，各军阀又都争相表现出“爱国”的一面，实际上是害怕违背民众的意愿。板西的“支那吞并论”主旨思想就是日本要想崛起是不能离开中国的，必须要依靠中国丰富的资源才能获得抗衡欧美的力量，而最好的办法就是吞并中国。
在段祺瑞执政期间，也正是经过板西的努力，促成了段祺瑞政府与日本签订了《西原借款》，而这实际上是一个比“二十一条”还卖国的借款条约。
1917年段祺瑞重新出任总理后，名义上为了镇压南方革命党，实际上是为了壮大皖系军阀，不惜出卖大量中国财富换取日本贷款。在1917年至1918年期间向日本政府贷款5亿日元，其中日方的主要谈判负责人是西原龟三，其曾为北洋政府的军事顾问，他与曹汝霖、陆宗舆、章宗祥等商定了有吉会铁路、满蒙四铁路、吉林、黑龙江两省的森林和金矿、有线电信、参战、交通银行等八项借款，共计1.45亿日元，借款条件就是把中国山东和东北地区的铁路、森林、矿山等权益交给日本。在贷款签订后，寺内正毅首相得意之情溢于言表，他说，通过向中国贷款，日本所获得的经济、政治特权“何止十倍于二十一条”。而段祺瑞则利用所得贷款建立起了“参战军”，即所谓参加第一次世界大战之军，实际上就是扩大了皖系的军事实力。
1927年，坂西利八郎奉调回国，靳云鹏赠诗相送，诗曰：“二十五年海外交，一杯离洒长春亭。销魂今日幽燕别，把臂他年沧海盟。大地龙蛇方起陆，九州烽火息惊医。莫特长剑轻抛却，赤县睡狮要觉醒。”
坂西回国后由于未曾担任过师团长而无法晋升大将，故以陆军中将衔转为预备役，后又被选为贵族院议员，其此后经常参与对华政策的制定。
1937年，日本发动侵华战争，因其与北洋派系个高官军阀私交甚好，参谋本部因而再次启用板西，希望他能把吴佩字、靳云鹏、徐世昌等人拉入日本阵营，担任伪职，但这次坂西可以说一无所获，最后不得不黯然离开中国。
二战结束后，坂西退隐到乡下，死于1950年。
在坂西利八郎之后，土肥原贤二成为第三代谍报巨星，青木宣纯和坂西利八郎都曾说过，未来继承他们在中国的谋略事业的人，只有土肥原贤二。青木宣纯和坂西利利八郎不仅本身是谍报枭雄，而且也培养了许多干将，如本庄繁、冈村宁次、土肥原贤二等人日后都成为日本侵略军中的最高将领。本庄繁和冈村宁次都成为军队高级将领，为关东军最高指挥官，而土肥原贤二则继承了坂西利八郎衣钵，主要从事谍报和阴谋策划。
英国前驻日大使克雷吉爵士曾对土肥原有过一段十分形象的描绘，他说：日本陆军在中国的“一切阴谋诡计和恩威并施中，日本方面有一个小人物始终在活跃地上蹿下跳……无论什么地方，只要有他沾边，哪怕是写上几个字，作上一番鼓动，就注定要出乱子……借此为侵略铺平道路”。青木宣纯时期，日本的主要对手是俄国，日本需要将俄国势力赶出中国东北；坂西利八郎时期，中国群雄迭起，是北洋纷争的年代，日本正在向东北渗透；到了土肥原贤二时期，正是日本开始向中国大规模侵略的时候，而陆军又是侵华的强硬派，于是作为陆军谍报组织，土肥原贤二就成为搜集情报和制造阴谋的急先锋，为侵华铺路搭桥。
土肥原贤二1883年8月8日出生于日本冈山县一个武士家庭，1904年毕业于日本陆军士官学校，同年11月被分配进入驻在高崎的步兵第十五师团。之后，土肥原再入日本陆军大学学习，1912年毕业，被调入参谋本部，即被派往中国，成为日本驻华公使馆武官板西利八郎的辅佐官。坂西利八郎不但是他的上级，更是他的老师，两人关系也甚为亲密，当坂西结束在中国的顾问生涯准备回国的时候，土肥原以难舍之心书写赠别之言，他说：“坂西将军处于政局动荡、几经易主的中国，而屡受信任乃至今日。议者往往讥为朝秦暮楚，有失节操，余以为此皆鼠目寸光之见。夫将军之真心在于爱我国，爱我同胞，节操乃忠于今上一人，岂有他哉？将军立足于此，誓为日中亲善竭尽其卓见博识，以应多变之中国，非真忠于段某或张某也。议者不知鸿鹄之志，吾笑其为燕雀也。”
土肥原从板西那里所学颇丰，完全具备了领导间谍组织的能力，他和青木、板西一样能说一口流利的汉语，甚至还能说几种中国方言，他对中国的风俗习惯、思想、历史等各个方面都有很深的研究，且十分擅长人际交往，而外表亲善平和，内心却十分阴险毒辣，忠心于天皇，愿为日本利益干一切有违人类良心的事，所以他成为在华进行谍报和制造祸乱“最理想的人才”。
土肥原首次展露出特工才华是在1918年。关于土肥原的历史资料并不多，其最早的一张照片拍摄于，在这张照片里有三个人，左侧是土肥原，中间一个日本书记员，右侧是一个中国人，但这张照片不是拍摄于中国内地，而是拍摄于海参崴。1918年，日本参与西方干涉俄国革命，出兵远东，但却在伯力吃了败仗，土肥原受命来此调查日军失败的原因。土肥原来到海参崴后并不是去战场或是俄军进行调查，而是在战场周围的地区寻找那些可能目睹战争的中国人。由于土肥原能说流利的中国话，因而很快就能与这些中国普通聊起来，他就用一般百姓聊天的方式了解当时这些百姓看到了什么。在这次调查中，他一共找到了目睹战争的24名中国百姓，就在轻松和循循善诱的聊天中，土肥原很快总结出了日军失败的原因。
在北京王府井大街附近的锡拉胡同，有一个外表并不起眼但实际上是个高墙深院的宅第，这就是“坂西公馆”。在这里，板西利八郎和土肥原贤二曾一起探讨对华政策，土肥原当时阐述说，欲侵占中国，必须要取循序渐进之策，为此不可以将华北作为夺取中国的首要之地，因为华北为中国政治中心，如首取华北，必遭东北及中国腹地两面夹击，故而应首取满蒙，因满蒙为满人、蒙人之地，本不属于中国本土，而为满清固有之土，可作满清退守重建之所。满蒙现在软弱无力，又有自立之心，因此适合日本介入。当日本夺取满蒙之后再图华北那时就是水到渠成了。为此，土肥原认为，应扶植东北的张作霖，打击直系军阀吴佩孚。坂西对土肥原的分析很赞同，因而决定将土肥原推荐给张作霖，希望土肥原能在张作霖身边实现他的“宏图大志”。然而，张作霖身边的日本顾问町野武马却对土肥原心存芥蒂，因为土肥原属于参谋本部，而日本陆军一向不把日本内阁放在眼里，经常自行其是，因此他很担心土肥原来到张作霖身边后会制造出日本政府难以收拾的局面。由于丁武野马的极力反对，坂西利八郎的推荐受阻，土肥原只好“委屈”在坂西的身边。但不久，土肥原就再次获得了机会。
1924年9月，第二次直奉战争爆发，这给了土肥原施展的机会。当战争爆发后，土肥原立即劝说关东军暗中帮助奉系，同时他自己也通过种种手段，扰乱了直系的金融系统，这使得直系财税收入大减，战争资金日见匮乏。与此同时，就在直系困顿之际，直系将领冯玉祥又发动了北京政变，推翻了贿选总统曹锟，这让吴佩孚一下陷入内外交困之中，无奈只好撤回武汉。尽管关东军和土肥原帮助了奉系，但张作霖却并不那么恭顺，势力正大的这位东北王对日本人提出的种种权益要求总是百般推拖，虚以应对，甚至还有摆脱日本人控制的苗头。
1927年，日本召开了“东方会议”，对华政策作了大幅调整，政策渐趋强硬，控制中国东北的意图也更加明显。但张作霖却让日本越来越失望，他们原本将“满蒙独立”的希望寄托在张的身上，然而张却表现出利用日本而非被日本利用的心思，这让日本政府深感恼怒。1928年3月，土肥原受聘成为张作霖的顾问。1928年，也正是北伐节节胜利的年月，蒋、冯、阎、李合力北伐，北伐军所向披靡，奉军节节败退，日本为阻止北伐军深入京津地区在山东进行了干涉，并且迫使张作霖接受土肥原作为“中华民国镇威上将军公署顾问”。土肥原一面策动日军用种种借口阻挡北伐军北上，一方面劝说张作霖尽快撤出北京返回奉天，但张作霖不甘心失败，仍坚持在北京反击北伐军，直到6月2日无法再阻挡北伐军后才宣布“退出京师”。而此时，土肥原已经决定对张作霖下手，干掉这个不听话的东北王。
6月3日晚，土肥原在北京火车站站台上与张作霖握手言别，内心却在祝愿张大帅在黄泉路上一路走好。次日清晨5时23分，在奉天皇姑屯火车站京奉线与南满线铁路交汇处一声巨大的爆炸声中，张作霖的专列被炸翻，这位叱咤风云多年的东北王就这样丧命在土肥原的手中。
由于炸死张作霖是关东军的擅自行动，日本内阁对此非常不满，于是将爆炸主要策划者河本大作开除出军队，有令土肥原辞去顾问一职，然后于1929年3月调任高田第三十步兵连队任队长。
然而，尽管炸死了张作霖，但东北的局势仍未向着土肥原预想的方向发展，张学良继承了父亲的权力，与日本的合作仍心不甘、情不愿。土肥原贤二后来说：“皇姑屯事件未能引起东北混乱，以便关东军出兵干预。相反却促使张学良因家仇而更加坚定了易帜的决心。”
1930年中国爆发了军阀混战，也就是中国所称的中原大战，这给了土肥原再次返回中国的机会。由于其与阎锡山是日本士官学校同学，因此日本参谋本部再次派他前往中国与阎锡山等军阀联系，穿梭其间，组成所谓的“北洋派大同盟”，用以对抗张学良和蒋介石。
1931年，张学良已经将东北军11万主力调入关内，策应蒋介石，于是土肥原与关东军的少壮参谋石原莞尔、板垣征四郎就决定趁东北兵力空虚之际发动突然进攻，然后一举占领整个东北。1931年9月18日，日本关东军在板垣征四郎和石原莞尔等侵华分子的策动下，挑起了震惊中外的“九·一八”事变。土肥原在此前一个月调任奉天特务机关长，在事发前三天，他返回东京述职，因而表面看起来这次事变与他无关，但实际上身为特务机关长不但不会与此事无关，而且很可能有密切的关系。
“九·一八”之后，土肥原成为奉天的第一个日本市长。当时丰天由于东北军撤走，日军暂时忙于进攻，因而奉天成了一个无政府地区，一时间盗匪横行，街面上非常混乱。土肥原成为市长后开始恢复市内秩序，但关东军匆忙行动，并没有给他经费，土肥原于是自掏腰包，拿出了他多年的积蓄，组织了4000多人的军警，在恢复奉天治安的名义下严密控制了这个东北政治中心。土肥原尽管拥有强大权力，也与各类走私、鸦片贩卖等密切相关，但他本人却极其清廉，从未贪污、受贿过一元钱，这笔钱完全是他的个人积蓄。当然，这笔钱的数目不菲，仅凭他个人的积蓄远远不够，于是他向日本银行借了一大笔钱，此后，他就用他的工资慢慢偿还，而且他也并未向上级报告此事，就是一个人默默地偿还，这使得他此后再也未能有什么个人积蓄，私人生活因而相当清贫。
不过土肥原身为日本人担任奉天市长显然并不合适，而且他本人也希望把过多精力用在这个没什么意义的职位上，因而他的奉天市长仅仅当了一个月就于10月15日让位给中国人赵欣伯。
在日军占领东北后，坂垣征四郎、石原莞尔、土肥原贤二等人认为，这时正是日本统治东北的契机，不过坂垣征四郎认为应该把东北直接划为日本领土，也就是采取直接统治的方式；石原莞尔认为，在“九·一八”之后中国反日情绪十分高涨，且国际上英美苏等国也不会轻易让日本吞并东北，应充分考虑国内外的形势，不易采取极端措施，他认为应该参照朝鲜和台湾的统治方式，即建立总督府，由日本人派一名大将或中将出任总督；板垣征四郎与石原莞尔因此发生争执，最后还是土肥原提出了一个折中方案。土肥原贤二人为，较为稳妥的方式是建立“满洲国”，实行满蒙等五族共和，扶植宣统为傀儡皇帝，这最符合实际。最终，由于日本内阁此时也认为建立“满洲国”是合适的措施，因而建立“满洲国”的方针就订了下来。
不过，此时前清宣统皇帝还在天津，于是关东军司令本庄繁就将密送溥仪来东北的计划交给了土肥原。土肥原随即于1931年10月27日前往天津。当年，冯玉祥发动“北京政变”，驱逐了溥仪，而正是土肥原帮助了走投无路的溥仪，把他护送到天津安顿下来。
当时，溥仪居住在天津日本租界内，1931年11月4日，这天深夜，土肥原在溥仪的居住地静园与其进行了会谈，两人很快达成了协议。溥仪后来回忆说：“（土肥原的）这年48虽，眼睛附近的肌肉已经有些松懈，但他脸上自始至终带着温和恭顺的笑意。这种笑意给人的唯一感觉就是这个人说出来的话，不会有一句是靠不住的……他说关东军对满洲绝无领土野心，只是‘诚心诚意地要帮助满洲人民建立自己的新国家’，希望我不要错过这个时机，很快回到我的祖先发祥地，亲自领导这个国家；日本将和这个国家订立攻守同盟，它的主权领土将受到日本的全力保护，作为这个国家的元首，我一切可以自主。”几天后，土肥原致电本庄繁：“溥仪确有逃往满洲之意，拟在吉林成立满洲政府一事亦大体属实。惟天津总领事桑岛根据外务省训令，不希望溥仪外逃，正严密监视其行动。因此，如不采取特殊手段，实难达成目的。”随后，土肥原就实施了“特殊手段”，这对他来说是十分拿手的。土肥原策划了整个过程，然后交给香椎浩平去执行。这个计划也很简单，首先是制造一场骚乱，然后溥仪借口出门避乱，再由土肥原的接应离开日本租界，再登船前往满洲。具体安排是让溥仪在11日由天津秘密出走，12日从塘沽登上前往东北的轮船，13日抵达营口。
果然，11月8日，香椎浩平按计划在天津发起骚乱，这也就是后来被称为“天津暴动”的事件，这就诱使看守静园的便衣队调离。在暴动发生后，土肥原下令日租界戒严，这也就切断了静园与外界的交通。随后，为了让仍有些犹豫不决的溥仪下定决心，他还命人给溥仪送去一个包裹，溥仪打开包裹后发现里面是两枚手榴弹。此前，在土肥原与溥仪秘密会谈的时候，土肥原就告诉溥仪，张学良是反日的，当然也反对溥仪前往满洲，因此早有暗杀溥仪之心，而这两枚手榴弹正是出自张学良的兵工厂。
10日夜，香椎浩平等人顺利将溥仪、郑孝胥等人护送至英租界码头，然后登上了日军“比治山丸”号运输船，船上有3名日本特工和10名士兵。另外，船上还有一个装满汽油的大桶，用来一旦中途有变时可以烧毁船只，消灭证据。“比治山丸”号顺着白河而下，一路上虽遭遇岸上警备人员的停船检查信号和机枪扫射，但仍开足马力前行，终于抵达大沽口外等候的“淡路丸”号客轮。溥仪等人转上客轮后即开往营口。
在成功登上客轮后，溥仪、郑孝胥等人十分高兴，郑孝胥还借酒兴吟了一首诗，曰：“同州二帝欲同尊，七客同舟试共论，人定胜天非浪语，相看应在不多言。”
13日上午8时半，“淡路丸”号抵达营口码头，码头上站立着关东军司令部派来的甘粕正彦等几人，简短寒暄之后溥仪等人就登上了马车，然后再转火车，一个多小时后抵达位于汤冈子温泉疗养地的“对翠阁温泉旅馆”，一周后再前往旅顺，住进了“大和旅馆”。
在这段时间里，川岛芳子也按照土肥原的指示成功地将溥仪皇后婉容秘密护送到了东北，与溥仪会合。
1932年1月27日，关东军根据参谋本部《中日问题处理方针要纲》以及《满蒙中央设立方案》，通过了《满蒙问题善后处理要纲》，正式决定在东北成立傀儡政权。然后于2月中旬就在“大和旅馆”召开了所谓“建国会议”，于28日宣布了“建国宣言”。土肥原也因成功策划了满洲事变以及帮助溥仪来到奉天而晋升为少将。
正像土肥原所论述的那样，日本在控制了中国东北之后就把侵略的矛头指向华北，在长城脚下、热河地区、山海关等地频频爆发激战。1933年5月，国民党政府与日本签订了在热河停战的《塘沽协定》。这虽然是一份妥协退让的协定，但也是国民党的无奈之举，当时南京政府希望用这种退让换取日本将侵略的脚步停在关外，然而关东军却不愿就此止步。关东军的意图是要在华北也建立一个独立的“华北国”，既可以削弱南京方面的实力，又可以拱卫“满洲国”。为此，在5月份刚刚签订《塘沽协定》，10月份关东军就派土肥原进入天津，再度出任特务机关长的职务，其使命就是搜集华北情报、设法谋取华北。土肥原到任后将山海关、北京、天津、唐山、保定以及分布在华北各地的关东军谍报组织统一在土肥原机关系统内，以便协调行动。
当时，在冀、察、晋、鲁、绥、京、津地区主要的四大军阀是北平的宋哲元、山西的阎锡山、山东的韩复榘和保定的商震。关东军的战略步骤是首先实现华北自治，然后再建立“华北国”，要实现这个计划首先就必须想办法促使这四大军阀走到一起，统一听日本的指挥。为此，土肥原与时任天津驻屯军司令的多田骏等人进行商议，然后由多田骏出面，邀请宋哲元、阎锡山、韩复榘和商震汇聚一堂，然后在会议上说：“如果诸位鼎力合作，建立起一个与满洲内外呼应的新政权，则华北就会迅速繁荣起来。一旦新政权与南京的国民党政权产生摩擦，日本将倾力支持新政权，这一点请不必担心。诸位是否有意建立一个不仰承南京中央政府鼻息的新生的中立政权？”这四人可以说都是政治上的老手，对日本图谋华北独立当然很清楚，他们心中也自有自己的算盘，于是，他们都以圆滑的方式表态说，他们并不排日，为此也赞同“华北自治”，至于建立一个中立的政权，只要其他三人表示同意，自己也会同意。多田骏将这一情况告诉土肥原之后，土肥原冷冷一笑，他太了解这些中国军阀了，一个个都是老奸巨猾的狐狸，他们异口同声地表示支持，这与其说是向成功迈进了一步，不如说是给他设置了障碍——这些军阀很清楚，贸然倒向日本是十分危险的，因为中国虽然散乱不堪，但对待日本的侵略却仍一致反对，倒向日本就意味着与全国为敌，这风险实在巨大。
究竟该怎么对付这四大军阀，土肥原虽然有他的打算，但这打算中并没有多少胜算。他决定，首先从宋哲元和商震入手，因为他们是华北的地方实力派，阎锡山和韩复榘相对较远。土肥原首先邀请宋、商二人在聚会，试探他们能否协手建立新政权，果然，土肥原发现两人的态度都相当含糊。随后，土肥原要求宋哲元与韩复榘会面，商谈华北自治，但也没什么结果。宋哲元与土肥原应对，一方面要坚守自己的原则，一方面还要尽量与其保持良好的关系，因此特把中国著名画家王石谷作的一幅山水画赠送给他，并题词曰：“土肥原将军年来奔走中日和平，备极辛劳，此次另有重寄他调，赠此以作纪念。宋哲元敬赠。”这幅画后来在东京审判中还差点成了土肥原与宋哲元关系友好的证据。
土肥原在了解了这四人的态度后，就开始了第二步计划——1935年5月，日军在察哈尔省制造了“张北事件”。
5月的一天，4名日本军官和下士乘车从多伦前往张家口，途经张北，在到达张北县城的时候，4人未带通行证，守门中国士兵就拒绝其入城，4个日本人坚持要入城，结果被守门士兵扣留。随后守城部队立即电话请示第二十九军军长宋哲元该如何处理此事。宋哲元知道在此敏感时刻决不可给日本人任何借口，以免日本人借机生事，于是指示立即放人。但很快日方就大肆宣传说中国军队扣留日本军官，日本驻张家口领事也向中方提出强烈抗议，认为扣押日本军官是故意侮辱行为，要求中方赔礼道歉并保证今后不再发生此类事件。而就在中日双方进行外交交涉的时候，关东军已经在察哈尔边界地区集结兵力，进行军事威胁。为求息事宁人，时任察哈尔省民政厅长的秦德纯奉命出面向日方正式表达歉意，但日方却有意刁难，称此事件已经超出了领事的权限范围，要求中方与日本驻军司令部交涉。于是，秦德纯与土肥原贤二进行谈判，而这正是土肥原设定好的，中方也就进入到了土肥原圈套中。
在谈判中，土肥原故意夸大事件的严重性，把责任全部推到中方身上，并且时时不忘以日军武力进行威胁。为了能逼迫秦德纯签订协议，由汉奸程克带路找到了秦德纯的宅第，然后蛮横地要求秦德纯签约，并且要求中国军队不能驻守张北以北。但秦德纯拒绝让步，于是土肥原威胁道：“你知道外交的后盾是什么！”双方为此发生激烈争论，甚至差点动武，秦德纯气得当场吐血倒地，不过最终还是迫于无奈做出让步。6月27日，中日双方最终签订了协议，这就是《秦土协定》。协定主要内容是：（1）中方向日军道歉，并撤换与该事件有关的军官；（2）停止国民党在察哈尔省的一切活动；（3）建立察东非武装区，第29军从该地区全部撤退；（4）取缔察哈尔省的排日机关，停止排日活动；（5）撤换宋哲元的察哈尔省主席职务。
很明显，这是土肥原在利用张北事件向宋哲元施压。
在日方向宋哲元等人施压的时候，南京的蒋介石也在担心宋哲元等人顶不住日本人的压力而倒向日本，因此也在频频活动。尽管他此时在忙于“剿共”，但仍在“百忙之中”抽身亲自飞往太原与阎锡山面谈，向阎锡山许以经济援助，以稳住阎锡山的立场。此后，蒋再派参谋次长熊斌北上与宋哲元和韩复榘商谈如何应对日本人，当然，这商谈中既有拉拢也有威胁。在南京军政要人纷纷出面致电、劝说的同时，蒋介石也以演习名义调动了几个精锐师在陇海线上，随时可以北上。在南京的威逼利诱和全国一片反日浪潮声中，华北四大军阀纵使有独立之心也不敢轻举妄动了。
土肥原尽管利用张北事件成功签订了《秦土协定》，给了宋哲元一定压力，但南京的动作也让他举步维艰，这时他已经有些焦躁不安，因为关东军司令部给他的期限是到11月中旬策动宋哲元，为实现华北自治迈出第一步，而现在看来这难度很高。土肥原尽管有些焦躁，但绝非黔驴技穷，他还有许多棋子可用，殷汝耕就是其中一枚。
殷汝耕毕业于早稻田大学，妻子是日本人，时任冀东蓟密行政公署的督察专员，算不上一方军阀，但也有一定实力，最重要的是，此人是明确的亲日派，他曾向何应钦劝谏，放弃与日本对抗，转而与日本全面合作，在土肥原来到华北后，他曾登门拜访，不过土肥原当时对此人没有多少兴趣，因为觉得他利用价值不大。现在，在宋哲元等人一时难以突破的时候，也许此人能派上用场。就在此时，曾遭到冷落的殷汝耕不甘心，再派他的内弟前来拜访，这一次，土肥原给予了接待，双方很快达成了协议。他们之间的合作，我们可以从与土肥原共事的专田盛寿后来在东京审判中的供词中得以了解，其证词说：
1936年11月中旬很快就过去了，但是宋哲元的工作很不顺手，这主要是因为宋哲元的态度一直不够明确。因此，土肥原决定暂时停止对宋哲元的说服工作，而全力去扶植殷汝耕单独成立一个反南京政府的新中立政权，如果殷汝耕很积极的话，说不定宋哲元也会屈服。于是，土肥原积极与殷汝耕取得了联系。殷汝耕不仅同意，并且表现出了出乎意料的决心。当然，殷汝耕由于有冀东贸易的关系，同时和关东军的关系也源远流长，他揭起反蒋叛旗本有可能，但是他那彻底的反蒋态度，却大大出乎我们的意料。殷汝耕以惊人之势，成立了“冀东防共自治政府”，并发表了堂堂的反蒋亲日的政策宣言。
在殷汝耕发表成立“冀东防共自治政府”宣言前夕，我和土肥原来到天津某饭店，那里已聚齐了殷汝耕及其手下的主要人员，土肥原要求他们起事。意气高昂的殷汝耕立即说：“好事要快办，明天就宣告新政府成立，今天晚上我立即返回通州。”
1935年11月24日，殷汝耕在通州发布了“冀东防共自治政府”成立宣言，竖起了反叛联日的大旗，其宣言称：“国民政府施政已历八年有余，其间多为专政党利计，毫无善施，秕政百出不符民意，我等兹应奉孔子之道，以谋实现新乐土。现今敌人已迫近，邻省民众将遭涂炭之苦，殷汝耕今应战区四百万人民之要请，断然崛起，以谋自救。自本日起，脱离中央宣布自治，举联省之先声以谋东洋之和平。”
殷汝耕所建立的所谓“冀东防共自治政府”所属22个县，共26000平方公里。殷汝耕毫无顾忌的投敌叛国、分裂国家的行为立即遭致全国愤怒声讨，土肥原也没想到殷汝耕如此坚决且胆大，不过这也让他感到满意。但殷汝耕毕竟实力有限，这个“自治政府”也仅限于冀东，与他所构想的“华北国”相差甚远。
殷汝耕的“自治”当然深深刺激了南京政府，11月26日，南京政府宣布，殷汝耕为国贼予以逮捕，同时将派何应钦等人与日方交涉，处理华北问题。
殷汝耕可以说帮了土肥原一个很大的忙——如果说当年土肥原利用张北事件迫使中方签订了《秦土协定》，那么现在完全可以利用殷汝耕自治再签订一个更大的《秦土协定》。他正期盼着与何应钦的较量，此时，他已经下令，让殷汝耕以及日本浪人、地方亲日分子等制造事端，搞一些“自治请愿”一类的活动，而且他直接威胁何应钦本人，告知，如不能按照他的意愿签订协议，那么甚至何本人的安全也无法保证。何应钦当然清楚土肥原敲诈勒索的手法，但更清楚他无力还手，所以，这次谈判的结果就是何应钦带着土肥原制定的关于建立冀察政务委员会的蓝本返回南京。对于日本的步步紧逼，蒋介石也难以拿出更好的办法，不能与日本硬碰硬，那就只能妥协退让，仍以“攘外必先安内”为政策出发点，于是于12月12日被迫撤销行政院驻北平政务委员会和北平军分会，另设冀察政务委员会，辖区范围为河北、察哈尔两省和平津两市，任命宋哲元为冀察政务委员会委员长兼绥靖主任及河北省主席。
这个所谓冀察政务委员会虽名义上仍隶属南京中央政府，但实际上是一个准自治政权，土肥原任该委员会顾问，实际上掌握着军政大权，委员会内许多都是亲日派。但这个委员会实属双方较量的怪胎，距离土肥原的预想还很远，另外，宋哲元仍然在主权、领土、经济等重要利益方面不肯让步。
在宋哲元、阎锡山等地方实力派与南京政府互相呼应下，土肥原已经意识到，如果不作出重大的军事行动，恐怕很难再有所突破，宋哲元等人不是殷汝耕，他们虽然是军阀，但骨子里仍是反日的。鉴于土肥原再难以取得进展，关东军总部也渐渐放弃了拉拢宋哲元，转而采取强硬的、重大的军事行动。土肥原在华北的行动只取得一半成功，参谋本部也只好将其调回国内，于1936年3月出任留守日本本土的第一师团师团长，1937年3月又被任命为宇都宫第十四师团师团长。
