张作霖对危及自己地位的人从不手弱。当地有个土匪叫侯老疙瘩，也想投靠官府混个一官半职，他手下有40多人，都是配有俄式快枪。张作霖对此垂涎三尺。侯老疙瘩先派个中间人告诉新民府增韫，约定好投诚日期。到这一天，增韫升堂，张作霖忙说侯老疙瘩野性驯，主动要求率众站堂以防意外。增韫点头同意。侯老疙瘩领手下人进了大堂，他们见堂上戒备森严，以为官军要强行缴械，就在知府升堂时拨出了枪。张作霖早就吩咐部下对侯老疙瘩格杀勿论，所以这些人一阵乱枪将侯老疙瘩的手下撂倒不少，侯老疙瘩也被当场击毙。
增知府不知底细，对张作霖大大夸奖一番。增韫决定侯老疙瘩的手下全归张作霖收编，那几十条俄国造快枪也成了张作霖的囊中之物。事后增韫又从府库里拨出一部分银两买了些新式武器配备给张作霖的马队，以示奖励。
张作霖及其同伙被收编后，匪性未改，仍然四出掳掠。曾有人向奉天府控告：“张作霖率降伙三四百名跑到广宁县属高平屯，名义上是攻打土匪，而实际上纵兵焚烧民居、抢劫财物，把从各村抢来的财物装了十几大车。”广宁县要求省里对张作霖给予处分。
奉天将军增棋闻报震怒，要另派亲信接替张作霖的职务。由于张作霖在新民府士绅中结交广泛，因而他马上动员这些人替他求情。一些豪绅便怂恿廖彭替张作霖辩护。
1920年10月，廖彭向增棋禀称：“张作霖投靠朝廷已经快一年了，肯定没有再回去做土匪的可能，他是忠心耿耿效忠朝廷的，如果另外派员接替张作霖，恐怕他底下人不服，万一要是有什么事处理不当，反而对地方稳定不利。”
增棋一听的确有道理，加上他夫人在一边替张作霖说好话，也就乐得少操一份心。他只是要求廖彭对张作霖严加管控，抢劫的事不了了之。
诱杀恩人，与日倍亲
过不多久，又一个报效官府的机会送到了张作霖面前，那就是，诱杀自己的救命恩人洪辅臣。
洪辅臣匪帮是辽西各匪帮中人数较多、势力较强的一支，新民知府增韫曾多次派兵围剿，但都没有成功。招抚张作霖的同时，增韫也向洪辅臣发出过招抚的信息，但洪辅臣根本不理这一套，而且比以前更加频繁地烧杀抢掠，甚至多次袭击官兵，这一点令增韫非常头疼。张作霖得知这一消息后，向增韫献计说：“洪辅臣凶悍刚烈，嗜血成癖。对付这种性格的人，万万不可强攻，只能智取。我曾经几次受过洪辅臣的救命之恩，与他的关系还算不错，只要您能给我一些时日，我一定提着他的人头前来见您。”
增韫本来就很欣赏张作霖的办事能力，正想把这一棘手的重任交给他，没想到他主动请缨，当即应允。
一个月黑风高的夜晚，张作霖着一身便服，仅带了两个手下，赤手空拳来到了洪辅臣远在黑山县姜家屯的巢穴。洪辅臣虽不满张作霖投靠官府的行为，但念在过去交情的份上，仍然非常客气地接待了他。两人寒暄一阵后，张作霖道出了此次前来的目的。他故作神秘地说：“小弟冒险前来拜见恩人，是有一事相求。”
洪辅臣正想知道张作霖此行的意图，忙道：“有什么吩咐，请开门见山，别他妈的婆婆妈妈！”
张作霖假装收紧嗓子，轻声轻气地说道：“小弟早就不满官府的所作所为，深为自己误入歧途而悔恨。不过转念一想，我投靠官府这一年多来也算有不小的收获，起码我对新民府一带的地势、军情比较清楚。如不嫌弃，我愿助恩人成就一番大事业，以报答您的救命之恩！”
洪辅臣不知张的葫芦里到底卖的啥药，没好气地问道：“有屁快放，别他妈在老子面前卖关子”。
张作霖继续小声道：“明日深夜．您带领自己的队伍悄悄潜入新民府附近，我会在您到来之前尽量支开新民府附近的所有巡兵，到时我们来个里应外合，一举攻克新民府，活捉新民知府增韫，把新民府闹他个地覆天翻怎样？”
洪辅臣是个没啥心计之人，他爱出风头，爱造声势。多日以来，他就很想大闹新民府，活捉增韫，但屡次行动都半途而废，现在张作霖提出里应外合夹击新民府，他虽半信半疑，但却也很合他的味口。
洪辅臣的表情没有逃过精明的张作霖的眼睛，他接着说道：“您是我的救命恩人，我张作霖决不是个知恩不报的小人，很久以来，我就知道您有扩大自己队伍的声势的想法，所以我觉得自己找到了一个难得的报恩机会，还请您能相信我！”
张作霖略微停顿了一下，继续说道：“不过我有一个小小的条件：事完之后，我肯定不可能再在官府呆下去，希望您能接纳我和我的一帮手下。”
洪辅臣见张作霖说得如此诚恳，又仗着自己以前对他的救命之恩，便很快就答应了。
当夜三更时分，张作霖带领他的两个手下火速赶回新民府。他来不及换装便迫不及待地跑到增韫那儿，将洪辅臣如何上钩的情形详细汇报了一番。末了，他请增韫出面，帮他完成这一精心设计的剿匪计划。增韫根据张作霖的建议，立即调派了千余名精兵强将，令他们于次日傍晚时分在府衙周围的每一个隐蔽处埋伏起来，而且撤掉当夜值班的所有巡兵，只留一个更夫在府门外吆喝。
深夜很快降临，洪辅臣带领他的全部百余名部众，悄无声息地摸到了新民府门外。正当他静待张作霖发出进攻信号的时候，埋伏多时的千余名精兵突然从黑暗中杀出，洪辅臣所部仓促应战，终因寡不敌众而惨败。洪辅臣被张作霖的一个手下当场击毙，其部众死去约20余人，其余部分全部被张作霖收编。
张作霖屡立奇功，受到了增韫的高度赞赏，增在给盛京将军增棋的报告中称张作霖“奋勉从公”、“安心向善”，称其所部“打仗奋勇”、“纪律严明”。
1903年7月，增韫将原新民街巡捕队与张作霖的巡警游击队合并，由张作霖统一管辖。至此，张作霖虽未升官，但其部众由原来的400人扩大到700人左右。
1905年，张作霖所部又由一个营扩大到三个营，人数也由700人扩大到近2000人。
20世纪初年的东北，在政治舞台上发号施令的，除了清王朝的地方政府以外，还有沙皇俄国与日本两大外国强盗。这两个强盗不仅占去了东北大片的土地，攫取了东北大量主权，而且在东北的土地上为了各自的利益明争暗斗甚至大打出手。自两个强盗踏入东北的那一刻起，各地风起云涌的匪帮既成了他们难以对付的心腹之患，也成了他们利用拉拢的对象。
1904年2月，日、俄两个帝国主义强盗为了争夺中国东北，在经过长时期的冷战之后，终于在中国的领土上展开了一场真刀真枪的大战，软弱无能的清朝政府对这场强盗战争不但不加制止，反而采取了不得罪任何一方的中立态度。两个强盗为了各自的利益，除了各派军队大打出手以外，还千方百计拉拢各地匪帮为自己效劳。特别是日本，他们利用广大东北人民对沙俄侵略者的仇恨，派出一批又一批的间谍到匪帮中间进行游说活动，著名匪首冯麟阁、金万福等人都先后受到日本人的笼络，充当了日本袭击俄国后方的工具。
张作霖在日、俄战争中的表现与其他匪首不同，他并不急于巴结日、俄当中的任何一方，而又不拒绝任何一方的拉拢。也就是说，他在这场强盗之争中充当了一个典型的墙头草角色，这是高明的一招，也是需要冒险精神的一招。说它高明，是因为张作霖可以同时得到两个强盗的资助：当他悄悄帮助日本人对付俄国人时，日本人会给他奖赏；而当他暗中帮助俄国人对付日本人时，俄国人也会给他好处。说它冒险，则因为事情一旦败露，张作霖随时都有身首异处的危险。
事实上，张作霖充当两面派的角色的确给他带来了相当的好处，这种好处主要是经济上和武器装备上的。日、俄战争初期，他从日、俄双方得到的各种功能不同的新式武器就有数十件之多，这些武器加上他在偷袭中抢得的各种财物，使他的队伍急剧壮大，实力加速扩张。而这种实力，又进一步引起了日、俄双方对他的重视，张作霖及其队伍的身价可谓与日俱增。或许正是这种不容忽视的实力，使他有幸逃脱了生命中的又一次劫难。
大约是1904年的年末，日军特务头子黑泽兼次郎在新民府一带活动时，偶然得知了张作霖在收取日本人好处的同时还在为俄国人卖力的消息，气得他七窍生烟，当即决定伺机杀掉张作霖。但当他将自己的决定报告给日军总司令部参谋福岛安正时，福岛当即加以制止。福岛认为，张作霖之所以在日、俄之间两面讨好，主要是因为当时战争初起，胜负之势尚不明显，他不敢冒昧地投靠任何一方以冒险，这比起那些轻易就被日本所收买的匪首来说，张作霖显然更有头脑，因而也更具有利用价值。福岛非常肯定地相信，随着胜败趋势的日益明朗，张作霖一定会自然而然地走上拥日反俄之路。
福岛的估计一点也没有错，当日本在战争中逐渐占据上风之时，张作霖果然主动地亲近日军而疏远俄军。据日本间谍土井市之进的日记记载，当他的同伴中町香桔1905年初到新民府一带活动时，一个其貌不扬，身材矮小的中国军官曾非常友好地款待过中町香桔，并以自己的家作为中叶香桔的隐藏处所。而这个中国军官就是张作霖。张作霖还亲口对中町香桔说过，他对日本军队抱有非常的好感，从今以后愿与日军合作。
事实证明，土井市之进的日记所载并非妄言。日、俄战争之后，张作霖便与日本帝国主义紧密勾结，互相利用。
杀匪讨逆，集练强兵
1906年，清廷派张锡銮为奉天巡防营务处总办，负整理军备之重任。张锡銮绰号快马张，最喜爱好马，骑术枪法十分精湛。新民府是防务重镇，新到任的张锡銮到新民府视察。张作霖为人机警，听说张总办爱马，便投其所好，挑选了一匹好马，送给了张锡銮，张见是一匹蒙古良马，心里高兴，说：“你送我人参、貂皮，算打错主意了，这样好马我怎能推出去呢？我收了。”张锡銮视察完毕，要回奉天，那时还未通火车，骑马路行又很不太平，知府增韫派张作霖率部护送，途中有胡匪骚扰，被张作霖击退，张锡銮平安地到了奉天，张作霖给总办大人留下一个很好的印象。据说张作霖认张锡銮为义父。
这一年，新任奉天将军赵尔巽把全省巡防队编为八路马、步兵四十营。张作霖的新民巡防营，因剿匪有功，扩编为右路巡防营，马、步三营，张作霖为统带（团长）。
1907年，清廷将奉天、吉林、黑龙江改为行省，撤销将军建制，设东三省总督，负责东三省军政事务，徐世昌被任命第一任东三省总督。6月17日徐到任。不久，连续接到海城、辽中两县商绅向总督府控告巨匪杜立三杀人越货、罪恶多端的罪行，徐对商绅的呈状甚为重视，密派总督府发审处委员殷鸿寿会同右路巡防营统领张作霖缉拿杜立三，就地正法。
巨匪杜立三，字阁卿，排行老三胡匪世家，他的父亲和三个叔叔都是罪恶昭彰的巨匪，他二叔杜宝善以劫过皇杠闻名于绿林。杜立三善于骑射，枪法极准。他与其他匪徒不同之处，不喝酒、不赌博、不吸毒。他聚众匪千余人盘踞在辽阳、新民、海城交界处的三界沟，此地地势险恶，沟渠纵横，碉堡林立。杜率领匪众四处掠夺民财，强抢硬捐，使辽西一带的百姓遭受极大危害。1903年4月，杜率领100多匪徒，在辽阳、营口、盘山等地到处抢劫后，路过辽阳八岔沟，在财主郭金人家大吃大喝，临走掠抢一空。1904年，杜立三和冯麟阁勾结在辽中县西佛牛录镇，将清军任朝武营的快枪抢去300余支，子弹万余粒，裹去降兵250人，任朝武突围逃出，西佛牛录镇被杜立三占据。杜的势力越来越大，自称马上皇帝，百姓称为杜大人，清军多次对杜进行围剿，均遭失败。
殷鸿寿到新民与张作霖会见，传达徐世昌缉拿杜立三的指令。张作霖听后颇为踌躇，一则过去与杜立三是绿林朋友，二则杜立三势力甚大，枪法极好，防备极严。然而总督的指令不容违抗，顾不得朋友情义。必须坚决照办。经和殷商量，宜用智擒，不可强攻。先是张作霖以结义兄弟关系，派张作相去杜立三的老营青麻坎，向杜立三诡称总督徐世昌派殷委员招抚杜三爷弃暗投明，地位比张作霖、冯麟阁还高。请杜到新民晋见殷委员，商谈受抚事宜。杜立三疑心甚重，同他母亲和兄弟商量，认为去新民凶多吉少，主张不去，以免上张作霖的圈套。张作霖见杜不肯上钩，便请黑山秀才杜泮林出来劝驾。杜泮林是杜立三本家叔叔，以同宗关系和杜立三来往密切，杜立三也很信任这位秀才叔叔。张作霖在中安堡办保险队时，与杜泮林关系密切，并拜为义父，他亲自携带厚礼，甜言蜜语将杜泮林接到新民府，告杜泮林说：总督下令要招抚杜立三，并引见殷鸿寿，证明确是总督招抚，绝非欺骗。又为杜泮林另设招待处，杜淳林为张作霖所迷惑。杜泮林也觉得杜立三若果受招抚，是件好事。杜泮林给杜立三写了一封信，说明总督确有招安之事，并称：“游侠非终身之事，梁山岂久居之区，一经招安，不仅出人头地，亦耀祖荣宗。”邀杜立三速来新民晤面，一同晋省谢委，杜立三经林畔林劝说，消去疑虑，决定前来新民。动身之前做了严密布置，以防万一，派亲信匪众200多人，一旦发生意外时，前往驰援，并在沿途设置四个哨所，如有风吹草动，立即快马传报，由杜立三的弟弟杜老疙瘩率队接应。杜立三精选30名匪徒由宋庆濂带领，作为随身护卫，一同赴新民。
张作霖在知道杜立三来新民府的消息，布置更加周密，密派张景惠率骑兵500人，绕道八角台，准备进剿杜立三的巢穴。另选一部分骑兵潜入辽河岸上的卡力马，牵制杜在西佛牛录镇的重点哨所，防备杜立三逃回。在新民城内兴和店为杜立三设立招待处，店内埋伏便衣武装。
杜立三来到新民，张作霖率众兄弟亲自出迎，然后陪同到兴和店下榻。稍事休息，张作霖只带二名护卫，又到兴和店拜访杜立三，并共进午餐，频频举杯，庆贺杜立三进省升官光宗耀祖。饭后，张作霖同杜立三策马去拜会殷鸿寿委员。殷委员迎接他们进后北房，杜的两个随身护卫留在屋外。杜立三久闯江湖，警觉异常，进屋依墙而坐，手抚枪柄。殷鸿寿假意恭维说“杜义壬敢和俄国兵交锋，给国家出口气，替老百姓报了仇，是了不起的英雄好汉，朝廷爱惜人材，招抚为官，为国家出力，等等”。任凭殷鸿寿如何花言巧语，杜不做肯定答复，连说再商量。在谈话中，杜发现外边有可疑的脚步声，遂起身告辞，殷高声喊：“送客”，杜走在门口，转身刚说：留步，突然汤玉麟从背后将他抱住，杜知不妙，要拔枪反抗，但两手已被压住，遂即又上来几个壮汉，将杜按倒在地，拿下手枪，捆绑起来，杜骂声不绝。屋外杜的两个随身护卫也同时被擒。在兴和店招待处的宋庆濂等众匪徒也缴械投降。当晚将杜立三处死。
