就在李靖仕途得意的时候，他的长兄李药师却在对突厥的作战中遭遇了惨败，据信李靖也应该因此遭受到了牵连，被贬出了京城，发配到了汲县当了一个小县令，此后又历任安阳和三原县的县令。虽然年年考绩都是最佳，但回到中枢的希望却越来越渺茫。要说搁了别人，干个大县的父母官已经是非常不错了，可是对李靖这样精英中的精英，又有一定家庭背景的人来说，这段经历可以说是潦倒至极了。因此这段生活在唐人笔记中有这么一段有趣的传闻：话说李靖在失意之时路过华山庙，听说那里的神仙很灵验，便特地赶到在神灵面前信誓旦旦地许愿，神情声色激动慷慨，连旁边的人不禁为之动容。当转身离开庙门的时候，忽然听到身后有人大叫：“李仆射慢走。”李靖回头看时，并无人说话。这段传闻虽说杜撰成分比较大，但是很是能说明李靖当时从人生的高峰跌入低谷的郁闷心情。
所谓“天将降大任于斯人也,必先苦其心志,劳其筋骨,饿其体肤,空乏其身,行拂乱其所为,所以动心忍性,曾益其所不能。”李靖就是这样一个突出的典型。当李靖当上马邑郡丞的时候，已经是一个四十六岁的中年人。此时的隋帝国因为杨广的倒行逆施已经变得风雨飘摇，北方突厥实力空前强盛，号称控弦六十万，虎视中原，而隋朝却因四次征伐高丽均告失败导致国力大损，边境兵力捉襟见肘，而此时的马邑便正处于与突厥交锋的最前线。隋末郡丞权力很大，张须陀便是以郡丞的身份获封河南讨捕大使，带兵讨伐各路“盗贼”。李靖的角色等于一下子从一个文官变成了前敌指挥，半辈子的行政内政工作干下来，李靖还能如少时与韩擒虎论兵之时般挥洒方遒么？答案自然是肯定的。隋唐年间讲究的是文武合一、允文允武，而不是后世般地重文轻武，因此即便是在落魄之时李靖也未放松对自己的锻炼，对兵法的研究终于臻于大成。在马邑干得是顺风顺水、充分发挥了他的能力，号称是“以德安连，长城弛柝；运奇料敌，合境无尘。”在那个被突厥压迫和各路盗贼袭扰的年月里，李靖能做得如此出色实在是不容易。
李靖的超强能力很快便被李渊所注意到，当然与其说是被李渊所注意还不如说是被李世民所注意，当时已经心生叛意的李渊正是需要人才的时候，而负责笼络各方豪杰的便是李世民，论慧眼识英雄，李世民实在要比他老子强太多，李靖在当时便是李世民重点拉拢的对象之一。可是这个时候李靖却并没有对隋朝完全失望，依然对朝廷有着忠诚之心。上司心怀异志，此地迟早成是非之地，李靖明白马邑是呆不下去了，因此找了个机会不辞而别，回到了长安家里。李靖出身贵族，在长安熟人不少，一见他突然回来了自然纷纷询问缘故。李靖也不隐瞒，就说：“李渊这老小子恐怕要造反，我怎么还能继续呆在那里啊？”于是李渊要造反的消息不胫而走。李靖实在没有想到，这一说可给自己惹下了多大的祸，李渊成功攻下长安之后，自然有人出首告密，李靖在家被逮个正着。
李靖的罪过非常大，李渊起兵消息的走漏使得李渊起兵的消息被官府提前知晓，结果导致李渊的第五个儿子李智云被杀，李建成、李元吉、李神通、柴绍等李氏家族成员也差点被包了饺子，当然消息的走漏并不一定完全是因为李靖，但是当时所能够抓到的现行就李靖一人，李渊的起兵差点就毁在他手里，可以说对其恨之入骨，立码就要把李靖给斩首示众，李靖当然也不甘坐以待毙，于是嚷了一嗓子：“公兴义兵，欲平暴乱，乃以私怨杀壮士乎！”可能上天也不愿意这样一个百年难遇的天才人物就这样丧命，这一嗓子正好被李世民听到，深知李靖能力的李世民于是拼命为李靖求情，希望李渊留下这么一个难得的人才，这样才堪堪救了李靖一命。（当然关于李靖还有另外一种说法，说是李靖察觉李渊要谋反之后，为了想要告密于是故意犯罪以便被押往江都，但是到了长安因为盗贼蜂起道路阻隔而不能行，只能在长安滞留，结果就一直留到了长安被李渊所攻破。不过这一说法根据司马光考证，被彻底否定，因为当时马邑到江都是可以直通的，并不需要转道长安，而且当时的道路也并没有被阻断。另外要告密当乘快马而行，“自锁上变”显然解释不通，此考证亦为隋唐史大师陈寅恪先生所赞同，因此本文不采此说。）
当然李渊此时不杀李靖仅仅是给自己宠爱的儿子李世民一个面子，并不代表真的不记恨李靖了。后来李靖跟着李世民讨伐王世充，其间并没有显山露水，估计是李世民身边的优秀将帅太多，李靖觉得自己是带罪之身，不好锋芒太露招人嫉恨，因此也就中规中矩地干自己的份内事，可是这样恰恰给他自己招来了祸患。李渊一看李靖没啥利用价值，立刻给了李靖几个人，把他调离李世民身边，让他去讨伐萧铣。而李世民因为李靖并未立下足够分量的功劳，因此也没法子力保李靖，只能让他被调走。萧铣是当时几个著名的反王之一，麾下号称四十万众，让李靖带着几个人去平萧铣，这已经不是暗示，而是明着对李靖说你给我去死吧。
可是错有错招，李渊万万没想到他这种挟私报复的行为却恰恰给李唐的南方战场派去了一个大救星。据信李靖南下的时间当在武德二年（公元619年），这一年的上半年唐军在战场上无往不利，形势一片大好，可是到了下半年一下子风云变色，六月刘武周派遣宋金刚进攻并州李渊的太原老巢，屡破唐军。八月起窦建德攻陷了洺州(今河北永年)。九月破相州(今河南安阳)、赵州(今河北赵县)同时宋金刚也攻陷并州。十月宋金刚攻陷浍州（今山西翼城）而窦建德也攻陷黎阳，李渊的表弟李神通、贞观名臣魏征以及大唐名将李世绩的父亲同时被俘而李世绩因此也投降了窦建德。在此情形之下原先已经投靠唐的徐圆朗投靠了窦建德，而朱粲则转投了王世充。整个大唐北方战场可谓是一片糜烂。所谓屋漏偏逢连夜雨，北方战场唐军接连遭到失败，南方也不好过，由于南方少数民族众多，在唐军渐渐控制不了局势之时各个少数民族头领开始暴动，而割据南方的反王萧铣也趁势大举进攻。
李靖的威力在南下途中便开始渐渐显露，首先到了金州（陕西安康）这个地方，这时候控制这一带的是庐江王李瑗，此时境内的叫邓世洛的率领数万蛮贼啸聚山林，李瑗率军讨伐却不是对手，接连被打败。正好李靖路过，看到李瑗打得如此焦头烂额，于是帮李瑗出了几个主意，轻松地击败了这些蛮贼。帮李瑗料理了金州的事情之后李靖又开始赶路，紧赶慢赶赶到了硖州（今湖北宜昌），到了这里再也过不去了，萧铣大兵压境，就凭李靖这几个人想要完成任务简直就是笑话。此时负责硖州战事的硖州都督许绍被打得焦头烂额，看到了李靖就如同捡了个宝一样，立刻委以重任。有了李靖的帮助，硖州战局便开始渐渐好转，许绍接连击败萧铣手下大将杨道生，并将萧铣派部将陈普环率舟师企图绕过硖州，逆江直上三峡进攻巴、蜀的计划破坏，并抓住了陈普环。虽然史书中并未记载李靖在硖州防卫战当中到底起到了什么样的作用，但是以许绍之后对李靖的看重而言，李靖对硖州一线的防御作战中必定起到了举足轻重的作用。
有了李靖的帮忙许绍是轻松了，可是李渊却不乐意了。李靖呆在硖州走不了恰恰合了李渊的意，于是就暗中叫硖州都督许绍把李靖给干掉，罪名则是李靖“迟留不进”。要说许绍是李渊的老同学，关系非比寻常，就算李渊不是皇帝，他发一句话，一般人杀了也就杀了，但是李靖对许绍而言却太重要了。因此不但没听李渊的命令，反而帮着李靖求情，李靖的命也就再一次被保了下来。
就在李靖在硖州作战的时候，驻扎在夔州（四川奉节）负责讨伐南方的唐军总司令赵郡王李孝恭也因为唐军整体战况屈居劣势而处于困境当中，一个叫冉肇则的四川少数民族首领率兵不但攻陷了通州，并且继续进攻李孝恭的大本营夔州，唐军不是对手，屡次战败，坐困愁城。而李靖恰恰此时带了八百人奉命赶往夔州。（笔者认为可能是许绍让李靖与李孝恭进行联络，因为沿途蛮贼肆虐，因此让李靖带了八百人防身。）李靖到达夔州以后一看冉肇则正在围攻夔州，唐军被打得几乎出不了城。这要换了别人也许就原路退回找援兵去了。可对于李靖来说简直是老天送到手上的功劳，他立刻率八百唐军突袭冉肇则的营地。此时冉肇则正以夔州的唐军为主要对手，根本没有想到区区八百人的一支小部队竟然敢如此大胆地进攻。措不及防之下被李靖一举击败，只得撤退。
此后李靖又算准了冉肇则的退路，率军急行，抢在冉肇则之前在他的退路上要险设伏，阵斩冉肇则，俘获敌军五千人。这一连串组合拳让敌人目不暇接，还没反应过来便被打倒在地，实在是彰显了李靖用兵的大师风范。在此之前李靖用兵具体如何除了几句抽象的描述之外并无其他介绍，这一仗可以说是李靖在史书中有详细记载的第一仗，经过此战李靖用兵的某些特质已经初见端倪，首先就是在对形势详细分析之下的行险，用李靖的话就是用奇兵进行闪电战，这种行险看似冒险实则安全，并且往往对敌人造成出其不意地致命打击。其次便是一招得手便穷追猛打，不论是直接追击还是埋伏，总要将敌人完全打倒才收手。而这一仗终于让李渊认识到了李靖的巨大价值，他一边对自己的臣子吹嘘道：“我听说用人使功不如使过，现在李靖果然就是这样。”一边下诏给李靖说：“你好好干，不要怕没有富贵。”还特别写了一封私人信函，里面说：“既往不咎，以前的事情我早就忘记了”其实哪里是早就忘记了，简直是无时不刻铭记在心头才对。
李靖这八百破五千的事情做出来，立马成了香饽饽，被南方战事搞得焦头烂额的李孝恭此时手上正缺大将，见到手下居然还有李靖这等人才那还不抓紧不放？立刻挖了许绍的墙角。而李渊见到李靖还真是有大才的人也就顺水推舟，任命了李靖为李孝恭的行军长史（类似总参谋长），帮助李孝恭平定南方。而李靖经此一回也知道再藏拙那真是自寻死路了，再加上李孝恭手下也没啥名将，李靖也能自由发挥自己的实力，因此两人配合得非常默契。
武德四年（公元621年）夏，李世民在洛阳决战中取胜，王世充、窦建德被消灭，唐朝得以全力对付萧铣。此时唐朝控制了长江上游，萧铣的势力在长江中游，要发动进攻，自然从四川顺江而下最为方便。李靖恰于此时向李渊献上了十条攻打萧铣的计策，李渊一见大喜，顺势任命李孝恭为进攻萧铣的总指挥，在夔州打造军舰，练习水战，准备全面进攻，而实际上整个军事行动的实际策划者和指挥者都是李靖。
