军队离霍邑还有五十多里的路程。这时，李渊集团遇到了一些困难。由于连日来的大雨，使得军队不能前进，准备的粮食也快吃完，可是天却一点也不见晴。
这些都没什么，最要命的是后院起火。在李渊集团停滞不前的同时，忽然接到探报刘武周勾结突厥，乘机袭击晋阳，一场是进军还是北还的争论开始了。
李渊认为，时机未到，现在最要紧的是部队必须立刻北还。
裴寂等人也认为，隋朝的军事实力还很强大，不能再轻易冒险前进；李密老奸巨猾，他到底怎么打算，也还不得而知，如果从侧翼偷袭我们，那么后果将不堪设想。刘武周更是不讲信用，出尔反尔，唯利是图。再加上太原是义军的后方，那里有充足的粮草。众人都说不如回去先救根本，然后再想办法出兵南下。
李渊决定第二天起兵返回太原。
李世民正在外面巡逻，忽然听士兵到处传说明天要撤军的消息，他马上赶回大营，一问果真有此事，便闯进军帐问李渊：“父亲何故回军？”
李渊说：“粮食已经快吃完了，目前形势很难继续逗留。刘武周如果把老家给抢了，咱们有家也回不去了。”
李世民劝阻道：“现在到处是成熟的庄稼，还怕找不到粮食？隋将宋老生生性轻躁，一鼓可擒。李密只注意洛口，无暇顾及远方。刘武周表面上依附突厥，实际上互相猜疑；他虽然有窥视太原之心，但怎能忘记根据地马邑？何况突厥刚和我和好，未必马上就会背盟。这种传闻不可轻信。父亲兴创业大义，有志救民于水火，应当先入咸阳，号令天下；现在遇到小敌就要班师，恐怕跟随首义的众人心灰意冷，各自散去，大事从此就完了。”
李渊摇头道：“倘若晋阳有失，我们岂不是无家可归了？我已经决定回去了。”
李渊急令收拾东西，准备撤军。李世民出来邀约李建成，一起去说服父亲。
李建成说：“我也不同意撤军，但父亲已作出决定，看来无法阻挡了。”
李世民见李建成支支吾吾，料想不会同去劝谏，又和裴寂等人商量，都说：“不如归去。”李世民顿时恼恨万分，连夜餐都吃不下去。李世民在帐外忐忑不安，大步入后营进谏，被李渊卫士挡住，说大将军已经睡了。李世民悲愤填膺，眼看宏图大业毁于一旦，忍不住痛哭起来，李渊听到哭声才召李世民入问。
李世民哭着说：“兵已出动，有进无退；进则生，退则死，怎么不哭？”
李渊问怎么会致死。
李世民说：“军队全靠锐气，一旦退回，锐气丧尽，队伍溃散，敌人乘势追击，我军土崩瓦解，怎能迎敌？这岂不是束手待毙吗？”
经过李世民的劝说，李渊开始醒悟，很是后悔，叹息说：“左军已经出发，怎么办？”
李世民说：“左军虽然出发，想来还走得不远，孩儿马上去追回来。”
李渊笑着说：“成败由你，你去追回来吧！”
李世民及李建成连夜追回左军。一次关系唐王朝建立生死攸关的大争论，以李世民的力主前进而结束。
应当说，李渊等人主张班师回太原，并不纯粹是出于怯懦。客观地说，晋阳的的确确是“义军”的根本之地，即后方的供养中心。如果突厥和刘武周相勾结，掩袭太原，那么南下入关也是很难的。但是，当时的形势，正如李世民所分析的：突厥与刘武周之间，“外虽相附，内实相猜”，并未构成对晋阳的严重威胁。只有“先入咸阳”才能“号令天下”。退回太原，士气大溃，就会有失败的危险。显然，李世民的进军意见要比裴寂的退兵之计高明些。至于李渊，本来就想“西图关中”，这个根本性的方针当然不会改变；但又慑于突厥，同意班师，说明他在用兵上过于谨慎。这与李世民“勇于有为”的作风有所不同。不过，李渊毕竟还有远见卓识，“乃悟而止”，命令世民和建成追回已经后撤的部分队伍。
过了两天，沈叔安运来粮草，天气也渐渐转晴，李渊命士兵曝甲整械，全军士气高昂，绕行山麓，避开泥泞，往霍邑进发。
李渊最为担心的是宋老生闭门坚守，义军又不能攻占霍邑，以至于战斗旷日持久，把军队拖得筋疲力尽，无法继续南下而贻误了战机。所谓“初生牛犊不怕虎”，建成、世民认为宋老生有勇无谋，不足为惧，可用轻骑挑战，诱敌出战；如果宋老生固守不出，就采用反间计，散布宋老生畏惧不敢出战、想要投降“义军”的消息，这样一来宋老生不战都不行了。李渊说：“你们的分析很有道理，宋老生没有趁我军缺粮时进攻贾胡堡，我就知道他无所作为，一介武夫而已。”李渊命令军士先埋锅造饭，吃完饭后再进攻。李世民说：“既然敌军已经出城了，就应该以最快的速度抢杀过去，消灭了敌军再吃饭吧！”
于是，李渊亲自率领数百名骑兵到霍邑城东五六里处布阵以待，同时命令建成、世民各带数十骑一直赶到霍邑城下假装视察地形，准备攻城。还大摇大摆地在城下走来走去，故意轻视宋老生，并且让军士辱骂宋老生，什么难听就骂什么，把一些不知是哪朝哪代的事情，都安到了宋老生头上。不但骂宋老生，连宋家的十八代祖宗都给骂进去了。宋老生再也不能抑制自己的愤怒了，立即命人给他备马，带好兵器，飞身上马，命令主力从南门、东门两路出城迎战。李渊怕宋老生背城布阵，使自己的骑兵战术不能发挥，于是命令军队假装向后撤退，诱使宋老生来追。
宋老生看到敌军还未交战，已经胆怯后退了，于是挥军来追。李渊命殷开山等率领的步兵正面迎敌，命建成、世民从左右两面直冲城下，堵死宋老生的退路，然后两面夹击。义军像一只展翅欲搏的雄鹰，把宋老生置于爪下。李渊率军迎头拦杀从东门出来的隋兵，隋兵也不示弱，一拥而上，将李渊逼退数步，多亏李渊女婿柴绍从阵中跃出，顶住了宋老生的进攻。
宋老生的军队又从南门出来，向城东进发，准备夹击李渊。李世民正在南面观战，赶快和军头段志玄率军飞驰而下，冲击宋老生后军。宋老生把后军作前军，让前军作后队，回马与义军进行交锋，李世民手握双刀，左砍右劈，连杀数十人，溅得浑身是血，双刀劈得到处是缺口。随后李世民把袖子割掉，换了两把刀再次杀了进去，段正玄等人紧随其后，奋力拼杀，以一当十，杀得隋军望风披靡，人仰马翻。
但隋军人多势众，杀了一层又围上来一层，情急之下，李世民心生一计，命令军士大呼：“宋老生已被活捉，隋军赶快投降，投降的一律免死。”
城东的隋军正和李渊斗得难分难解，相持不下，突然听到主将已被活捉，无心恋战，赶忙往城里退去，那些隋兵进城后，竟然将城门关住，拉起吊桥。这时，只剩城南的宋老生率领一支孤军在奋战，李渊从城东赶过来与李世民形成合围之势，杀得宋老生进退不得。宋老生看到义军越来越多，不禁心惊胆寒，打马想从南门进城，可是偏偏被李世民缠住无法脱身。李渊又从背后杀了过来，隋军腹背受敌，溃不成军。
两下夹攻，宋老生走投无路，下马跳进壕沟想自杀，正遇刘弘基飞马赶到，将宋老生砍为两段。宋老生部下统统被杀死，倒下的尸体有数里长，流出的血汇成了小溪。李渊命令军士吃点东西，立即攻城。
夜幕来临的时候，总攻开始了。城上箭如飞蝗，但士兵奋勇登城，霍邑主将被杀，城中士兵已经丧失了斗志，李渊很快就攻破了霍邑城。李渊下令只要投降，就可以免去一死。城中兵吏都跪下请降，李渊非常高兴，命令士兵不准扰民，违者军法处置，并出榜安民。士兵随后把以前的官吏都带到李渊的面前，李渊告诉他们去留自便。
这是起兵以来第二次大战，李渊采用了李世民的策略，取得了决定性的胜利，为进军关中铺平了道路。这充分显示出了李世民高人一筹的眼光，能够正确地分析形势，不走弯路。同时也可以看出李世民的决心，为了成就大业，一往无前，决不后退。从这次战斗来看，李渊已经非常信任李世民了，同时对他的能力也毫不怀疑，基本上把军队的指挥权都交给了他。
