隋大业十二年（616）十二月，李渊任太原留守，次年走马上任。他把长子建成和四子元吉留在河东（今山西永济），只将次子李世民带在身边。太原是北方的军事重镇，建有晋阳行宫，是兵家必争之地。李渊的主要职责是和马邑（今山西朔州）太守王仁恭一起防御突厥。
由于隋炀帝刚愎自用，对大臣多有杀戮，令朝臣人人自危。李渊虽然处处谨慎小心，但是也无法逃脱隋炀帝的猜忌，因此起兵成了自保的唯一出路。李世民深知父亲李渊身为朝臣，不便出面招徕门客，便替父亲广泛结交太原的豪门官吏乃至市井之徒。他性格豪放，不拘小节，因此结识了许多能人异士，其中有两个人在太原起兵的过程中起了重要作用，他们是刘文静和裴寂。
李世民通过刘文静结交了晋阳宫副监裴寂。相互试探后，李世民说出了欲起兵反隋的想法，裴寂深表赞同。李渊虽然有心起兵，但他是个极为老道谨慎的人，没有十足把握，绝不肯轻易反隋。为了让李渊早日决断，裴寂将晋阳宫的两名美女献给李渊，再以“宫人奉公，恐事发及诛”为由促使李渊下定了起兵决心。
随后，刘文静以晋阳令的身份伪造了隋炀帝的诏令，宣称朝廷要在太原、马邑一带招募士兵，凡是20岁以上、50岁以下的男子，都必须应征入伍。消息一传出，太原等地人心惶惶，一些不愿应征的人纷纷逃到李渊手下。恰在此时，马邑人刘武周杀死太守王仁恭，勾结突厥，准备进攻太原。李渊便以加强防御为由下令募兵，顺利招募到一批兵马。同时，他遣使前往河东、长安，让建成、元吉兄弟以及女婿柴绍等人火速赶赴太原。
隋大业十三年（6 1 7）五月，李渊自称“义兵”，正式宣布起兵反隋。随后，李渊开大将军府，自任大将军，任裴寂为长史，刘文静为司马，下设左右三军，封李建成为左领大都督，统领左三军，李世民为右领大都督，统领右三军。
平阳公主
平阳公主是李渊与窦氏之女，史书上对其名字和出生年月并无记载。根据史实推测，她很有可能是建成之妹、世民之姊。平阳公主嫁给柴绍以后，定居长安。隋大业十三年（617），李渊在太原起兵。收到李渊的密信后，柴绍急速赶往太原。平阳公主避居县（今陕西户县），散尽千金，招募亡命之徒，同时遣家仆马三宝劝降何潘仁等部，建立了一支精悍的军队。百姓尊称她为“李娘子”，这支军队也被称为“娘子军”。平阳公主率领娘子军横扫关中，为李渊西进夺取长安扫清了道路。唐朝建立后，平阳公主和柴绍夫妇继续南征北战，两人各自开府，各有幕僚，协同作战，为大唐江山的巩固和统一立下了汗马功劳。武德六年（623），平阳公主去世，以军礼下葬，谥“昭”。
