隋文帝正谋图取得江南。先是杨素多次进呈攻取南陈的建议，不久，文帝就授他为信州总管，派他讨陈。杨素驻扎在永安，建造大型战舰，取名叫“五牙”。船上建起5层楼。高100多尺，左右前后竖起6根桅杆，加起来高150尺。可容纳战士800人，舰上遍扎旗帜。小一点的战舰叫“黄龙”，可乘士兵100多人。其余“平乘”、“舴艋”等战船大小各有差别。等到大举讨伐南陈，朝廷命他为行军元帅，率领船队直趋三硖。隋军来到流头滩，南陈将领戚欣率青龙舰100余艘屯兵守卫在狼尾滩，以阻止隋军的道路。这里地势险要，隋将十分忧虑。杨素说：“胜负就在此一举。如果白天开船进攻，对方则能看清我们的行动。加之水流迅急，水手无法控制，我们就会失掉有利条件。”于是，隋军夜间发动了进攻。杨素亲自率领黄龙舰十艘，悄悄顺流而下；派开府王长袭从南岸袭击戚欣的别处营寨的栅栏；命大将军刘仁恩直趋白沙的北岸。天明到达，进攻陈军，戚欣失败。俘虏了许多陈军，安抚后全部释放。隋军秋毫不犯，深受陈人欢迎。杨素率领水军顺江东下，战舰船只覆盖了江面，军旗盔甲耀日蔽天。
南陈的南康内史吕仲肃领军驻扎在岐亭，把守着江峡，在江北岸的山崖上固定三条铁锁链，拦江横截在上游，用来阻挡敌军的战船。杨素与刘仁恩登上江岸一起进发，先进攻陈军的栅栏，吕仲肃的军队夜间溃败，杨素除掉铁锁链。吕仲肃又据守荆州辖下的延洲，杨素派遣巴兵卒数千人，乘坐五牙舰四艘，依靠舰上的樯竿捣碎敌军的十多艘战舰，将陈军打得大败，吕仲肃仅保全性命。南陈后主派信州刺史顾觉镇守安蜀城，荆州刺史陈纪镇守公安，都因惧怕隋军而逃之夭夭。巴陵以东再没有人敢于坚守。湘州刺史、岳阳王陈叔慎请求投降。杨素来到汉口，与秦孝王会合后才返师。被授予荆州总管，进爵为郢国公，杨素对隋文帝说：“有地名叫胜母，曾子都不进入。叛逆王谊过去封在郢地，我不愿与他封在同一个地方。”于是，改封为越国公。不久，又授予纳言，转为内史令职。
时隔不久，江南人李棱叛乱，朝廷命杨素为行军总管去讨伐。文帝命平定叛乱以后，将男子全部杀掉，妇女都赏给士兵，在战场上侥幸活下来的罚做苦役。叛逆朱莫问自称为南徐州刺史，用重兵把守京口。杨素率水师从杨子津进击，击败朱莫问。晋陵顾世兴自称为太守，与他的都督鲍迁等人前来抗拒，杨素将他们攻破，抓住了鲍迁，俘虏贼兵3000多人。他进击无锡的贼帅叶皓，又将他们平定。吴郡的沈玄侩、沈杰等率兵围困苏州，刺史皇甫绩屡战失利。杨素率军救援。沈玄侩形势窘迫，逃走去投奔南沙的贼帅陆孟孙。杨素在松江向陆孟孙的部队发动进攻，将他打得大败，擒获了陆孟孙、沈玄侩。黝、歙一带的贼帅沈雪、沈能据守栅栏以自我保固，也被攻下。
江浙的高智慧自号为东扬州刺史，吴州总管、五原公元契镇守会稽，因为惧怕高智慧的兵力强盛而向他投降。高智慧将元契的部下全部杀死，元契自杀。高智慧有1000多艘舰船占据要害，军队十分强劲。杨素领军向他进攻，从清晨到下午申时，经过艰苦战斗，打败了贼兵。高智慧逃往海上。杨素追赶他，从余姚渡海直趋永嘉。高智慧抵抗，杨素又将他击败逃走。贼帅汪文进自称为天子，占据东阳，任命他的同党蔡道人为司空，驻守乐安。杨素领兵予以平定。又攻破永嘉贼首沈孝彻，隋军从这里步行向天台进发，直指临海郡，逐一捕获漏网的贼兵，前后打了100多仗，高智慧逃往闽越坚守。文帝因杨素长时间在外征战。所以下诏派人骑快马传令命他还朝，给他的儿子玄感加上开府衔，赐给绸缎8000段。杨素因余寇没有扫除，恐怕成为后患，又请求出发。朝廷下诏命他为元帅，他又率军来到会稽。
开初，泉州人王国庆是南安一带的豪门大族，杀死了刺史刘弘，占据州城发动叛乱。他认为海上艰难险阻，北方人不能习惯，所以不设任何防备。杨素率军渡海，突然前来，王国庆忙弃城逃走。杨素分别派遣各路将领，从水上和陆地分头追击。此时，南海原有五六百户人家，居住在水上成为亡命之徒，号称为游艇子，高智慧、王国庆想去投靠他们。杨素便秘密派人劝说王国庆，让他杀死高智慧以立功，王国庆在泉州杀死高智慧，其他余党全部投降，江南于是平定。文帝派左领军将军独孤陀到浚仪迎接慰劳杨素。他回到京城，慰问者天天不断。
杨素代替苏威为尚书右仆射，与高颎一起掌管朝政。杨素性情疏懒而又好计较，朝臣之间，他只推崇高颎，敬重牛弘，厚待薛道衡；看苏威好像不存在一样。其他朝臣，大多受他轻慢排斥。他的才情风度超过高颎；至于诚心休国，待人接物的公平恰当，宰相应具有的识见气度，与高颎相去甚远。
不久，文帝令杨素监造仁寿宫，杨素便平山填谷，督责工役严厉苛刻，工役们死了很多，等到仁寿宫建成，文帝命高颎前去视察，高颎奏称宫殿过于绮丽豪华，损伤人丁太多，文帝不悦。杨素害怕，便在皇宫北门启奏独孤皇后说：“帝王按法规定应该有离宫别馆，现在天下太平，建造一座宫殿怎么能算浪费?”皇后将这个道理告诉文帝，文帝的情绪才缓和下来。
开皇十八年(公元599年)，突厥达头可汗进犯边塞，文帝命杨素为灵州道行军总管，率兵讨伐，原来的边疆守将与突厥打仗，因为担心他们的骑兵来回冲突，因而将战车、步兵、骑兵互相交错配合，用鹿角布置成方阵，骑兵屯扎在其中。杨素说：“这是自我束缚。”于是，他将旧的战法全部抛弃，命令全军变为骑兵的阵势。达头听后十分高兴，认为是天赐的良机，下马对天祝拜，然后率领数10万精锐骑兵杀来。杨素挥军奋击，达头受重伤逃跑，敌人四散而去。
杨素精于权谋韬略，利用机会进攻敌人，战术变幻不断，然而，总体上，治军严肃整齐，有违犯军令的，立即斩首，毫不宽贷。每次将要与敌人开战，往往寻找将士过失将他们处死，多的处死100余人，少的也不下数十人，他面前流满了鲜血，却谈笑自若。等到与敌人开战，先命一二百人进攻敌人，如能攻破敌阵就算了，如不能攻破而失败回来，不管剩下多少人，全部斩首；再命200人进攻，方法同前面一样。将士们个个心惊肉跳，下定了必死的决心。所以战无不胜，杨素受到文帝的宠爱，他说的话文帝没有不听从的，与他一起作战的将士，就是立有很小的功劳也会被记录奖赏。杨素虽然严酷残忍，将士们也愿意跟从他。
开皇二十年(公元601年)，晋王杨广为灵、朔道的行军元帅，杨素为长史，晋王屈尊与他交往。
仁寿初年，他代替高颎为尚书左仆射，这年，又命杨素为行军元帅，进击突厥，连续击败敌军。突厥逃走，他追到夜里赶上了他们，恐怕他们逃跑，便令其他骑兵走在后面，自己亲率2名骑兵和两名投降的突厥人，悄悄地与敌兵一起行走，对方没有丝毫知觉。等到他们驻扎时还没稳定下来，他指挥后面的骑兵突然掩杀过来，将敌人打得大败。从此。突厥人远遁而去，沙漠以南再也没有他们踪迹。因立战功将他的儿子杨玄感进位为柱国，玄纵为淮南郡公，赏赐物品2万件。
献皇后驾崩，丧葬制度多出于杨素之手。文帝很是赞赏他，下诏说：“君主如脑，大臣好比股与肱。共同治理百姓，职责一体。上柱国、尚书左仆射、仁寿宫大监、越国公杨素，志向气度，恢弘宽阔，对事物变化的洞鉴透彻远大，胸怀辅助时事的韬略，包涵治理国家的才干。我朝王业初开，称霸天下的宏图刚刚奠基，他一出仕就被委以重任。受命出师，擒获和消灭凶恶的贼首，平定了虢和郑。多次秉承朝廷制定的谋略，指挥大军纵横江南；常常接受朝廷颁布的军令。率军长驱于北疆要塞。大军向南，吴越之地便被肃清；王师北临，匈奴族的军队就被摧垮折服。位居尚书省长官。参与军国大事的计谋筹划，在朝廷端正严肃，不谄不骄；说话直抒胸臆，不带隐瞒。谈文学则词气纵横，论武功则谋深虑远，既能文，又能武，对朕唯命是从。凡委以职责，从早到晚都不懈怠。献皇后气息奄绝，驾离六宫，远别日月，融入白云。坟茔的选择，灵柩的厝置，都委托杨素来料理。杨素对朝廷义重，为国家情深，想使生者和死者都安康泰然，永远无穷。他认为阐释阴阳的书虽然都是圣人所作，但体察其中祸福的道理，尤其须慎。便踏遍山川原野，亲自占卜选择，为了寻求大吉，孜孜不倦，奔波不停。终于在京城附近找到一块福地，用以营建陵墓。论起杨素的这种心情，对朝廷实在至诚至孝。他平定贼寇，建立丰功伟业，如不给予奖赏，怎么能申张劝勉奖励功臣的风气!可再封他的一个儿子为义康郡公。食邑一万户，子子孙孙继承不断，其余赏赐仍按旧章。”
此时，杨素受文帝宠爱越来越重，他的兄弟杨约、从父杨文思、兄弟杨纪以及族父杨异都被封为尚书、列卿。所有的儿子没有任何汗马功劳，都位至柱国、刺史。家里僮仆数千人，后宅的妻妾歌妓，穿着华丽的绸衣的数以千计。府第豪华奢侈，形制有如皇宫。有个叫鲍亨的善于写文章，一个叫殷胄的工于草书和隶书，都是江南的读书人，因为受高智慧牵连沦为奴仆。杨素的亲友故旧，都地位显要。他权势的兴盛，近古以来从未听闻，炀帝杨广初为太子时，猜忌蜀王杨秀，便与杨素密谋，构陷他的罪状，后来竟被废黜。朝臣有违逆他的，杨素暗中中伤他们。如果有人趋附他和他的亲友，虽然没有才干，也给以提拔。人们无不因畏惧而依附他。只有兵部尚书柳述，凭借他是文帝女婿的特殊地位，多次在文帝面前抨击杨素；大理卿梁毗上表说杨素作威作福。文帝渐渐疏远并忌讳杨素，后来诏谕说：“仆射，是国家的辅政大臣，不可以亲自处理细小的事务。只需三五天到尚书省议论一下大事就行了。”表面表示优崇，实际是在削弱他的权力。到仁寿末年，不再让他全面负责尚书省的事。文帝赐王公以下的大臣射箭，杨素的射术为第一，文帝亲手将外国贡献的价值数万的金精盘赏赐给他。
文帝身体不好，杨素与兵部尚书柳述、黄门侍郎元岩等人宫侍奉他的疾病。此时，皇太子杨广入宫居住在大宝殿，担心文帝不测，必须早作防备，便亲手写信，封上送给杨素。杨素便将文帝的情况记录下来，报与太子，宫人将他的信悄悄送给文帝，文帝看后恼怒，文帝宠爱的陈贵人也说太子对他轻狂无礼。文帝发怒，想要召回被废为庶人的长子杨勇。太子与杨素谋划，杨素假借文帝的诏命，让东宫的兵士来宫中守卫，宫门禁止出入，让宇文述、郭衍来指挥。文帝当天驾崩，因此颇引起不同的议论。
恰逢汉王杨谅反叛，派茹茹天保向东进至蒲州，烧断黄河上的桥；又派王身冉子率军与天保合力坚守。杨素率轻骑5000人袭击，埋伏于渭水渡口，乘夜渡过，天明发动进攻，天保兵败，王身冉子惧怕，献城投降。炀帝下诏将他征还。杨素起初将要出发时，计划着破贼的日子，实际发展都和他估计的一样，炀帝于是命杨素为并州道行军总管、河北道安抚大使，去讨伐杨谅。当时，晋、绛、吕三州州城都被杨谅把守，杨素每地各用2000人吸引他们。杨谅派赵子开率军10余万，修筑险绝的道路，屯据在高壁，布下50里大阵。杨寨命诸将领兵逼近敌营，自己用奇兵，急速前进，直捣杨谅的大营，一举将其攻破。杨谅任命的介州刺史梁修罗驻扎在介体，他一听说杨素率军到来，就弃城逃走。杨素领兵进至清源，离并州30里，杨谅率他的将领王世宗、赵子开、萧摩诃等迎战，又被打破，俘获了萧摩诃，杨谅退守并州，杨素进兵将并州包围，杨谅投降，他的余党全被平息。炀帝派杨素的兄弟修武公杨约拿着他亲手写的诏书慰劳杨素，杨素上表感谢。
大业元年(公元605年)，他升为尚书令，朝廷赏赐给东京的住宅1处、布帛2000段。不久，又被授予太子太师，其他官职如同以往。朝廷前后给他的赏赐无法计算。第二年，又被授予司徒，改封为楚公，这一年因病去世，谥号景武，赠为光禄大夫、太尉公和弘农、河东、绛郡、临汾、文城、河内、汲郡、长平、上党、西河十郡太守；送给轀辌丧车一部、手执木刻班剑的仪杖30人、前后手执羽葆的仪杖和吹鼓手、谷和麦5000石、布帛5000段，鸿胪寺负责料理丧事。炀帝又下诏为他立碑，以表彰他的丰功伟业。杨素曾将一首长达700字的五言诗赠给番州刺史薛道衡，词意新颖警拔，风格秀雅超群，成为一时难得的佳作。诗写成不久，就去世了。薛道衡叹息说：“人之将死，其言也善，果然是这样啊!”
杨素虽有扶立炀帝的谋略和平定杨谅叛乱的功劳，然而却特别被炀帝所猜忌。炀帝对他表面礼遇优隆，实际上情义甚薄。太史说楚地将有大丧，炀帝因而将他改封到楚。他卧病在床的时候，炀帝每次都令名医去诊治，赐给上等好药，然而却私下唯恐杨素不死。杨素也知道自己的名位已达到颠峰，所以不肯用药，也不慎重调养。常常对兄弟杨约说：“我难道还须再活下去吗?”
杨素贪图财货，大肆营求产业，东西两京的住宅宏丽奢华，往往早晨建好，晚上又拆掉重造，营建修理没有停止的时候。四方都会繁盛之地，都有他家的旅店、磨房、田园、住宅，其数量以千百计。当时舆论都因此而鄙视他。
乱世枭雄——李密
李密字法主，文武兼备，志向高远，李密收养宾客，接纳贤士，毫不吝惜钱财，与杨玄感结有生死之交。后来，又强自克制，沉湎于学习之中。尤好读兵书，口中不停朗诵。大业初年，他被朝廷授予亲卫大都督，因为身体有病，回家休养。
