作为封建帝王，唐太宗李世民和所有皇帝一样，同样拥有后宫佳丽三千，而且也通过其他方式掳掠了不少妃子。比如，玄武门之变后，他纳了弟弟的妃子杨珪媚入自己的后宫。杨珪媚原是齐王李元吉的妻子，她本是长安一个红得发紫的歌舞伎（另说是隋朝宗室），容貌妩媚，性情妖娆，又通晓诗文，能歌擅舞，无数长安公子哥儿曾为她倾倒，不遗余力地追求她，但她最终嫁给了李元吉，成了齐王妃。而唐太宗在政变后娶了弟弟的妃子，被后世称为“乱伦”。比如宋朝的朱熹说：“除害之志固善类，而不免窃取宫人，私侍其父，其他乱伦逆理之事，往往皆身犯之。”“窃取宫人，私侍其父”指的是李世民曾经和裴寂合谋，安排晋阳宫的宫女陪侍高祖李渊。“其他乱伦逆理之事”就包括太宗纳杨珪媚为妃子。其实像这样的论调有失偏颇，且不说历朝历代上这样的事情多不胜数，而且这种情况往往是有深刻的民族背景。李渊的祖父李虎曾经是西魏的柱国，被鲜卑拓跋氏赐姓“大野氏”，深受鲜卑族的政治文化影响。李氏也与鲜卑的联姻比较频繁，如高祖李渊的母亲是独孤氏，太宗的母亲窦氏等等都是汉化的鲜卑族姓氏。而鲜卑对婚姻的态度比较自由，认为兄纳弟媳是正常的事情。再加上李唐发家的地方，一直以来都是胡、汉杂居的地方，民风和中原大有不同。所以说唐太宗“乱伦”有点夸大，但是唐太宗好女色却是实情。
贞观之初，唐太宗刚刚登上帝位，时值百废待举，他没有时间和精力去恋及女色。但贞观五年以后，唐太宗的一系列治理措施开始取得了良好的成效，时局渐稳，经济繁荣，他贪图享乐的思想渐渐滋长，也通过各种方式纳了不少美女，受其宠爱的也不在少数。
唐太宗宠爱的第一个妃子是大杨妃，这位大杨妃是前朝炀帝的女儿，也是李世民晋封秦王后的第一位妃子，李世民对其极为宠爱。甚至在长孙皇后去世后，已贵为一国之君的唐太宗一度想立大杨妃为后，但由于她敏感的炀帝女儿的身份而遭到群臣的一致反对，太宗只好作罢。第二位得到太宗恩宠的妃子是韦贵妃。史书记载，韦贵妃有倾城之貌，绝世之才，因为才貌双全，故而圣宠长久不衰。说起才女，就不得不提太宗晚年宠幸的另一位才女，也就是后来名震天下的武则天。武则天进宫时只有十四岁，太宗看后，禁不住称赞：“美容止，美容止啊！”随后，唐太宗封武则天为才人，并下旨召她侍寝，还给她起了个名字叫“媚”，这也就是武媚娘这个名字的来源。
甚至，唐太宗曾经想纳新罗的美女为妃子，但被魏征阻止。贞观五年十一月，新罗给太宗献了两个美女，魏征进谏说：“蕃夷献来美女给陛下，这本来不是什么奇怪的事情，但现在陛下继位不久，不是享乐的时候。如果陛下今天纳了她们为妃子，被人传了出去，必然遭到天下人的非议，有损陛下威名。”唐太宗只好遣还了这两个美女。
除了爱美色，太宗对有才能的妃子也非常赏识宠爱，徐贵妃就是一个代表。据说，徐妃出生五个月就能说话，四岁就能读《诗经》、《论语》，八岁会作诗文，可谓才思敏捷，辞致清丽。唐太宗知道她的才能后，召她进宫封为秀士。进宫后的徐贵妃更是博览群书，遍涉经史，才学益进。后被拜为婕妤，上书论时政，看法精到，深为太宗赏识。徐贵妃不是平常女子，在朝野都大肆称赞贞观之治、盛赞太宗圣明的时候，徐贵妃从繁华的表象中看到了失误和不足，屡屡向太宗进谏，甚至有时弄得太宗很不愉快。贞观末年，太宗数次调强兵讨伐四夷，百姓怨言很多。徐贵妃感于此，便上书极谏，言辞诚恳，直指时弊。太宗大为感慨，“善其言，优赐之”。徐贵妃的才能不但吸引着太宗，她和唐太宗的相处之道也十分讨太宗喜爱。太宗过世后，徐贵妃哀戚成疾，卧病不起。医官看过以后，开方熬药，徐贵妃予以谢绝，不想病愈。太宗过世第二年，徐贵妃因思念太宗悲伤过度而不幸逝世，时年二十四岁，陪葬太宗昭陵石室。
