李祖娥的倒霉，是从高洋死后开始的。宰相杨愔等人忠心辅助高殷，看高演高湛等人，在朝廷跋扈，不受节制，就同李祖娥商议，欲削夺他们的权力，外放出京。谁知李祖娥不知政治险恶，随便就把这机密大事泄露给一个宫人，这宫人又告诉了娄太后。高湛与高演、勋贵贺拔仁等人便在娄太后的支持下，在乾明元年（560年）发动政变，将高殷赶下台，废为济南王。娄太后登殿升座，命高演入承帝统，又嘱咐高演不准害死高殷。她指着李祖娥破口大骂：“岂可使我母子，受这汉家妇摆布！”高演篡位当了皇帝，是为孝昭帝。因为娄氏是高演的母亲，所以她由太皇太后的身份又回到皇太后的位置上，李祖娥也由皇太后的身份退居到前皇后的位置。而高演妃元氏则顺理成章成为皇后，立五岁的儿子百年为太子。不久，17岁的废帝高殷在晋阳遇害，高演终于违背了对哥哥高洋的柩前承诺。
高演从侄儿手中夺得帝位后，将嫂子李祖娥降居昭信宫，称为昭信皇后。但是不到两个月，高演就在一次外出游猎中，坠马受了重伤，娄太后前去探视。问及济南王高殷的安置情况，高演无言以对。娄太后知道高殷已被高演害死，哭骂道：“你害死济南王，愧对地下父兄，不死何待？”高演死，又有娄太后做主，令高湛继位。娄太后这人是北齐历史上的一位有影响的人物，也很有眼光。年轻时看到高欢是个英雄，就主动嫁给了他，陪嫁给高欢一匹战马，高欢从此崛起于行伍。她为高欢生下六男二女，其中有三个儿子都当了皇帝，即：高洋、高演与高湛。也算是前无古人，后无来者了。
在淫乱方面，高氏兄弟一个比一个荒淫恶劣。561年正月，高湛正式册立妃子胡氏为皇后。册封皇后是国家大典，热闹非凡。朝堂之上，文武大臣设宴庆祝，在后宫也邀请了内外命妇们欢会。高湛在外殿饮至半酣，忽然步履蹒跚地闯入后宫，那些命妇们都站了起来，礼节性的迎接高湛。高湛狞笑着说：“大家吃好喝好玩好，不必拘礼。”将这些妇女挨个儿瞅了一遍，一个个都是花枝乱颤，中有一风姿绰约的中年妇女，气质如仙，吐气如兰，莺声娇语，不由得让人想入非非。原来她就是自己的嫂子李祖娥，文宣帝高洋的皇后、废帝高殷的母亲。
在家族的女人中乱伦，是高氏兄弟的传统。高湛陷入了谵妄之中，不能自拔。当时就有些控制不住自己，馋得哈喇子直流，心里如火焚烧似的，坐立不安。但碍于众人在场，不便过多表露热情，只好强压欲火独自回去睡了。但又睡不着，满脑子里都是皇嫂李祖娥的影像，驱之不去。酒壮色胆，色胆让人失去理智。高湛半夜爬起，摒去左右随从，明星煌煌，夜来含香，一个人来到了李祖娥所住的昭信宫。当有宫女报知李祖娥，她心里很狐疑，三更半夜，皇帝来此做什么。隐约有种不好的预感，觉得高湛居心不良。但君威如山，李祖娥不敢拒绝，只叮嘱自己，要见机行事。
高湛到了昭信宫，坐在那里不发一语，但双目都喷着欲火，烧得李祖娥娇艳的脸庞更是火炭一般。浑浑噩噩，李祖娥羞怯无比，低头问道：“陛下夤夜至此，有何吩咐？”高湛笑着说：“长夜寂寞，无人慰藉情怀，特来陪伴皇嫂。”李祖娥说：“后宫美艳如云，自是消遣胜处。”高湛又说：“皇嫂的娇颜，胜过宫娥万千。为弟的只想一亲为快，故今夜特来相会。”话已挑明，李祖娥脸上一红，起身就走。高湛一把拉住她的裙裾，就要强行求欢。李祖娥惊骇不已，坚拒不遑。她一面避让，一面责备高湛说：“陛下身为天子，怎可不顾叔嫂名义？”说话间用手一推，高湛没有预防，也是醉酒之人力微，重重地摔在地上。高湛恼羞成怒，威胁她说：“不要给脸不要脸，今日顺从则罢，若不遂我心愿，我将剥夺你的诰封，杀死你的儿子。”李祖娥闻言，极为惶恐。高氏兄弟的蛮横为人和野蛮性格，她比谁都清楚，他说得到也就做得到。为儿子的性命计，李祖娥只好停止反抗，脸上的香粉都被冷汗浸湿了。在屈辱的泪水中，满足了他的涌起又退却，退却又涌起的兽欲。《北齐书?文宣李后列传》的记载甚详：“孝昭即位，降居昭信宫，号昭信皇后。武成践祚，逼后淫乱，云：‘若不许，我当杀尔儿’。后惧，从之”。
从此，高湛公然出入昭信宫，视李氏为嫔妃。将漂亮的胡氏冷落在一边，可惜了胡氏的花容月貌，在清风明月的深闺怨中，也蓬蓬的葳蕤，也寂寂的凋零。这正应了那句俗话：孩子是自己的好，妻子是别人的好。
春风几度后，李祖娥便怀孕了。
