显庆元年（公元656年），有位洛州女子淳于氏，因奸情败露而被关押在大理寺狱中。李义府听说她长得很美，便嘱托大理寺丞毕正义为她开脱罪名，将她放出来，想将她纳为妾侍。
大理寺卿段宝玄知道后，便奏闻皇上。高宗命有关部门审理此事。李义府为了自我开脱，便逼令毕正义在狱中自缢以灭口。侍御史王义方在殿廷当面指责李义府“擅杀六品寺丞”。李义府非但不引咎自责，反而连声喝斥王义方。高宗让李义府先下去，李义府不听，在其他大臣指责下才退出去。但高宗念其在立武后时的功劳，没有处置李义府，还为他压制王义方，说王义方“毁辱大臣，言辞不逊”，贬其为菜州司户。
显庆二年（公元657年），唐高宗及武则天在亲信的支持下，扳倒了韩瑗等宰相后，进一步报答拥武功臣，又任命李义府为中书令、检校御史大夫，加太子宾客，还赐其爵河间郡公，命官府为他建造宅第。唐高宗觉得这还不足以报偿他的功劳，又命追赠其父为魏州刺史，就连他的孩子们，包括还在襁袍中的婴儿，也都封了官爵。对于李义府的上升，一些正直官员看不惯。宰相杜正伦就是其中的一个。杜正伦在任门下待郎时，李义府刚刚考上进士担任门下省的典仪，杜对李义府以前就看不惯，现在同为宰相，一起执掌政事，杜认为自己是前辈，且经验丰富，因而朝上朝下不肯谦让李义府。对此李义府非常不满。一次，杜正伦图谋除掉李义府，向皇上奏告其骄横不法。不想，李义府闻知，反过来也说杜正伦的不法行为。两人便在高宗面前争论起来。高宗在无奈之下，以大臣不和为理由，将他们都贬出朝廷任地方刺史。但只过去了九个月，高宗就又召回李义府，官复原职并兼吏部尚书、同中书门下三品，知选举事。而杜正伦至死也没有回朝廷。
显庆五年（公元660年）冬，高宗李治开始生病，头痛目眩，难以主持日常政务，因此除了例行上朝之外，百司奏事皆委托武则天处理。武则天的权势更加扩大。而李义府因立后有功，依仗武则天的权势，其地位和荣耀发展到了无以复加的地步。龙朔元年（公元661年），李义府的母亲去世，按例应离职服丧。但武则天以忠孝不能两全为由，夺丧复其职。这种待遇只有在国家有重大事情时德高望重的大臣才能得到。
李义府既获荣宠，又进一步勾起了他光宗耀祖的念头。他请求朝廷，要改葬他曾任县丞的祖父，获得恩准。李义府便在永康陵（唐高祖陵）旁边择地营造坟墓，其钱财用度全部取之于当地。三原县令李孝节畏于其权势，私自谋征壮丁及百姓的牛车等用具，拉土筑坟，昼夜不停。周围七个县的县令也怕得罪李义府，全都课征人力物力去为李义府效忠。高陵的县令张敬业日夜操劳，又整日惴惴不安怕有不周，以至于当场累死。同时，王公以下官员，都争着赠送器物钱财。迁葬用的各种物器礼仪都极尽奢华。迁葬这天，所用的车马供帐，自灞桥一直到三原县（今陕西三原），七十多里的路上，相继不绝。从唐高祖武德年以来，王公们都没有举办过如此盛大的送葬仪式。
李义府觉得这种荣耀还不够，毕竟自己出身寒门，还是会被别人瞧不起。因此，他便伪造其族史，吹嘘说他的家族是著名的山东李姓家族，想把自己寒酸的门第扯成世家大族。当时给事中李崇德趁机巴结他，把李义府家族拉入自己的族谱内。当李义府因事被贬后，李崇德势利，赶紧又把李义府家族从族谱内删除，气得李义府恼羞成怒，设法罗织罪名将他逼死狱中。李义府又想与山东士族家的人联姻，没有成功。他一气之下，上奏高宗，禁止山东崔、卢、李、郑等大姓以后不得互为婚姻，被称为“禁婚家”。唐太宗在位时，曾令高士廉等人撰写《氏族志》，依照皇族第一、外戚次之，其余世家大族依门第高下而编成书，以表示族姓等第，并将此书颁发各州保存。李义府为了打击那些傲气的世家大族，以武则天的武姓后族榜上无名为由，上奏请改编为《姓氏录》。武则天便命礼部侍郎孔志约等人负责编写。结果，皇朝中凡五品官以上者皆纳入书内，升入士流。此举令那些以门望高为荣的世家大姓非常尴尬，对《姓氏录》大加讽刺，称其为“勋格”。李义府当然在此书中赫然有名，他终于为其整个家族争得了一席之地，由庶门上升为士族。
贪赃枉法盛极而衰李义府在权力和地位急剧上升的时候，他的贪欲也日益膨胀，并且越来越有恃无恐，连唐高宗他也敢得罪。
龙朔初年，李义府知选事。龙朔三年（公元663年），李义府再升右相，仍旧知选举事。官吏考核任免都要经他的手。李义府根本没有鉴别人材的能力，但贪婪却如同沟壑难以填满。于是，他唯以贿赂作为官吏升迁的标准。他的母亲、妻子、儿子、女婿都出卖官爵。这一家人还以钱定狱，扰乱司法。求情者门庭若市、车水马龙；蒙冤者怨声载道。朝廷官员也都议论纷纷。自从永徽年间开始，按规定御史多由皇帝亲自选任，吏部虽然有调离和铨注，但到门下省复察时都不接收。但李义府却敢自己铨选御史、员外、通事舍人，门下省也不敢退回。
对于李义府贿赂公行、贪赃枉法的行为，唐高宗屡有耳闻，但考虑到其已往的功劳，又是皇后的亲信，不便多说什么。有一天，高宗实在看不过去，就对李义府温和地说：“听说你的儿子、女婿干预司法而多有过失，朕都为你掩盖了，你也就克制一下。”李义府倚仗皇后撑腰，认为没有人敢揭发他的罪行，没料到皇上会知道，便勃然变色、脖子上的青筋都跳了起来，他慢言慢语地反问高宗说：“是谁告诉陛下的？”高宗发怒说：“我只是提醒你一下，何必非问我从哪里知道的？”李义府满脸的不高兴，更没有半点认错的意思，最后竟不顾君臣之礼，迈着缓缓的方步，不告而退。高宗看着他的背影，也无可奈何，但心里非常愤怒。这件事为李义府的倒台埋下了伏笔。
正巧有一个与李义府关系很密切的术士叫杜元纪的，望见李义府的宅第上方有牢狱之气，便对李义府说：“你的住宅上方有狱气，你如果拿出积存的钱两千万，就可以压住此气。”李义府相信了他的话。为了凑够这两千万，他更加放肆地勒索起来。一次，他派儿子李津把长孙延叫来，说：“我给你弄到一个官。”过了五天，长孙延就当上了司津监。事后，李义府索取谢金70万钱。此事被右金吾仓曹参军杨行颖告发。长孙延乃长孙无忌的孙子，而长孙无忌是以谋反罪名被流放迫害致死的。给长孙延谋官，是卖官鬻爵、与罪臣后代联络的行为。
于是，在龙朔三年（公元663年）四月，忍无可忍的唐高宗及武则天便令拘捕李义府入狱，派司刑太常伯（即刑部尚书）刘祥道与御史、详刑等共同审理此案，司空李渭嗌蟆
没想到，又有人告状说，李义府在母丧期间，穿了便服同术士杜元纪登古墓望气色。痛恨李义府的官员认为李义府这是在窥看灾异，蓄有异图。在审理杜元纪时，杜元纪把说李义府宅第上“有狱气”的事和盘托出。这样，即便不是蓄有异图，也是窥看灾异。
案件澄清后，李义府被惩处。朝廷下诏将李义府除名，流放庵荩ń袼拇ㄎ鞑）；其子李津被除名，流放振州；李义府的另两个儿子李洽、李洋及女婿柳元贞也都被除名，流放庭州。
终于等到了这一天，朝野官僚士大夫都一片欢腾，如同过节一样互相祝贺。有人写了篇《河间道元帅刘祥道破铜山大贼李义府露布》的游戏笔墨，将宽大的绢布拉在通衢大道上，以隐喻方式将此事大加宣扬。李义府的三个儿子和女婿都凶暴贪婪无比，垮台以后，人们都叫做“诛四凶”，可谓大快人心。李义府垮台后，家人与奴婢都四散逃命，往日的荣耀富贵转瞬间便灰飞烟灭。
乾封元年唐高宗（公元666年），因封禅泰山，改元乾封，大赦天下。但此次大赦唯独长流之人不赦。李义府在流放地回想当年权威赫赫、呼风唤雨的情形，看如今流落异乡，好不容易盼到大赦，却又不能返还，东山再起已没有可能了。他带着满腔的绝望和对高宗、武则天的怨愤，一病不起，死在流放地。自从他被贬斥以后，朝野都一直担忧他会被重新起用，直到他死了，人们才安下心来。
【作者点评】
李义府有才学，以科举而入仕途，短短20年间，他从门下省典仪的小官而递升到宰相的高位，不能完全说是凭借狡诈奸谋。但如同他的同僚许敬宗一样，因为他们曾经拥立过武则天，而导致后来的武则天以周代唐，所以被后世维护皇道正统的史学家们所不耻，结果连同他们此前所走的道路都一概否定了。
李义府虽有才学却无德行。掌朝政以后，他借武则天之势，专以卖官为事，“入则谄言自媚，出则肆其奸宄，百僚畏之，无敢言其过”。加上他为人翻手为云，覆手为雨，表面和顺，内心阴险歹毒，大耍顺我者昌、逆我者亡的伎俩，所以深为朝廷百官所痛绝。而他还恃宠而骄，有恃无恐，发展到无君臣之礼，这就必然给自己带来覆灭的命运。
毛泽东在对历史人物的评价中，对这种人是极其鄙薄的，尤其反感那些耍两面派、玩弄阴谋的人，所以在读《旧唐书·李义府传》时，特意写上了“笑里藏刀李义府”这句批语，以示对这种人的厌恶和警惕。（刘连银）
