李德裕被贬为东京留守，已是闲散官，人们以为已贬到头了。其实白敏中心里清楚，裴度在日曾几起几落，也曾任过东都留守，然后又回京复相。他唯恐李德裕日后东山再起，威胁自己的相位，便撺掇唐宣宗又掀起了新一轮对李德裕等的打击。先是，他们将唐武宗、李德裕远贬的牛僧孺等五人内迁，以循州司马牛僧孺为衡州长史，以封州流人李宗闵为郴州司马，以恩州司马崔珙为安州长史，以潮州刺史杨嗣复为江州刺史，以昭州刺史李珏为郴州刺史。五人同日内迁，但其中的李宗闵是最不幸运的，他接到内迁之诏，还没有离开封州就死了。被李德裕斥逐的丁柔立，还职为右补阙。
接着是大贬所谓的李德裕党人。给事中刘，白敏中认为他是李党中的第一个要人，被贬为朗州（今湖南常德）刺史。右补阙丁柔立上言：“刘数为巡边使，且造木牛流马塞上运，多有功于朝，不当远贬。”白敏中斥责道：“成命已下，汝敢阻拦！”遂不听丁柔立之谏。但刘被贬后，再在重臣中搜罗李德裕旧党之人，却难以找到，白敏中恼羞成怒，便胡乱将工部尚书、判盐铁转运使薛元赏作为李党之人，贬为忠州刺史；将其弟、京兆尹、权知府事薛元龟，贬为崖州司户。凡不为李德裕所重用之人都擢用，兵部侍郎、判度支卢商为中书侍郎、同平章事；以翰林学士、户部侍郎韦综为中书侍郎、同平章事。再贬东都留守李德裕为潮州司马，丁柔立拍案而起，大骂白敏中欺人太甚。他针对朝中颇有议论之“李牛党之争”，而白敏中遮遮掩掩只以“李德裕党”之罪名，大加贬谪，上书朝廷，为李德裕辩冤。其上书中写道：
“邪正不辨，敌我不分，最是人心之大患。今无行之人，鼓其如簧之舌，拨弄是非，颠倒黑白，称‘李牛之党’，之‘李’，系李德裕；‘牛，为牛僧孺’。更有甚者，只斥‘李党为李德裕’，谬也。其实，若谓‘李牛之党’，‘李’当指李宗闵；‘牛’系为牛僧孺；李德裕本无党，是不可不加以廓清、辨正也。”
“一曰，李德裕无党。元和以后，即有标举‘牛李’一词，而非‘李牛’。其‘牛李’之‘牛’，系指僧孺，自无待论；‘李’系谓宗闵，当可非疑；或曰‘李’，指目德裕，且推及其父吉甫，此不可不辨明。大和三年八月，裴度荐兵部侍郎德裕为相。而吏部侍郎李宗闵有中人之助，是月拜平章事，惧德裕大用，遂依李逢吉，出德裕在浙西八年。宗闵另引牛僧孺同知政事，二憾相结，凡德裕之善者，皆斥之于外。大和四年十月，朝廷又以德裕检校兵部尚书、成都尹、剑南西川节度副大使、知节度使、管内观察处置、西山八国云南等招抚等使。李宗闵以为此为裴度之举，裴度本于宗闵有恩。裴度征淮西时，请宗闵为彰义观察判官，自后名位日进。至是恨裴度授德裕，罢度相位，出为兴元节度使，牛、李权赫于天下，人指曰‘牛李’，非盗为何？是‘牛李’之初义，时人原用以指斥僧孺、宗闵之结党营私。不意今有人好为谰言，施移花接木之计，将‘李’属之德裕，形成‘牛’‘李’对立，借以减少僧孺、宗闵之过恶，此本小人之用心，今人竟被其蒙蔽。”
“德裕与僧孺不协，益令人误信德裕确树党与僧孺为敌，此应辨明者二。今谓之私党，必标其策，故可形成对立。僧孺、宗闵之党则不然，其目的、手段，只是把持权利，以个人及其党人之利益为先，而不顾国家、社稷利益。德裕两度执政，初自大和七年二月，至八年十月；次自开成五年九月至会昌六年四月，且尤得武宗专信，如其树党，正宜此时。然今贬德裕，其波及官位较著者，仅有工部尚书薛元赏、京兆少尹薛元龟兄弟及给事中刘三数人。且元赏在开成初已位跻方镇，挫抑阉寺；刘也因祖荫而居高位，非由德裕擢用。其二人之业绩，大为世人之称道，何以称之为党人？其余德裕所引进者，如白敏中、周墀、崔铉，正大受今朝之倚任。其中白敏中、周墀，却被世人称牛党者，又及柳仲郢更为僧孺辟客，德裕皆不以为嫌，一一擢用。由此可见，德裕无党。”
“二曰，李德裕不结党。若征德裕之言论，则文宗尝与之论朋党事，德裕对曰：‘方今朝士，三分之一为朋党。’言外见得德裕不结私党，方其时也无人曰德裕有党。多有士进者与余云曰：‘或问赞皇（李德裕籍河北赞皇县人，因人以其籍地尊称）之秉均衡也，毁誉无如之何？’多有士进者曰：‘其削祸乱之阶，辟孤寒之路，好奇而不奢，好学而不倦，勋业素高，瑕疵不顾，是以结怨侯门，取尤群彦。’光福、王起侍郎，自长庆三年知举，后二十一载复为仆射，武皇时犹主柄，主政者凡有亲戚在朝者，不得应举，远人得路，皆相庆贺。试问：结党者，可有此举？又有无名氏玉泉子云：‘李德裕抑退浮薄，奖拔孤寒非只一二人，于是朝贵朋党，德裕破之，由是结怨而绝于附会，门无宾客。’再有×××记云：‘武宗朝任宰相李德裕，虽出丞相子，文学过人，性孤峭，疾朋党如仇傩。德裕所与者多才德之人，可谓不党。’反之，如牛派为死党，曾有史者记云：‘牛党之一杨汝士，居靖恭坊，与其诸杨朋党联结，率相期以死，权势熏灼，力不可拔。’今世人何不察，妄称‘牛’‘李’（此李指德裕）各分朋党，互相倾轧，垂四十年，以嫉视小人为私党，排斥奸佞为倾轧，却不明德裕不党之言行。如此颠倒黑白，混淆是非，举世宁复有公论？正议之士，无不愤慨！”
“三曰，李德裕无阶级分野。不畏疆域，拒绝请托，最易招惹毁谤，似此不挟私怨，臣不知今朝能有几人？大抵牛党对于异己，多任意诬善，而德裕尤为怨府，其深文巧诋，稍一不察，便堕术中。今有人云，僧孺、德裕分树两党，各有其阶级分野。更有甚者称：‘李德裕以己非由科第，恒嫉进士举者。’此大谬也。今试观德裕入相武宗而后，除杜以门荫、驸马进身外，自余陈夷行、李绅、李让夷、崔玄、李回、郑肃六相，均为进士，何谓恒嫉进士举者？今又有议者曰：‘李党重门第，牛党重科举，崇尚地胄（即门第）。’此谓德裕死守士族门风之旧习，然就德裕本身论之，其为国相之公子，又居淮南节度使，竟娶‘不知其氏族所兴’及‘不生朱门’之刘氏为妻，则又何说？岂非摈弃旧阶级门户之见，与新兴阶级同流耶？夫所谓旧族或非旧族，指其人所属之整个氏族而言。有远系可考者曰‘旧’，无远系可考者为‘新’，区别甚易，抑德裕者曰：‘李党重门第’，‘牛党重科举’。以德裕婚姻论之，其既重门第，何以不择高门旧户？再者德裕荐拔方士，反奖孤寒，天下儒者有口皆碑，何谓重门第而不重科举？‘孤寒’者，孤立寒门之谓者，与旧族极端对立之阶级也，必由科举出身。今‘新’、‘旧’两族之融合，皆因德裕等提倡文教之所致也。即便旧族，未尝不极力争取进士也，议者何能将‘新’、‘旧’两族画出一道鸿沟。诚然，德裕不由科举出身，然文宗有言：‘轻薄、敦厚、色色有之，未必独在进士。’‘只念经疏，何异鹦鹉能言。’已是定评，猥以‘经术’相推，定阶级有无，滑稽已极，恰明晰德裕无阶级分野、门第之见，唯以才是举。”此说直到宋代的宋祁以及范摅、玉泉子、裴庭裕及孙甫说等，都从李德裕无党说，遂与“李牛党争”之说之“李”指“李德裕”两说并存，成为史说中之一桩公案。
至于李德裕为政以来的功绩，丁柔立在上疏中条分缕析，又洋洋千言，不及赘述。此疏中的议者，多暗指宰相白敏中，书中在述评李德裕功绩时，多涉及文、武宗，尤其是对唐武宗多加以肯定。小肚鸡肠的唐宣宗见疏大怒，立将丁柔立贬为南阳尉。投机钻营的白敏中，看到丁柔立的上疏，更加迁怒于李德裕，便咬牙切齿地要兴起大狱，置李德裕于死地。
却说开成二年（837）五月，李宗闵引淮南节度使牛僧孺为相，唐文宗迁三次镇浙西，出入浙西达十年的李德裕为淮南节度使，以代牛僧孺。牛僧孺闻知李德裕要代己为淮南节度使，便不等他到来当面交割，便将军府所有事务交付给淮南节度副使张鹭，就匆匆入朝去了。李德裕到达扬州后，怒牛僧孺不按制交割，便上奏朝廷说，扬州府库藏本应有钱帛八十万贯匹，自己只领得四十万贯匹，张鹭说另四十万匹已支用。唐文宗以此事责问牛僧孺，牛僧孺上疏辩解说，自己确向副使张鹭交割的是八十万贯匹。唐文宗便下诏命李德裕重新检括。李德裕便主持清仓查库，果然库藏钱帛八十万贯匹。李德裕便上疏说：“府吏称，凡诸镇军使更代时，照例将库藏数减半，以防备水旱之灾，以助军费。其因出示王播、段文昌、崔从相代时，都援此例，现簿册宛然保存良好。王、段交割之人时都健在，只有崔从是死于淮南任上，而牛僧孺接代崔从之职，比其他减杀库存数还要多。臣初至淮南镇时，适逢有病，失于援例，不查实，确系八十万贯匹，不敢妄奏，请求责罚，臣待罪。”唐文宗便下诏赦免李德裕为无罪。而补阙王绩、魏、崔党、韦有翼，拾遗令狐、韦楚老、樊宗仁等各联言上奏，弹劾李德裕挟私怨沮伤牛僧孺。也有人言于唐文宗，这是“牛党”群起而攻之，欲加罪李德裕。唐文宗怕为此朝政再乱，便说：“成命已下，不必再问。”这件事便不了了之，其中详情谁也没有调查过，便成疑案。
