对于朝官们利用手中权力，在官场上培植各自势力的这种举动，宦官集团怎能坐视不管？他们必将采用种种手段，极力打击和压制朝官们的作为。宦官们当然也懂得如何利用和发挥他们的优势，例如极力控制禁军、挟持皇帝，拉拢一些想走门路的朝官加入自己的派系等。宦官们因能挟持皇帝而取得权力，甚或权力越来越大，往往对一些进入仕途想依靠宦官的帮助往上爬的人，很有吸引力。这种人投靠宦官，确实能得到“实惠”。朝官、士流们虽以其为不齿，但他们往往可到达朝廷高位，裴度在这方面所吃的亏是刻骨铭心的。比如元稹是有名的大诗人，他投靠宦官后，却可官至宰相。唐敬宗时，自己在平定河北四镇的武装割据前线，苦苦支撑战局，而元稹在朝中递加设置障碍，使自己的平藩大计功亏一篑，朝宦两大阵营的争斗愈演愈烈。初时裴度深感自己独木难支，很想找一个能在仕途上很有作为的人，作为自己的帮手，来挽救朝廷的危局。在长期的考察中，他看中了李德裕。但李德裕自从科考到仕途的境遇，大出自己的所料，再加上他屡荐李德裕代自己为相又屡屡受阻，他为政多年也感到心力交瘁。面对无奈的局势，裴度看到自己须发落雪，足疾又犯，行动起来，远非昔日可比。他灰心了，心中似乎有个声音在召唤他“归去来兮”。对，“归去来”，裴度经过再三考虑后，就上书唐文宗，请求辞归。
接到裴度的上书，唐文宗心中暗暗吃惊是有原因的。他本是穆宗子、敬宗弟，唐穆宗刚即位就封他为江王。大概是当局者迷、旁观者清吧，他对于唐穆宗、唐敬宗成为宦官控制下的皇帝，十分不满，再加上这二帝只求奢侈放纵，根本不关心朝政，致使成德、幽州、魏博三镇相继反叛。朝廷不得已，也就承认了三叛镇的割据现实，答应其割据要求。这样河北三镇又脱离了朝廷的管辖，二帝也不再有收复三镇的想望。李昂十八岁即位亲政后，满怀希望能改变这种状况，励精图治，一统宇内。但他又看到，在朝官所居的南司和宦官所统的北司相争的背后，又各自分裂成形如敌对的朋党。如何解决这一难题，十分棘手。但凭他的了解，深知裴度的才能、威望非他人可比，是自己唯一能依恃的最佳人选。谁知自己还未真正着手实施“夙愿宏图”，裴度又上书辞官，这怎不令人忧心？他经过再三考虑，决定先派御医去为裴度诊视疾病，又派使抚慰且传达口谕说：“卿自称年高多病，足疾尤甚。实则只足疾有碍行动，机体未衰。然足疾可医，卿可不必于每朝日上朝，每月三五次即可，朝则乘舆而至。”不久，唐文宗又下诏曰：“昔汉以孔光降置几之诏，晋以郑申奉册之命。虽优隆耆德，显重元臣，而议政不及于咨询，用礼止在于安逸。朕勤求至理，所宝唯贤，顾旧劳，敢不加敬。由是委宰制于大政，释参决于繁务，时因听断，诚望弼谐，迁秩上公，式是殊宠。特进、守司徒、兼门下侍郎、同中书门下平章事，充集贤殿大学士、上柱国、晋国公、食邑三千户、食实封三百户裴度，禀河岳之英灵，受乾坤之间气，璋特达，城府洞开。外茂九功，内苞一德，器为社稷之镇，才实邦国之桢。故能祗事累朝，宣融景化。在宪宗时，扫涤区宇，尔则有出车殄寇之勋。在穆宗时，混同文轨，尔则有参戎入辅之绩。在敬宗时，阜康兆庶，尔则有活国庇人之勤。迨弼朕躬，总齐方夏，尔则有吊伐底宁之力。皆不遗庙算，布在简编，功利及人，不可悉数。尔朝论益重，我心实知。方用皋陶之谟，适值留候之疾，沥恳牢让，塞诏上言，动形颜色。果闻勿药之喜，更俟调鼎之功，而体力未和，音容尚阻。不有优崇之命，孰彰宠待之恩？宜其协赞机衡，弘敷教典，论道而仪刑卿士，宣德而镇抚华夷。啬养精神，保绥福履，为国元老，毗予一人。可司徒、平章军国重事，待疾损日，每三日、五日一度入中书。散官勋封实封如故。仍备礼册命。”
裴度接诏后，送走朝使，自思：天子降诏，悉数自己自宪宗朝以来之功绩，尤诚心推重己“为国元老，毗予一人”，实在令人怦然心动。为士君子，谁能不为知己者死？回想穆、敬、文宗三朝，诚心待己者，唯有文宗一人，自己怎能再辞让！但又转念一想，自己推荐李德裕以代己，实为社稷培育栋梁之材，也为再度免佞臣暗算，也实为避祸之计，因才上书辞朝。这样看来是为公呢，还是为私呢？这种做法是是，还是非，抑或两种都有，孰轻孰重？可又回头一想，朝堂本就是是非之地，辅弼君王本就要依是攘非。如今朝宦之争，尚且不论，就朝官而言，朋党已起，李宗闵、牛僧孺在相位，君王似无有招回李德裕之意，自己若禀持朝政，实是孤掌难鸣，既要和王守澄等宦官对峙，又要和朝官中之朋党对垒，到头来结局如何？想到此，不免又不寒而栗。想来想去，裴度又眷恋起自己在绿野堂和白居易、刘禹锡等诗酒唱和那段优悠尔雅的日子来，这就是他“归去来”的情结。
绿野堂是裴度在唐敬宗朝为东都留守时，看中了一处几已废弃的富豪园林，将它买下。园中原有参天古木，只是园中建筑多已坍颓。裴度倾其所有，招来工匠，大事修缮，又种花木万株，多有奇花异草，于绿荫丛中的假山上，构筑了凉台和避暑馆。修葺一新的园林，果然是万紫千红，满园芬芳；万木竞秀，枝柯交蔽；水碧石奇，亭阁巍峨。其妻苗夫人多次规劝道：“端公一生为王室尽心竭力，朝野称颂。今当国家至此多事之秋，公宜善始善终，不应享此奢华。再者识儿弟兄年已见长，还赖端公荫蔽，公不可不虑！”裴度回答道：“时阉竖擅威，佞臣当道，天子虚拥国器，缙绅道丧，度功成垂败，不复有经济之志。至于识儿兄弟，既已年长，更应立志，若一味如凌霄花攀附他物，花终竟不为花，夫人不必多言！”苗夫人见劝说无效，只能暗自叹息。
园林建成，位于洛阳东三十里处午桥，初名“午桥庄”。裴度一再扩大，终置田五百亩于庄中，成名别墅，就改名为“绿野堂”。裴度最喜于暑天在“绿野堂”的凉台和避暑馆招经他力荐，时在洛阳的太子宾客刘禹锡、刑部尚书白居易，于此饮酒赋诗。其时，刘、白二人也因遭受一次次的政治打击，无意于仕途，正和裴度心意相合，就把酒高歌，诗文相属，穷昼夜为欢。由白居易唱和裴度的一首诗中可见一斑，其诗为：《奉和裴令公新成午桥庄绿野堂即事》，“引水多随势，栽松不趁行。年华玩风景，春事看农桑。”
宝历二年（826），唐敬宗密诏招裴度回到长安后，裴度一直留恋在“绿野堂”自由欢娱的那段生活，这也成为了裴度向往回归自然而上书辞官的一种情结。想到此，裴度就又奋笔疾书，上表再度辞朝，书曰：“伏以公台崇礼，典册盛仪，庸臣当之，实谓忝越。况累承宠命，亦为便蕃，前后三度，已行此礼。令臣犹参枢近，窃惧无以弼谐，重此劳烦，有觑面目。伏乞天恩且课臣效官，责臣实事，册命之仪，特赐停罢。则素餐高位，空负耻于心中；弁冕轻车，免讥诮于众口中。”
读罢裴度的上书，唐文宗很不自在，但为了自己的江山社稷，只好隐忍不发。翌日，待自己的心情平静下来，他才又下诏给裴度，重申上次诏书的意思，只是语词更平和地委婉拒绝裴度的辞官请求，又抚慰他在疗养的同时，还应以国事为重。不久，唐文宗又下诏，在裴度原一大堆职事头衔的基础上，再加他为守司徒、兼侍中、襄州刺史，充山南东道节度观察、临汉监牧等使。至于为何要在他朝中一品大员的基础上，再兼任襄州、山南东道、临汉等职，而他和李德裕的关系，以及李德裕在仕途之中究顺舛如何，并非三言两语就能说得清、道得明的，还得一一娓娓言来。
