裴度被夺了军权回长安面见李恒，汇报刘承偕因罪大恶极被将军刘悟扣起来了，弄不好将激起兵变。李恒问：怎么办？裴度说：刘承偕有罪必须惩处，否则伤了军心谁还会为陛下打仗？但李恒认为如果杀了刘承偕无法向皇太后交代，只得下诏把刘承偕流放偏远地区了事。李光颜等将军看清了李恒的嘴脸，纷纷上表请求辞官回乡。
在大臣们的不断请求下，李恒只得任命裴度为淮南节度使，仍兼原来的所有职务。但朝臣们还是认为裴度年事已高，不宜到外地任职，应该留在朝廷。李恒无奈，只得命裴度在京辅助朝政，继续当宰相。
不过，裴度依旧身在是非漩涡不能脱身。当时的兵部尚书李逢吉忌妒裴度，也想夺元稹的相位，于是上告元稹交结刺客要杀裴度。李恒下诏调查，没有实据，干脆把裴度降为右仆射，元稹降为同州刺史，而让李逢吉为门下侍郎、同平章事。
李恒喜欢与宦官在宫中打马球玩，一次受惊得中风，不能上朝。裴度从长远出发，请求李恒尽快下诏立皇太子。于是，李恒立长子李湛为太子。此后，李恒基本不能理事，朝中一片混乱。长庆三年（公元823年），在李逢吉与宦官的操作下，裴度再次被排挤，被任命为司空、山南西道节度使，不再兼同平章事。
5
裴度被挤出朝廷后的第二年正月，李恒驾崩，李湛继位，是为唐敬宗。李湛继位时不过是个十五六岁的娃娃，比父亲李湛更贪玩，朝政基本被宦官集团和李逢吉等把持。有一次，李湛打开父亲封存的一个装有秘密文书的箱子，见到裴度上书请立他为太子，有点感动。当时翰林学士韦处厚上书认为裴度的功勋冠盖全国，声望远播四夷，如果召回朝廷主政，国家兴旺就有希望。李湛把韦处厚找来，拿起裴度的奏折问道，裴公署名怎么没有同平章事的官衔（可见这个孩子真是糊涂透顶）？韦处厚耐着性子把李逢吉等人如何排挤裴度的前因后果作了详细的汇报。李湛说：怎么到了这种地步！在百官的要求下，李湛决定恢复裴度同平章事的职务。
唐敬宗宝历二年（公元826年）正月，裴度受诏回长安就职，李逢吉和他的党羽千方百计地诋毁裴度。当时民间有民谣说：“绯衣小儿坦其腹，天上有口被驱逐。”绯衣，合起来是一个“裴”字；天上有口，合起来是一个“吴”字，意思是说裴度当年指挥官军擒获吴元济，他的才能应当得到朝廷重用。民谣是民心的反映，可见在当时朝野纷乱的情况下，老百姓多么希望一位贤相主持政务。
裴度刚回京城时，百官纷纷前往看望，以至门满为患。二月，李湛任命裴度为司空、同平章事。这一年，裴度已经六十二岁了，但他深感时不我待，为政更加勤勉，办事更加机敏，讲求实效而不注重形式。以下三个故事可以说明。
一次，裴度在中书门下办公时，左右官吏忽然报告说：中书门下的大印丢失了！当时在场听到这个消息的官吏无不大惊失色，裴度却仍然饮酒，神态自如。不久，左右官吏又报告说：大印在原来的地方找到来了，裴度似未听见，闭口不应。有人问他是什么缘故，裴度说，大印丢失，肯定是官吏偷走，拿去私自印制文书。如果急于追查，他们就会畏罪把印烧毁，或者扔到池水里；相反，不动声色的话，则必然把印又放回原处。
李湛一直想到东都洛阳去巡行，宰相和百官都劝阻他，李湛一概不听，决心要去。裴度知道死谏根本没用，于是漫不经心地对李淇说：国家设置东、西两都，本来就是为了皇上能够巡行。但是，自从安史之乱以来，这件事实际上已经废除。现在，洛阳的宫阙、禁军的营垒和朝廷的各部门办公的用房都已荒废。陛下如果一定要去巡行，应当首先命令有关部门花时间慢慢修补再去。李湛高兴地说：他们都众口一词劝朕不该去洛阳，按裴公的说法倒是可以缓一缓。后来，李湛又喜欢上了别的事，就没有再动此念。
幽州节度使朱克融认为朝廷所给的春衣质地粗劣，把前去办差的宦官扣留了，要求朝廷补给绢帛三十万匹。这明显是赤裸裸地要挟，年少的李湛不知怎么处置才好。裴度认为，不要答应他的要求，也不要派人前去安抚，更不要索还宦官，等过一段时间后再下诏，称：宦官办事不力，待回京后要严肃处理；已经命令有关部门核查春衣不合格的原因。至于幽州将士的春衣按制不应该由朝廷提供，只是出于爱护你们才单独赏赐，朝廷怎么可以再赏赐幽州几十万匹绢而不给其他的藩镇呢。李湛听后很高兴，但担心朱克融不干。裴度说，这道诏书清楚地指出了朱克融无理取闹，他如果再闹就会引起公愤，征讨他就有理由了。于是李湛依计而行。朱克融接诏后只得放了宦官。
6
但李湛太过追求玩乐，裴度苦谏不听。宝历二年（公元826年）十二月初八，李湛疯玩后回宫，与宦官刘克明、击球将军（打球也能当将军）苏佐明等豪饮，结果被刘、苏等人暗害而死，年仅十八岁。刘、苏等人对外称皇帝暴病而亡，伪造诏令想立唐宪宗李纯第六子李悟为帝。裴度等人得知，非常震惊，立即采取行动，但因为执掌禁军的是宦官，只得依靠宦官王守澄、梁守谦等，指挥神策军入宫杀死刘克明等二十八个害死李湛的乱臣，迎接李湛的二弟李昂入宫。
李昂继位，是为唐文宗，命裴度主持李湛的治丧事宜。李昂时年十八岁，深知穆宗、敬宗两朝的弊政，即位以后励精求治，问计于裴度。裴度认为，历来君主莫不是为骄奢淫逸所害，必须厉行节俭。于是李昂下诏：凡宫女未担任后宫职务者全部放出，共放三千多人；五坊使所养的鹰和猎狗，按照元和年间的规定，除保留少数用于游猎外，其余一律放出；度支、盐铁、户部和州府每年供应宫中的日常用品，一律按照贞元年间唐德宗规定的数额供给，不得增加；裁减教坊、翰林院和宫苑总监所辖多余人员一千二百多人；停止唐敬宗对内诸司所辖宦官增加的衣粮待遇；皇家养马坊场和近年来为皇帝另外积存的钱谷所占用的水田，一律归还当地州县收管。李湛在世时，每月上朝不过一两次，李昂开始恢复过去的制度，每逢单日都去上朝，向宰相和群臣百官访询朝政大事，很晚才罢朝。过去，朝廷虽然设置了待制官，但未曾召集咨询，这时才多次被李昂召集顾问。另外，凡是对大臣去世表示哀悼等原因而辍朝，以及因酷暑或雨雪天气而放朝，也都尽量安排在双日，以便不影响单日上朝商议朝政大事。于是，朝廷内外都一致相互庆贺，认为天下太平大有希望。
裴度扶持李昂坐稳帝位后，推荐兵部侍郎李德裕代替他为宰相，以年老请求退休。唐文宗大和元年（公元827年）六月，李昂批准裴度所请，效法当年太宗对李靖的待遇，任命裴度为司徒、平章军国重事，可以三五天到中书门下办公一次。九月，李昂又任命裴度兼任侍中，领山南东道节度使。
于是裴度淡出政治舞台，后又以东都留守在洛阳过了八年的清静日子，与白居易、刘禹锡等研究作文，在诗文上颇有建树，《全唐文》收录了他的文章二卷。
大和九年（公元835年），李昂任命东都留守、司徒兼侍中裴度为中书令，其他职务仍旧不变。不过，裴度仍然只在洛阳，不想再参与朝中是非。李昂表示理解，后来又让他实领河东节度使。裴度在任上妥善处理与周边国家的关系，受到外藩的尊重和百姓的爱戴。
开成三年（公元838年）十二月，李昂感到离不开裴度，于是力排众议，下诏命裴度入朝参与朝政决策。然而李昂醒悟得太晚了，此时裴度已经年老力衰。开成四年正月，裴度抵达京城，由于身体疾病而回到家中，未能拜见李昂，李昂接连派遣使者到他家中慰劳赏赐。三月，裴度去世，享年七十五岁，谥号“文忠”。李昂奇怪裴度没留下给朝廷的遗表，派人问他的家属，找到一份没有写完的手稿，手稿中只说自己为陛下没有立太子而担忧，而不提及自己个人的要求。李昂深悔这些年没有重用裴度，于是追赠太傅，废朝祭奠。
7
裴度的身材和相貌并未超过一般人，但威望却远达周边的夷蛮各族。夷蛮各族酋长见到唐朝的使者，常常问裴度的身体状况如何？是否还被朝廷重用？他和郭子仪一样德高望重，以自己的性命维系国家安危二十余年。裴度荐引过李德裕、李宗闵、韩愈等名士，重用过李光颜、李愬等名将，还保护过刘禹锡等，但从不荐引无才无德的亲友为官。在朝官结为朋党、相互援济的情况下，他不拉帮结派，反对权奸，坚持唯才是举，以极高的德行辅佐了四代皇帝。韩愈、柳宗元、白居易、刘禹锡等都曾撰写诗文颂扬他的功德。在他之后，再没有出现过这样的中兴之臣，唐朝最终走向了灭亡。
