公元656年正月初七，李治做出了一个出人意料的举动：改元。改元就是更改年号，李治下令，正月初七之前为永徽七年，正月初七之后为显庆元年，从此永徽成为过去，显庆已经来临。长孙无忌在听到改元的诏令之后，心头一懔，他知道这是皇帝改弦易辙的开始，他的好日子到头了。长孙无忌为什么会这么想呢？这还得从“永徽“这个年号说起。“永徽“这个年号是在贞观二十三年之后起用的，“永徽“的“永“是永远的意思，“永徽“的“徽“是标志、旗帜的意思，“永“、“徽“组合到一起，其实就是继承、延续、发扬，说白了，就是继续贞观年间的事业，坚持贞观年间的道路。因此，在中国历史上，永徽年间的统治也被视为“贞观之治“的延续。现在，年号改了，长孙无忌从中嗅出了不同的味道，看来，自己已经过时了。从李治改元之后，长孙无忌便将自己的精力转移到监修国史之上，他知道李治与武则天的双剑合璧已经不可阻挡，他这个舅舅还是知趣点，远远地走开吧。在贞观一朝以及永徽年间红了三十年的长孙无忌不会想到，他的刻意远离并没有帮他躲开祸端，相反，针对他的祸端正在慢慢酝酿。武则天的追讨开始了，她要清算那些曾经反对立后的人。
清算从褚遂良开始，然后由褚遂良波及到其他人。其实褚遂良在两次激烈冒犯李治后就遭到了打击，从中书令一下子被贬为潭州都督，中书令是正三品的京城高官，而潭州都督则是总部位于今天湖南长沙的地方官而已。对于褚遂良的打击还远远没有结束，不久他又被从潭州赶到了桂州，桂州即今天的广西桂林市。贬到桂州还不是结束，而是开始。显庆二年，褚遂良的桂州都督身份被许敬宗和李义甫解释为另外一种意思：侍中韩瑗和中书令来济联合褚遂良意图政变，褚遂良所在的桂州是军事重地，可以用做韩瑗和来济的外援。欲加之罪，何患无辞。在“意图谋反“的罪名下，侍中韩瑗被贬为振州州长，中书令来济被贬为台州州长，终身不准到长安朝见。
振州即今天的海南三亚，但在那个年代却没有今天的海景房，有的只是一地蛮荒；台州即今天的浙江临海，那时同样是欠发达地区。不幸的人总是相似的，与韩瑗和来济一样，褚遂良和柳奭也被贬了。褚遂良由桂州都督被贬为爱州都督，柳奭由荣州州长被贬为象州州长，两人的被贬都是折腾死人不偿命。褚遂良的爱州在今天越南的清化市，柳奭的象州在广西象州县，一个从广西前往越南，一个从四川前往广西，在交通基本靠走的年代，可以想象路途上的艰辛。褚遂良辗转从桂州到了爱州，从此长安已是千里之外。委屈的褚遂良给皇帝李治写了一封信，信中追忆了自己对李治的忠心：昔日李泰和李承乾争储时，臣不顾危险，归心陛下。当时岑文本和刘洎向先帝力荐李泰，又是臣挺身而出，竭力争取，这些都是陛下亲眼看到的。最后我和长孙无忌等四人一起拥立，先帝最终同意。
等到先帝驾崩时，臣和长孙无忌一起在病榻之前接受遗诏。陛下您当时突遭巨变，伤心不已，臣以“社稷为重“宽慰陛下，当时陛下手抱着我的脖子，痛哭不已。后来臣与长孙无忌一起处理国家大事，毫无纰漏，数日之内，内外平静。然而，臣毕竟力量太小，而责任太重，一举一动，都容易犯错。臣就像一只蚂蚁，剩下的生命是有限的，恳请陛下可怜！褚遂良这封信写的呕心沥血，既追述了自己的忠心，又向皇帝俯首乞怜，尤其是信的结尾写的声泪俱下，我见犹怜。褚遂良写信的目的很简单，就是想终老长安，然而就是这个小的不能再小的愿望也没能实现，接到信的李治居然视而不见，不做回应。一年后，褚遂良在爱州病逝，享年六十三岁，那个被李世民称为“小鸟依人“的托孤重臣就这样在远隔长安数千里的爱州离开了人世。在褚遂良生命的最后时刻，或许他是遗憾的，不过如果他地下有知，他应该感到欣慰，至少他可以带着自己的脑袋平静地入土为安。
