唐代宗大历十四年五月，宫中传出皇帝龙驭宾天的消息。霎时，京城内外成为丧服的世界，百官和百姓都按照制度为大行皇帝服丧致哀。
在代宗皇帝的灵柩前，百官由宰相率领着，每天早晚各哭灵一次。按照礼仪，每次哭灵，群臣只要发了十五声哀音就算尽礼了。与众不同，常衮每次都哭得像泪人似的。只要往代宗灵柩前一站，常衮就不免想到代宗对他的知遇任用之恩，眼泪就潸然难止。恸哭之际，往往又想不到按礼致哀、适可而止的古训。有时，哭灵结束，百官都已退下，常衮又从半道折回灵前，哀哀恸哭不已。寒士出身的常衮本不善于在朝臣中拉帮结派，加上脾气刚烈急躁，办事顶真拘泥，已使他得罪不少人。任相后，他又死抱着非文辞登科者不用的教条办事，许多在仕途上延滞者也对他十分怨恨。代宗皇帝在世之日，对常衮十分信任，怨恨者敢怒不敢言，如今大树一倒，又见常衮在皇帝灵前的独特表现，不少人便对常衮更增加了几分愤恨之意。
那一日，常衮在大行皇帝灵前哭得格外伤心，几乎昏倒在灵前，一同哭丧的群僚，见此情景，都面面相觑，不知所措。倒是常衮的跟班反应较快，一步上前，将他扶起。就在此时，从百宫中飘出一声冷冰冰的诘问：“臣子哭丧于皇帝灵前，有让人搀扶这个礼仪吗？”常衮闻言，不由一怔，循声一看，发问者不是别人，正是自己的老对头——中书舍人崔祜甫。在皇帝灵前，常衮不好发作，只是狠狠盯了崔甫一眼，然后指示百官退下。
常、崔之间矛盾由来已久。杨绾病逝后，常衮独掌相位，而中书省长官一时缺人，便令崔甫暂领中书侍郎的职事，而常衮以同中书门下平章事的官衔得以总管中书省。中书省的大小事务，举凡文牍的处理，官员的任免，都得先请示常衮再决定。对此，崔甫颇为不满。时间一长，他对常衮的不满便演变为怨恨，三番五次向常衮挑衅争执。
中书舍人岑参因病经常不参加内廷值班，同僚对他有些看法，但又不敢告发。崔甫得知后便雄纠纠地来到政事堂挑战。
“岑舍人病假已久，宰相知道吗？”一见面，崔就大声责问。对崔甫的抱怨，常衮颇为宽容地答道：“岑舍人身体欠佳由来已久，众所周知，各位同僚难道不能海涵吗？”
闻此言，崔甫勃然作色道：“相公既知岑舍人抱病已久，就不该再授他中书舍人之职，岂能以素餐者掌邦国大事？”
对于崔的抢白，常衮一时找不出什么理由来反驳，只是默默不语，挥手让崔退下。但他心里却很不受用。后来终于找个理由，奏知皇上，让崔甫仅仅分管吏部选官的差事。而崔每次拟就的官员任免名单，常衮又多给予驳斥。为此，两人矛盾日益加剧。
大历十三年六月，陇右节度使朱溉上奏称贺：陇州将领赵贵家中所养的小猫与老鼠同食母猫之乳，众以为祥瑞，特上表称贺。皇帝闻此也很高兴。随即下令由中使把猫鼠送至京师，让百官观看。常衮等人见了这一奇特现象后，齐声称贺，山呼万岁，拜贺皇上。李豫见众官都拜贺不已，只有崔甫站立不拜，便命中官问其缘故。崔甫答道：“物反常必为妖，猫捕鼠乃天职，如今同食一乳，本是妖孽之事，有何喜可贺！臣认为该惩戒执法官员中疏于职守，不能察处奸邪及边将中玩忽职守者，以顺应天意。”崔甫的回话，李豫觉得很有道理，便嘉奖抚慰他一番。常衮见此，心里酸溜溜的，很不好受。
这次为代宗发丧，两人之间几成水火不容之势。崔甫灵前讥刺常衮，只是这场风波的开端，更激烈、更富于戏剧性的冲突还在后头。
本来，为大行皇帝服丧的礼仪已无可议之处，按老规矩办就是了。无奈李豫留有遗诏：“天下人吏，敕到后三日释服。”这就使问题复杂起来。是按老规矩办，还是照皇上的遗诏办，在大臣中产生了分歧。为此，新皇帝令常衮召集百官举行会议，讨论服丧天数的问题。常衮在会上首先发言：“按照《礼》的规定，为君王服丧应为三年，后来汉文帝作了变更，规定服丧期为三十六天；本朝太宗皇帝驾崩之时，曾有遗诏，规定服丧期也是三十六天，但群臣却没有照办，将服丧之期拖了四个月；高宗皇帝和武太后驾崩后，服丧期要短些，但也有三十六天；到了玄宗和肃宗去世，才将服丧期改为二十七天，尽管当时大行皇帝都有：‘天下人吏，三日释服’的遗诏，而群臣仍然服了二十七天的丧。所以，为代宗皇帝服丧也应该比照前代规矩，群臣服二十七天的丧。”常衮的一席话，有理有据，群臣莫不点头称是，只有崔甫不服气，固执地说道：“根据遗诏，并没有官员和百姓的区别，只是说，‘天下人吏，敕到后，三日释服’，朝廷内外，莫非王土，朝中百官谁不执掌吏职，所以此次百官为天子服丧应以三天为期。”
随后两人又对“吏”究竟是指官吏还是小吏，各陈己见。两人谁也说服不了谁。但火气却越争越大。常衮大声责问道：“礼并不是天生地长之物，只是君臣之间的感情，在座的高官巨卿，谁未蒙受过大行皇帝的宠爱？百官与百姓服丧期限当然不能一样，要是和百姓一样，三日后就除了丧服，你崔甫于心无愧吗？”
“那么遗诏呢？”崔甫也不甘示弱，厉声反诘说，“难道遗诏可以篡改吗？”
“你，你，蔑视老夫，轻议国典，崔甫，你等着瞧！”常衮再也忍不下这口闷气，一拂袖，撇下百官，独自冲回政事堂，立即起草贬谪崔甫的奏章。
黑纱低垂的大明宫内，烛光暗淡，一身素服的新皇帝——李适，皱着眉头在思考着除旧布新之策。坐在旁边的是皇弟韩王李迥，为了悼念父皇，李适特令御厨在当天的马齿苋中不要加盐和奶乳，兄弟两人好不容易才将这寡淡无味的清水菜汤和着一把把眼泪勉强吃下去，正要撤席，内监就呈上常衮请贬崔甫的奏章。
“常衮老儿，也太不晓事！”李适从奏章上抬起头来，面色不悦地对韩王说：“日前他与崔甫在父皇灵前争吵不休，举止哪像群僚之长——宰相。”李适生气地扬了扬手中的奏章：“现在又要以率情变礼、轻议国典为由，贬崔甫为潮州刺史，国丧期间，为区区小事，大动干戈，罢黜大臣，成何体统！”
“陛下，”韩王见状，连忙劝说道：“您如今正是为父皇守丧期间，不便为此等琐事而生气，宰相奏言，也不宜多驳，能否将崔甫改贬为河南少尹，他事则从长计议。”
“爱弟所言不差，只是常衮老儿的倔脾气，也要好好地杀一杀了。”李适一面说，一面审视着摊在御案上的奏章。只见奏章末尾署有常衮、郭子仪、朱三个名字，忽然心有所动，李适发下贬崔甫为河南少尹的诏书，一边传命郭子仪、朱入殿。
为何李适见了三人署名忽然心有所动呢？这还得从朝廷的一个规矩说起。
肃宗时，军国大事频繁，为此特设宰相多名，采取轮流值日制度，不当值的宰相便可归邸休息。遇有奏章诏书，若事非重大，当值宰相可代署轮休宰相名字，这是人人尽知的不成文的规矩。当时，郭子仪、朱虽以军功被授予宰相的头衔，但并不真正行使宰相之权，政事堂的一切事务均由常衮独揽。这次在请贬崔甫的奏章上，常衮按照老习惯，在自己的名字后，又分别代署上郭子仪、朱的名字。
话说郭子仪、朱来到大明宫，李适将贬崔甫为河南少尹之事告诉他们。两人察言观色，思忖片刻后都表示崔甫不应贬谪，李适故作惊讶地说：“几位上奏说崔甫率情变礼，妄议国典，现在二位爱卿又说不当贬谪，到底怎么回事？”二人忙解释开脱，说明自己不闻不知，为人所用。李适闻言道：“要不是二位爱卿告知，险些让常衮坏了大事，常衮欺君罔上，诬告大臣，该当何罪！”
第二天，百官奉皇帝之命全部排列在月华门外，各位大臣满腹狐疑，此时，一道富于戏剧色彩的诏书传达下来：崔甫与常衮互换职位，立贬常衮为河南少尹，立拜崔甫为门下侍郎，同平章事。这道诏书，如同平地一声炸雷，震住了在场的所有大臣，更把常衮炸得头昏眼花，不知所措，过了半天，常衮才清醒过来，哽咽地给皇上叩头谢恩，然后步履踉跄地归到私第。
正当常衮辞别家人，即将赴河南任上时，宫中又发下一道诏书把他改贬为潮州（今广东潮安县）刺史。万般无奈的常衮，此时已无话可说。次日便悄悄辞别了家人，仅带数名僮仆，神情萧然地离开了长安。
从京都长安前往南国蛮荒之地，路途遥遥，心情黯黯，自不待言。三十九年后，一代文宗韩愈也被贬来潮州，同样的身份、同样的贬所，又走在同一条谪官之路上，想必也有着不少相近的心境感受。韩愈曾有诗记其事：“一封朝奏九重天，夕贬潮州路八千，欲为圣明除弊事，肯将衰朽惜残年，云横秦岭家何在？雪拥蓝关马不前；知汝远来应有意，好收吾骨瘴江边”（《左迁至蓝关示侄孙湘》）。这诗句，同样可看做常衮南贬时的心灵写照。
但从常衮贬官后的行为来看，他似乎较韩愈更积极些。
建中元年（780年）八月，即常衮被贬往潮州三个月后，他的好友杨炎被德宗起用为宰相，“常杨”并称，政见相近，交情不浅，“居高声远”的杨炎自然不会忘记远在“瘴江”边的常衮，于是寻个机会奏请皇帝起用常衮为福建观察使。
观察使一职，是安史之乱后朝廷所设立的道一级的最高长官，以民政为主，兼理军事，此职相当于明清的巡抚。
唐玄宗时，今福建境内置有福、泉、建、汀、漳五州，二十三县，有九万多户，四十一万余人。福建一带，地处沿海鱼米之乡，号称富饶。但民风素朴，局于一隅，本地人往往安土重迁，不肯北上求官。中唐以前，文化上也较为落后。
常衮任观察使之前，福建人尚不大熟悉中原文化礼仪和科举之道。常衮到任后，立即放下前宰相的架子，以弘扬中原文化和科举之道为己任。他不顾水土不服和语言不通之难，奔波于八闽山水之间。他政教并行，为福建读书人创设了许多学校，印行了许多儒家书籍。常衮还亲自给读书人讲学上课，劝导当地士子跻身科举之道。他又把内地的科举考试方法、程序、礼仪介绍给当地人。经过常衮数年的辛勤努力，福建的民风乡俗起了很大变化。以读书为业的人多起来。士子们也逐渐精通科举之道。
常衮到福建前，福建人中进士的只有中宗神龙元年（706年）薛令之一人，其后百年间无一人中进士举。直到贞元八年，得常衮亲自授学的士子欧阳詹终于进士及第，一举打破福建科举史上的百年沉寂。此后，福建人中举之势一发不可收了，到了晚唐，科举盛行的福建，已完全和内地一样。
建中四年，常衮在福建任上去世，终年五十五岁。一代名宦就这样客死他乡。过了很多年，朝廷才想起这位已故的前宰相，追赠他左仆射封号。与此相反，福建的读书人却十分怀念常衮，他们在学宫里塑起常衮的像，使他每年春秋二季得与孔夫子一道享用香火祭品。
常衮长期担任翰林学士、中书舍人和宰相，他所撰写的制诰一类的应用文，文辞华瞻，名重一时。他有文集六十卷，现大都收在《全唐文》中。
