乾隆四十七年(1782年)十一月，刘墉奉旨在上书房总师傅上行走，以后刘墉长期兼任此职，即使在乾隆五十四年(1789年)三月发生诸师傅旷工七日事件、刘墉受到严重处分之时，他仍被留在总师傅任上，成为他一生兼职时间最长的一个职务。
上书房亦称尚书房，为清代皇子读书处。清朝家法相承，极重皇子教育。
历代皇帝无不慎选天下英才，以教辅元良，即皇太子。清朝则因秘密立储之制，皇太子从诸皇子中密定，因此，皇子、皇孙年满六岁一律入上书房读书，皇帝亲自挑选学识一流的京堂、翰林为师傅，分别教授经史策问、诗赋古文，又指派大学士、尚书等几位重臣为总师傅，稽察督饬，同时，还简选满洲、蒙古大臣和侍卫等教授“国语”(满语)骑射。
雍正以前，上书房地点并不固定，雍正以后始定于乾清门左侧，俗称“三天”，固有“前天垂贶”、“中天景运”、“后天不老”三室故。由于皇帝每年都有三分之二时间不住宫内，皇子们也要随驾前往，故畅春园韵松轩、圆明园勤政殿东侧等处也设上书房，都与皇帝日常办公之处近在咫尺。这样的安排为的是皇帝可以随时亲临检查。
乾隆二十二年(1757年)以后，为了加强对上书房的管理，又于授读师傅之上增设管理督课之总师傅，例由皇帝以大学士、尚书等大员内选取品学兼优、德高望重者担任，或只设一人，或同时设二三人。他们多是兼职，故不像其他师傅们那样亲自授课，有事则至，但每月必须至书房数次，检查教学情况，正月开学之际或有新师傅入值必须到场。
不仅如此，皇帝也时常亲自入房过问授课情况和效果，稽查师傅、皇子的出勤情况。清代将上书房设在皇帝御政殿堂附近，目的也无非是便于亲自监督。乾隆就曾有《每御乾清官辄闻尚书房诸皇子诵读声欣然会心兼忆旧况》，表达了他对皇子学习的关心和期望：
占毕达璇除，居稽切讲庐。
为声何朗朗，毓得想鱼鱼。
乐志四时敏，研经值岁余。
明窗情旭暖，忽忆十年初。
由于入值上书房责任重大，又和诸皇子有特殊的师生关系，故任这一职务者往往能受到皇帝宠信和优待。雍正年间内阁大学士兼户部尚书徐元梦，保和殿大学士兼吏部尚书、军机大臣张延玉，都是教授三朝皇子的师傅出身；乾隆年问东阁大学士兼吏部尚书梁诗正，及刘墉的父亲、东阁大学士兼吏部尚书、军机大臣刘统勋，都曾在雍正乾隆两朝为师傅。他们之所以获得很多的恩荣，除了自身的因素外，曾多次入值上书房也是其中重要的因素。因此，刘墉能在乾隆四十七年(1782年)十一月，也就是他自地方调入中央后不足一年的时间，便以尚书身份和资深大学士三宝、嵇璜等出任上书房总师傅一职，可见乾隆对其品行的信任以及以后仕途发展的厚望。
按照上书房的作息时间，师傅必须坚持到申时(下午三四点)退值下班，而且离开时必须告知管门太监登记，以备查核。皇子们更要遵守时间，有事离开也必须征得师傅的同意。乾隆三十五年(1770年)五月，皇八子永璇因事从圆明园回城，既未告知乾隆，也未告诉师傅。乾隆知道后立予训斥，并令将谕旨抄录一通贴于上书房，使皇子等朝夕观省，知所劝戒。同年十二月初三日，皇四子永城借清晨参加祀神典礼为由不入书房学习。乾隆知道后说：
“祀神行礼，原在清晨，祀毕仍可照常进内。而四阿哥藉此为名，一整天不进书房，殊属非是。但较之夏间八阿哥自圆明园擅行入城者，甚过错稍轻，此次姑从宽免责，此后如再不知省改，一经查出，不能再为曲恕。其师傅、谙达等所管何事?令即行查参议处。”可见管理之严。
乾隆五十四年(1789年)二月三十日至三月六日，上书房诸师傅因连雨天未能入值。次日，乾隆检查内左门登记的师傅入值门单时发现了这件事，非常愤怒，立即召见皇十七子永磷、军机大臣和总师傅刘墉，询问是否因阿哥们不到书房而致诸师傅散去。结果，永磷说是阿哥等每日都到书房，而师傅们往往有不到者，曾经阿哥们面告其入值，而他们连日仍未进内等。因此乾隆当日下谕说：
皇子等年龄俱长，学问已成，或可无须按日督课。至皇孙、皇曾孙、皇玄孙等正在年幼勤学之时，岂可稍有间断?师傅等俱由朕特派之人，l刍应各矢勤慎，即或本衙门有应办之事，也应当以书房为重。况且各师傅内多系阁学、翰林，事务清简，并无不能兼顾者，何得旷职误功，懈弛如此。皇子为皇孙辈的父叔行辈，与师傅等又有主宾之谊，师傅等如此怠玩，不能训其子侄，皇子等自当正词劝谕，如劝之不听，也应奏闻于朕，却竟听任他们任意旷职，故诸皇子等也不能无责任。
至于书房所设总师傅，并不专门负责训课，其责专在稽查、管理，与总谙达之与众谙达等无异。师傅等有怠惰不到者，总师傅自应随时纠劾，方为尽职尽责。今该师傅等竟相率不到七日之久，无一人入书房，其过甚大。而总师傅却竟然置若罔闻，如此的话又任用你们作什么?此而不严加惩创，又如何能够以儆效尤?嵇璜年已衰迈，王杰兼军机处行走，情节还有可原谅之处，著从宽交部议处。刘墉、胡高望、谢墉、吉梦熊、茅元铭、钱菜、钱樾、严福、程昌期、秦承业、邵玉清、万承风，俱交部严加议处。至阿肃、达椿，身系满洲，而且现为内阁学士，毫无所事，其责任更大，均著革职，仍各责四十板，留在书房效力行走，以赎前罪而观后效。
三月八日，乾隆在将刘墉等人交部议处后，仍然感觉到义愤难平，专门就刘墉的责任及处罚下了一道上谕，上谕中说：
昨因尚书房等师傅，自二月三十曰至本月初六七日之久，无一人入书房，殊出情理之外，已降旨将总师傅嵇璜、王杰交部议处，刘墉与胡高望等交部严加议处。刘墉系大学士刘统勋之子，朕念及他父亲为朝廷宣力年久，特加恩擢用。他在府道任内，也颇觉勤勉敬业，及至出任学政，即不肯认真办事；后升授湖南巡抚，声名亦属平常。及内用尚书，其办理部务，更复一味模棱两可，朕尚曲赐优容，未加谴责。原以为他知道感激朕恩，知道惭愧，发奋努力，更加勤慎任事。而今阿哥师傅等不到书房至七日之久，刘墉身为总师傅，又非嵇璜年老、王杰兼军机处行走者比，却竟然置若罔闻。似此事事辜负圣恩，不能尽职，于国家则为不忠，于其父则为不孝，其过甚大，岂可再邀宽宥?而且他属方面大员，不必再等部议处理，刘墉现即降为侍郎衔，仍在总师傅上行走，不必再兼职南书房，以观其以后是否知道惭愧奋勉。
三月十四日，吏部复议对失职各师傅的处理意见，经乾隆核准，嵇璜、王杰降三级从宽留任；胡高望、吉梦熊、茅元铭、钱棨、钱樾、严福、程昌期、秦承业、邵玉清、万承风革职从宽留任。其中胡高望、吉梦熊系专司训课师傅，“其旷职误公非寻常玩误可比”，其处分以八年为期，“八年无过方准开复”。
这次事故，刘墉所受处分最重，协办大学士被取消，吏兵二部尚书衔转与彭元瑞和孙士毅，他不得不从头开始他的仕途登攀。这次变故，无疑是刘墉一生仕途中遭受的重大挫折。他由原来的协办大学士、吏部尚书一下子被贬到侍郎衔，并在同年六月的京察中获革职留任的处分(革职留任为无俸供职)，这使他从前奋斗的成果又化为乌有。更为令人痛苦的是，事件发生后，刘墉被剥夺了入值南书房的资格。他在此后近两年的时间里被排除在皇上近臣的圈子之外，成为文武百宫中普普通通的一员。也正因为这次事件，此后多次赏赐群臣刘墉均被排除在外，甚至于乾隆五十五年(1790年)三月二日赏赐山东在籍人员，也同样没有刘墉。直到同年八月乾隆八旬大庆，刘墉始获赐《春雏得饲图》、《重排石鼓文》和《泾清渭浊诗图》等品。这种阴影直到乾隆五十六年(1791年)始散去。
刘墉的这次磨难越加说明了封建社会“伴君如伴虎”的君臣关系。当然，这样的例子并不仅仅发生在刘墉身上。皇帝的喜怒哀乐往往是决定一个人宦海沉浮至关重要的因素。无独有偶，同样的一件事也发生在嘉庆十五年(1900年)七月五日。嘉庆在查阅内左门的登记门单时，得知师傅周系英、果齐斯欢、秦承业三人未到书房值班，立即传询诸阿哥及军机大臣其中的原因。原来是诸阿哥等都是按时入学，又是按规定午时二刻放的学，而且是久等师傅不到，不知什么原因。
次日，嘉庆令军机大臣传询周系英等，称说因澄怀园门外积雨水深，因而未能入值。嘉庆知道后下谕说：
儒臣入值尚书房，职司训课，责任极重，理应克勤克慎，无旷其职。昨日早间，宫门左近虽间有积水，各部院衙门仍照常奏事，召见时，大臣中年老者亦均未误班。尚书房翰林寓居澄怀园，距宫门咫尺，何至不能入值?明系他们怠惰偷安，有旷职守。从前乾隆年间，因尚书房师傅旷工，曾经皇考高宗纯皇帝降旨，将刘墉等分别严惩，并将阿肃、达椿加以责处。今周系英等藉端旷误，不可不加以惩治。
结果，周系英降一级调用，罚俸一年；果齐斯欢因系宗室，免责处，降为左庶子，罚俸一年，二人仍留尚书房行走。秦承业原系伴读绵傧、载铨师傅，责任较轻，罚俸一年，退出尚书房，免绵傧、载铨伴读；总师傅王懿修因年力已迈，加恩宽免议处，退出尚书房，改振董诰充任。
嘉庆帝在二十年后仍然记得刘墉被惩的事情，可见此事在当时影响之大。
当然，在嘉庆旧事重提，并又有一批官员重蹈刘墉的覆辙的时候，刘墉已经作古六年了。
刘墉在自己被罚之后并没有丧失斗志，自怨自艾。他和以前一样抱着自己的理想，做自己认为正确的事情。即使是人生中最困难的时候被流放也从未想过放弃自己。这也是他能为后世所敬佩的原因之一。人生的禅机，不再荣华富贵时，而在艰难困苦后。刘墉的表面糊涂，心如明镜让他对这般人生哲学有了清晰的认识。
