全身而退归故里晤故人飞扬跋扈乱纲纪获恶名
张齐弹劾徐阶，手段毒辣，用心卑劣，引起群臣反击，连几位部院大人也按捺不住，加入了弹劾张齐的行列，一时间弹章竟达三十余。
隆庆帝下诏严斥张齐，并将张齐调出京城，以示严惩。但廷臣余怒未息，吏部尚书杨博上奏，议将张齐革职罢官。杨博的奏章举足轻重，张齐看来难逃厄运。
但是出人意料，反对的人居然是徐阶。徐阶想，自己苦心起草遗诏的目的之一，是在放宽言论，虽说张齐为人险诈，但因言获罪，岂不又是禁锢言论？便力主从轻处罚，而群臣固执己见。见朝政乱象已现，这也是徐阶决意急流勇退的原因之一。
见朝中大臣一面倒，纷起支持徐阶，隆庆皇帝也感到吃惊。徐阶威信如此之高，自己这皇帝怎么当？便于隆庆二年（公元1568年）七月二十一日，允准徐阶辞官。隆庆准辞，满朝震惊，纷纷上本挽留，已然无济于事。请辞获准的徐阶向隆庆辞行，隆庆帝当殿面赐白金钞币，敕命“驰驿”，派官差由陆路经驿站护送回乡。
少师回乡，飞越关山，一路颠簸四十余天，于九月初四到达松江。“近乡情更怯”，不知家乡现况如何？旧雨皆健在否？常言道人去茶凉，今儿自己辞官，已然一介草民，不知家乡父老对己持何看法。一路上徐阶思绪万千。
驿车在松郡西门外一处停下，徐阶掀帘问故，原来已到松江府接官亭。驿车护送至此，便可回程了。徐阶掀帘下车，意外地发现接官亭下，已是黑压压人头一片，知府衷贞吉以下都在恭候，外圈围着的是父老乡亲。扶下张氏，徐阶快步走上亭去，衷贞吉等人在亭下排开，一齐躬身道：“下官恭迎少师荣归！”见此光景，徐阶知道，本想悄然回家的愿望落空了。他一手搀扶着张氏，一手拉着衷知府的手说：“你是我们家乡的父母官，何必兴师动众？”衷贞吉笑曰：“少师有所不知，得知少师荣归，不仅当地父老，即是卑职下属，也皆思一睹风采，并非下官刻意安排。”徐阶闻言，转身对接官亭下众乡亲躬了一躬说：“徐阶何德何能，敢劳众位乡亲？皆请回吧。”亭下众人这才看清，本乡这位官居极品、名闻天下的首辅，葛衣幅巾，脸方须白，竟是一六十开外的老者。只是举手投足，与众不同。
民众散去不少，衷知府一行指挥衙役把徐阶的行李从驿车上卸下，搬上预先备好的车辆，一箱又一箱。众人讶异，这箱中恐怕都是……正讶异间，只听得哗啦一声，其中一个箱子落地，箱盖自开，书册散落一地。那衙役吓得面如土色。徐阶赶紧上前，弯下身子，把书册一本本捡起，拍了拍，放好。徐阶对那衙役说：“不妨，不妨，请搬那车上可也。”衷贞吉打趣道：“少师可谓‘夫子搬家——尽是书’也。”
紧接着，衷知府把徐阶请上马背，又让徐夫人上了小轿，众官员策马东行将徐阶送往济农仓左近的徐阶府第。为让徐阶看看家乡的变化，还特意绕了些道。
一路行来，徐阶首先看到的是接官亭左近的元辅坊、柱国坊，不消说偌大两个牌楼，是对自己的表彰。众人策马走过府前大街，只见店铺林立，店招飘扬。经谷阳门外吊桥东，又见牌坊耸立，正欲动问，与徐阶并辔而行的衷贞吉已抢先说：“此乃大学士坊，乃纪念少师晋升大学士时所建。”
折向南行就是南禅寺，徐阶眼睛一亮，这一带的府宅，堪称宏丽。除了自己的府邸之外，又迤逦耸起五群楼阁，紧挨自己府邸的，是三弟徐陟的三处宅院，太平桥一带，是略逊楼院的一排排精舍。细问之下，这精舍是长子、次子、三子府上的总管所建。在南禅寺前，是次子徐琨、三子徐瑛的宅院。可谓琼楼玉宇，屋脊比鳞。看到这些景象，徐阶心头掠过一丝不安，太盛了。自古盛极必衰，倒该提防。
知府衷贞吉一行，将徐阶夫妇直送至松江人称的元辅第，早于父亲归家的长子徐璠率兄弟子侄在府门恭迎。徐阶又见黑压压一片人头，这才感到，四十多年来，自己家族枝繁叶茂，壮大起来了。送别衷贞吉一行，徐阶走进府门，来到中堂，子孙们又跪了一地，拜见徐阶。这些子孙，分成三个纵队，中间一队，是东分中厅长房徐璠的子媳，已有十一房孙子，皆已成婚；左边一纵队，系东分东厅次子徐琨的子媳，孙子辈五房；右边一纵队，是东分西厅三子徐瑛的子媳，孙子辈已有三房。四十多年来，自己一脉，包括重孙女眷竟有百把来人，儿孙满堂，家大业大。加上各房僮仆、女佣，竟有百余众，已然松江泱泱大族。
徐阶与子孙见毕，吩咐各回本宅，便坐下品茗。刚喝上几口，忽报皇命已达，不得不起身迎旨。这圣旨由衷贞吉恭捧宣读，圣旨称徐阶在艰难时刻担任首辅，“独运钧衡，屏斥庸吏，惩罚贪墨，宣扬先帝遗命，实现四海更新，辅佐朕躬（隆庆帝自称）”，称徐阶“十八年辅相之力”，对徐阶的致仕，深感惋惜。同时又赐徐阶玉玺，以示褒奖。捧过圣旨，徐阶百感交集，涕泪俱下，当即留下衷贞吉小酌。
当晚，徐阶吩咐徐琨，安排第三天祭拜祖父母、父母之墓，命徐琨将褒奖圣旨镌刻在石碑上备用。拜祭祖父母墓时，就把所刻碑石植于祖父母墓前，以告慰祖父母在天之灵。
接着，徐阶又广邀亲友，大摆宴席，以示答谢。比徐阶早几年致仕回乡的顾中立、王白谷、沈凤峰、李海楼聚集一堂，小知也、四空则另摆一桌。谈及当年县学里聂、郑两县令的妙对，徐阶诽谤前贤的往事，都有恍若隔世之感。座中王白谷提及郑洛书，说他在上海知县任上，栽培了一位十分贫穷的曹姓秀才，后郑致仕回到福建去世，因家乡遭倭寇洗劫，妻儿一贫如洗，这位姓曹的秀才知后，卖田携金赶到福建，救助恩师遗孀及后人。众人听了，不免唏嘘，世事变幻，真如同苍狗白云。沈凤峰说：“弟先一步归乡，少湖兄急流勇退，也是一件美事。弟二十年误落尘网，奔走折腰，岂知家乡四时胜景？那苍松白鹤，还好像在责怪我归来太晚了呢。”众人听罢，哈哈大笑。
回故园，晤故人，徐阶心情十分愉快。散席以后，还有几位亲友在喝茶消酒，徐阶乘酒兴，再去亲友席小坐，而仆人们则已在收拾碗筷。突然，一仆叫道：“怎么金杯少了一个？”徐阶一愣过后，立即说：“那杯子肯定在，不必找了。”此时几位亲友站起告别，其中一位喝得酩酊大醉，歪歪斜斜走着，不慎帽子跌落，从那滚动的帽中，竟滚出一金杯。徐阶见了，赶快背过身去，佯装未见，立即唤来一仆，吩咐：“赶紧去把帽子捡起，仍把酒杯放置帽中，替他戴上。”帮助族中这位亲友把事情掩饰了过去。
无官一身轻。徐阶或在世经堂读书，或含饴弄孙，日子过得飞快。一天，仆人递上一柬，原来是佘山新建慧日寺落成开光，邀请徐阶共襄盛举。徐阶便命夫人张氏，找出当年先帝御赐蟒袍，赶往慧日寺。开光仪式过后，将那蟒袍付于当家和尚圆宝。圆宝一见大喜，便说：“帝家蟒袍镇寺，敝寺增辉多矣！但少师赠袍，岂可无诗？”
徐阶笑对圆宝说：“赠袍何需有诗？”圆宝道：“少师有所不知，帝家之袍，配阁老之诗，可为敝寺留一段佳话。”徐阶拗不过，便展笺挥毫写道：“单衣露冷宿昙华，误绾宫袍傍帝家。拈向山门君莫笑，细看还是旧袈裟。”蟒袍与诗，自此就成慧日寺镇寺之宝，日后很长一段时间，供人瞻仰。
谁知归乡几天之后，徐阶感到身体不适，尤其是肩头、臂膀。请医疗治，那医家说：“少师在京日久，已习惯京师干燥气候，今归故里，我松江地气湿润，少师此症，乃系水土不调所至，恐怕得有一段时间才能适应。”
归家月余，徐阶也风闻了一些家仆骄横、子女纵容、横行乡里的事，东分东厅的管家徐成甚至连致仕的御史也敢谩骂，并被那御史诳去府中打了二十大板。查究下来，徐成得罪的竟是徐宗鲁。
徐宗鲁，号南湖，是嘉靖八年（公元1529年）的进士，官拜御史，正直敢言，因弹劾严嵩而获罪归乡。
徐阶请南湖到府一叙，想了解个究竟。谁知南湖不领情，推托身体欠佳拒绝了。
想了许久，徐阶只得自己前往拜访。
名刺递上，徐宗鲁恰好在家，躲避不过，只得出门迎接。
“宗鲁老弟，朝廷一别，倏忽多年，今某致仕，特来告访。”
“少师大驾光临，有请，有请。”
两人坐定，对望了许久。徐宗鲁因是家居，未曾戴冠，头发稀疏雪白。徐阶呢，扯下头巾，也是一头白发，二人不免大笑。徐阶说：“南湖兄人称野徐，闲云野鹤，悠闲自乐，怎么头发也全白了？”徐宗鲁笑说：“少湖兄不也一样？可见古人‘世上公平最白发，贵人头上不曾饶’说得不错！”“什么贵人不贵人，南湖兄胡说些什么。”“少湖有所不知，你在朝中位极人臣，我退居山野，这‘野徐’称号，就由此而得，少湖兄不就是朝中‘贵徐’么？”
品茶闲聊之时，徐阶说：“闻说家奴骄横，多有得罪之处，某今日前来，一则致歉，二则想了解个究竟。”
徐宗鲁说：“这些陈谷子烂芝麻的事不提也罢。”
徐阶说：“使不得，使不得。南湖老弟大人大量，说说何妨？”徐宗鲁脸上一红：“大量倒是没有，你那悍仆，早被我教训过了。”被逼不过，徐南湖只得讲起了当年的故事。“五年之前，弟坐船赴嘉兴，船经府西秀州塘，迎面突来一船。”说到这里，南湖停了一下说，“秀州塘上九座石桥，不就是少湖兄所建的么，两舟相遇在斜塘桥下。只听得对船上一人喝道：呔！你们眼瞎了么？还不让道！’弟船上的仆人自然‘不让，起了冲突。兄家之仆名唤徐成，口出恶言。弟船仆人告知：‘那厮不得无礼，前御史在此！’不料遭来一顿羞辱，徐成不仅大言称：‘前御史算什么鸟！今御史也不怕，我家老爷还是当朝阁老呢！’说完，即命船夫用篙齐撑，将弟所乘之船，撑得横在桥下……”
徐阶边听边恼，大叫：“如此强横，气死我也。”那徐南湖倒不恼，说：“弟当下不便斥责，后从嘉兴回来，命人诳徐成来府，捉住打了二十大板，代兄教训过了。”
一天，徐阶去湖边垂钓，遇一钓翁，晤谈之间，知其名陈所恒，此人不知所遇即是徐阶，眼看波光粼粼的河面，聊起徐阁老致仕之事。陈所恒说：“看来徐阁老此人对家乡还是不错，做了些善事。不过……”“不过什么？”徐阶提了提钓竿问。“不过他家几个管家，骄横得可以，迟早会坏了徐家名声。”“这话如何说？”“一个叫徐成，一个叫徐远，欺压百姓是常事，可惜徐阁老的两位公子，大小也算是个官员，对百姓诉告不理不问，如此宠着，恐怕这两人有恃无恐，会酿出大事。”那半天，徐阶一条鱼儿也没钓成，倒是生了一肚皮的闷气。
“更出奇的是徐阁老的姐丈叶鲈江。”钓翁告诉徐阶说，“徐阁老的姐丈倒是条汉子……”徐阶问：“怎么说？”“徐府悍仆横行乡里，老二、老三还不相信。一天，叶鲈江大步流星走进徐府，喊着老大的名字。徐家大公子听到是姑父的声音，忙着出来行礼敬茶。叶鲈江对老大说：‘你可知家中奴才在外横行，老二、老三庇护，难道你也庇护？’
见姑父怒气冲冲，老大说：‘家仆不守家训，事或有之……’话未说完，叶鲈江说：‘跟我还打官腔？说什么事或有之，应该说是事确有之，而且不少了！’徐家老大家训还是谨记的，不敢与姑父争。那叶鲈江越说越来气：‘你可知严嵩是怎么倒台的？还不是逆子东楼的牵连！’姑父把话说到这份上，徐家老大转身便走，那叶鲈江快步上前一把拉住老大的袖子：‘杀东楼的是谁？是恶仆！’”那钓翁说得有声有色，不由徐阶不信。
耷拉着脑袋，回到府中，放下钓具，徐阶径入世经堂坐下叹气，心想，自己一生信奉阳明心学，讲究的就是心性之学，修身养性，致知格物，没想到家中竟出了横行乡里的恶仆，而三个儿子似乎也不争气，怎能护短呢？岂不是越护捅的娄子越大么？
说起徐阶的三个儿子，原来都是朝廷命官。最能干的是老大徐璠，幼失母爱，由祖母顾太夫人抚养长大，而当时徐阶只是延平的推官，俸禄不多，家境寒素，所以徐璠自小就料理家事，处事能力很强，娶季氏为妻时，婚礼与贫家一样，甚为简朴。后官至太常寺正卿（正三品）。在京为官时，又组织家人做起了布匹生意。
当年这松江布可是个稀罕物，元末已小有名气，说“布，松江者佳”；到了大明，已然“衣被天下”，丁娘子细布、乌泥泾番布名播海外。精明的徐璠命家人招募织妇织布，又在松江收购布匹，运往京师销售，并在京师陆续开了近十家店铺，经营二十来年大获利市。徐府家业蒸蒸日上，自然不在话下。难道说徐璠富而骄了？
他命仆人唤徐璠。见父亲传呼，徐璠三步并作两步，来到了世经堂：“孩儿见过父亲，不知父亲有何吩咐。”徐阶沉默。见父亲脸色不好，徐璠垂手侍立在旁，静待父亲说话。
