本来褚太后要封赏谢万的，但是，桓温谏道：“北伐军几乎全军覆没，而谢万却能全身而退，这说明谢万肯定和敌人勾结，应当立即把他处斩。”
褚太后知道桓温的心思，说道：“好了，你回去吧，这件事情我先想想。”
桓温走后，顾恺之忙说道：“桓温这是血口喷人，谢万忠心耿耿，不可能被判朝廷的，请皇上和太后明鉴。”
褚太后说道：“这个我岂能不知，只是我一个妇道人家管理朝政本来就被人家说三道四，大臣的话岂能不听？好了，我累了，你也下去吧。”
由于谢氏在执行公务中多次得罪了桓温，桓温早就想置谢氏与死地，正好趁这个机会，桓温收买了很多大臣，让大家劝谏杀掉谢万，只有顾恺之冒死为谢万求情。
褚太后在大家的建议下只好把谢万废黜了，谢氏面临着衰落的危险。
桓温十分恼怒顾恺之，谢万废黜后朝廷上敢和自己作对的只有顾恺之了。于是，桓温打算派杀手进入顾恺之家，将他们斩草除根。
不久，桓温派去的杀手进入顾恺之家，将顾恺之全家全部杀死，只有一个管家带着重伤带着一个刚出生的婴儿顾才逃了出去。管家将顾才交给谢安之后，便断气了。
谢安将顾才收下抚养，和秦朗一起让独孤清教他们习武练剑。
为了让谢家不至于衰落，为了自己的才华能够得以发挥，为了让国家能够安定，为了遏制桓温的势力，谢安决定出来做官。
谢安利用谢氏家族的关系，谋了一个小官，之后凭借自己的才华，接连被朝廷提升，官越做越大。
