后来，军阀习气实在太过严重的董卓被当时看不惯他的正直的司徒王允，设计给杀死了（这一点读过《三国演义》的人应该都有印象）。王允召开了庆祝会，岂知“邕在司徒王允坐，殊不意言之而叹，有动于色”，也就是说该死的董卓死了，而此时的蔡邕却流露出了哀伤之意。于是本来高高兴兴的王允勃然大怒，对蔡邕严厉地批评道：“董卓国之大贼，几倾汉室。君为王臣，所宜同忿，而怀其私遇，以忘大节！今天诛有罪，而反相伤痛，岂不共为逆哉？”也就是说你蔡邕这是在向大家表明你是逆贼董卓的同谋啊，因私而废公，好吧，我王允就成全你，当即王允就命人把蔡邕关进了大牢（以董卓同谋）治罪。
蔡邕也许早就意识到了问题的严重性，“一身正气”的王允一定不会轻饶了他。他只是有一个未了的心愿——他编写汉史的心愿还没有完成，他就请求王允能够免他一死，哪怕毁容以及砍去双脚（仔细想想，蔡邕难道真的不可敬吗）。当时的很多士大夫、同僚也都站出来为蔡邕求情，其中太尉马日（经学家马融族孙）跑到王允那里说道：“伯喈旷世逸才，多识汉事，当续成后史，为一代大典。且忠孝素著，而所坐无名，诛之无乃失人望乎？”反正就是说蔡邕作为一代史家还能大有作为，不能就这么轻易杀死他。而王允这时候却更加显得义愤填膺了，他援引《史记》的作者司马迁的例子一口回绝了马日的请求：“昔（汉）武帝不杀司马迁，使作谤书，流于后世。方今国祚中衰，神器不固，不可令佞臣执笔在幼主左右。既无益圣德，复使吾党蒙其讪议。”司马迁对于汉武帝的批评在王允看来却成了毁谤，好像修史者都该死似的（王允可能也确实对于蔡邕缺乏信任）。马日知道多说已经无益，于是悻悻地就离开了王府，事后他和别人说到这件事时深深地感叹道：“王公其不长世乎？善人，国之纪也；制作，国之典也。灭纪废典，其能久乎！”就是说像王允这样杀掉有学问专长的人，轻视修史这样的国家根本要务，他的政治道路还会长远吗。不久历史的发展就兑现了马日的序言，王允果然很快就又被董卓的部将李傕杀死了。
就这样，蔡邕就被王允下令处死了。史载对于蔡邕之死，“缙绅诸儒莫不流涕”，很多倾慕蔡邕为人与才学的志同道合之士，都为蔡邕的死流下了悲伤、惋惜的眼泪。当时的大经学家北海人郑玄在听到蔡邕的死讯后慨叹道：“汉世之事，谁与正之！”也就是说，汉朝的史事，还有谁能出来编辑整理并加以澄清呢？更有甚者，兖州及陈留地区的人都画了蔡邕的像以此来纪念这位高名之士。后来，王允又突然表现出了对杀死蔡邕的悔意，可惜已经来不及了。不过更可惜的是，蔡邕死后得以流传下来的著作不是很多，而流传下来的往往价值也不是很高。
