张良最终看破红尘，但他选择的是淡出政坛，他不想因自己不合常规的价值取向而让天子猜疑和难堪。张良后期大部分时间里以身体有病作为托辞，闭门不出，他希望人们渐渐忘掉他这个“帝师”，无须再谈起他这个老朽。我们熟悉的汉初刘邦剪灭异性王，是极其艰难复杂又十分残酷血腥的，但已看不到张良的影子。
渐渐地在人们的视线里似乎可有可无了，张良才把晚年的志向公之于众，——当然这时候高祖刘邦也先他而入土。张良郑重地对外宣布：“家世相韩，及韩灭，不爱万金之资，为韩报雠强秦，天下振动。今以三寸舌为帝者师，封万户，位列侯，此布衣之极，于良足矣。愿弃人间事，欲从赤松子游耳。”张良回顾自己生平，自觉富贵已极，他要抛弃人间的一切俗世烦恼，跟着赤松子去做神仙了。
张良开始修道，“乃学辟谷，道引轻身。”他学着不吃五谷，练习平地飞升。一个人没有非凡的意志力，既不能舍弃到手的高官厚禄，更难做到绝食五谷、清心寡欲、潜心修炼。据说吕后看不下去老军师皮包骨头地自我折磨，前来苦劝张良进食。——能让恶人为之动容，这是一个身具巨大道德感召力的人才能办到的事。
过了八年寻仙问道的清平岁月，张良仙逝。
安葬这位“汉庭第一名臣”的时候，人们把当年下邳桥头送他《太公兵法》的老人化石——张良一直带在身边的黄石——一同入殓。只是让我们无比称奇的是，张良究竟葬于何处，至今仍是千古谜团，众说纷纭。
司马光这样评价张良：“夫生之有死，譬犹夜旦之必然；自古及今，固未尝有超然而独存者也，以子房之明辨达理，足以知神仙之为虚诡矣；然其欲从赤松子游者，其智可知，夫功名之际，人臣之所难处，加高帝所称者，三杰而已，淮阳诛夷，萧何系狱，非以履盛满而不止耶！故子房托于神仙，遗弃人间，等功名于物外，置荣利而不顾，所谓明哲保身者，子房有焉。”
司马光主观武断地把张良归之于一般常见的明哲保身之列，显然是不恰当的，而且大大有损于张良超凡脱俗的形象。张良无所保，他是真正地超然物外，洞穿世事，无欲无求；他后来也确实“羽化成仙”了，道家至今将其奉为祖师之一，绝非空穴来风，他辟谷隐修的子房洞，后人为之建祠，至今香火缭绕。
太史公说他“以为其人计魁梧奇伟，至见其图，状貌如妇人好女。”司马迁凭着张良所创造的辉煌功绩，想象张良一定是一个高大威猛的男人，等见到张良的画像，才发现他像个柔弱姣好的女子。——真的大丈夫，是精神的高大而非容貌身材的“粗枝大叶”。 正像苏轼所讲的：“古人所谓豪杰之士者，匹夫见辱，拔剑而起，挺身而斗，此不足为勇也。天下有大勇者，卒然临之而不惊。无故加之而不怒；此其所挟持者甚大，而其志甚远也。” 好动枪弄棒的不是真英雄，处惊不乱、四两拨千斤的，才是名副其实的大智大勇。这就是张良。
