小德张出宫后，为了躲避原来大清的王爷、贝勒们的白眼甚至谩骂，移居天津，过着阔绰而清静的生活。大清国完了，可小德张没完。他在天津英租界41号路修了洋楼，娶了四个老婆。他过继他哥哥张月峰的儿子张彬如为继子。
做了三年大总管，他广有资产。在老家静海县唐官屯置地17顷，在北京南苑置地20顷，在天津英租界41号路修楼房12座，在北京永康胡同建筑了一所宏大的宅院，另外在北京前门外鲜鱼口和北沟沿开设了永庆、永存两座当铺，资金达十多万两，还在北京大栅栏开设了祥益绸缎店，资金二十多万两。
1964年小德张的法律顾问夏琴西曾撰文回忆小德张在天津的一些情况。夏和小德张交往近30年，他反映的情况基本可信。据夏文说：“小德张在天津居家如宫禁，平时很少外出，也从不喜欢与宾友往还，当时常到他家去的，只有张勋一人而已。”
小德张治家有方，家中除雇用管事、账房、门房、厨师、杂役、女仆之外，还有他从宫中带来的四五名小太监，专门给他烧烟、倒茶、摆饭、招待来宾等事。那时，举家上下，除他母亲外，都要称他老爷，他的家规很严，凡是男性一律不准进入内宅，客人来访，如不经他同意，更不能径直入内。小德张的日常生活很刻板：每日起床后，先由小太监给他烧好12口鸦片烟，分左、右侧卧各吸6口，吸毕下床熄灯，然后到院内散步，舞一趟太极剑，回来吃早点。将及9点时，他在客厅升坐，接见他的子孙以及管事、账房、佣人等。这时大家向他请安问好，他只用手帕托着一个康熙瓷蓝八封纹的盖碗，略一颔首表示还礼。小德张吃的饭菜极其平常，有时吃自己亲手做的素菜。
小德张晚年信奉道教，逢道家节日，他便戴上道冠，穿上道服，持宝剑，盘膝静坐，据说他信奉道教已有多年。早在宫中时，小德张每逢休假便到万寿山对面的宝珠寺去静修。后来小德张又想皈依佛教，要拜江南名僧印光法师为师，终因印光始终未能北来而作罢。
小德张在北京也有很多财产。如市内的祥义绸缎店、天成信义绸缎洋货店等，小德张还担任致中银行的常务董事。另有当铺两座，南苑有稻田50顷。这些财产，都是他在宫里当差时，各封疆大吏送给他的。
1957年4月19日，小德张去世，终年81岁，被土葬在天津城外三十多里的“义地”——北仓。
