自从南京保卫战失败以后，唐生智基本上在军委会担任闲职，加上住在重庆还要受到监视，他便干脆回到东安老家，倾力办学，培训人才。
唐氏素有重教家风。其祖父唐本有，本以放鸭为生，后来官至清军提督，因深感缺乏人才，便延师创办“驼峰书院”，培训族人子弟，泽被后世，成为美谈。唐生智之父唐承绪也非常重视和关心办学，并屡教其重教兴学。唐生智不忘家训，把此事常挂心间。早在1923年担任湘军第二旅旅长时，唐就在长沙局关祠办了一所“厚风学校”，被公推为董事兼校长。尔后，唐生智担任第四师师长兼湘南善后督办，移师甫定，即行办学。为教育军中子弟，他在衡阳濂溪祠创办“衡慈学校”，凡年满八岁者，均令入学。中级官佐子弟收学费，下级官佐子弟学费、伙食费一概免收，且统一发给校服。唐生智亲兼该校董事长，日常事务由毕业于日本高师之宋德蕃主持。该校一时名噪湘南。
唐生智不仅重视文化教育，而且提倡并大力发展军事教育、技艺教育。驻扎衡阳时，他在第四师中开设军官讲习所，除轮训连长、排长外，还吸收部分青年学生参加，训练一年以后充作部队基干。为了使士兵及家属掌握一门手艺，他还创办了军人工艺班。1926年北伐军进入长沙后，唐生智又立即创办中央军事政治学校第三分校，亲兼校长，直接领导，培养军队政治工作人员，要求学员毕业后到军队工作，以便加快对旧军队的改造。唐生智几次反蒋失败后，因联合抗日的需要，又到了南京，兼任中央陆军军官学校校务委员会委员，而蒋介石则亲自兼任校长。
唐生智不仅亲自办学，而且也竭力支持家乡的教育事业。他很重视小学基础教育，曾给应南、应北等小学捐献图书资料、动植物标本、地球仪和各种挂图。他还让弟媳在家乡以家塾方式办学，教育唐家子弟。
抗战开始后，唐生智更感人才匮乏，便鼎力支持办学，培训人才。1938年春，为兴建芦洪司唐氏族学，唐姓父老共捐大洋二万一千余元，其中，唐生智、唐生毅、唐生明兄弟三人就捐献一万八千多元。该族学在唐生智的主持下，于次年春开学，共招收赤贫子弟六十余人，分两班教学，学制三年，请来著名的木匠、篾匠、裁缝给学生传授技艺，书籍、衣服、膳食、住宿都由学校提供。唐生智兄弟慷慨捐学，“嘉惠族中贫户”，受到交口称赞。
然而，族学规模毕竟有限，仍有很多人无法上学。唐承绪在病中仍恋恋不忘创办一所像样的学校，方便乡里子弟读书。唐生智本来就热心办学，加上有父亲的嘱托，便打算创办一所规模较大的书院。他在与身边的师友顾伯叙等人商妥之后，开始了书院的筹建工作。
