1938年初，长沙不时遭到日军空袭，为防不测，唐生智在长沙市郊五里牌附近的茅草房里，与顾伯叙、李君尧等规划书院，延聘教师，添置设备。
李君尧，长沙人，早年由何叔衡介绍加入国民党，大革命时期在湖南省总工会任秘书，与唐生智有过交往。后任《红军日报》编辑，该报在悬赏通缉湖南境内屠杀共产党人的刽子手时，列何键为罪魁祸首，而未点唐生智的名。再后，李君尧出任《全民日报》总编辑，以《全民日报》、救国会为阵地，掩护中共特科湖南工作站刘乐扬、赵君实等从事统战工作。1936年“西安事变”发生后，李又在《全民日报》以社论的形式发表了刘乐扬的文章《和平奋斗救中国》，谴责国民党政府以往的种种罪行，主张在大敌当前的时候和平解决“西安事变”。国民党湖南当局立即下令查办《全民日报》，该报面临停办危机。此时，中共特科湖南工作站负责人为了掩护李君尧，便决定让他去协助唐生智办学，并以无党派人士身份做唐生智与湘南中上层人士的统战工作。而李君尧也“确愿雪中送炭，专走冷门”，跟随唐生智退居东安，创设书院。可见，唐生智筹办书院一开始就得到进步力量的支持。
1938年11月中旬，国民党军队为实行焦土抗战，将长沙城付之一炬。书院筹备工作在进行半年之后，也只好匆匆南迁。两辆卡车装载着筹备人员与书籍器材，行驶两天两夜才抵达冷水滩。经数十人肩挑手提，才在芦洪司安顿下来。书院还在筹划之中就经受了战火的洗礼。
12月初，唐承绪病逝，唐生智遵先父遗嘱，在住宅旁边辟地一百余亩，准备兴建大型书院。书院定名为耀祥书院，取唐承绪字号“耀先”和唐生智小名“祥桂”之首字合成。唐生智推学识渊博之顾伯叙为山长，自任董事长。后来，推顾为董事长，唐自任校长。唐生智与顾伯叙确定了“树人第一，植道德为大本”和“提倡固有文化，培养社会中坚人士”的办学宗旨，以蒋百里早年送给他的“好学、力行、知耻”六字为校训。
唐生智考虑到建校需较长时间，便采取了边建校边办学的办法，于1939年春，招收了先修班。先修班学生人数不多，但文史知识扎实，实际上相当于大学预科班水平。其课程分社会科学和自然科学，并选修部分大学课程。
为了取得各方面的支持，加快建校速度，唐生智利用他的影响，聘请张治中等军政要员、社会名流为该校董事或名誉董事。当时，名誉董事张治中、李品仙、董事冯天柱和刘兴等人，都资助了不少钱物，连孔祥熙也捐赠了一批图书。唐生智为了办学，走亲访友，四处张罗，甚至劝儿女亲家捐助办学。其亲家李济生，是当地有名的富户，但为人吝啬，对唐倾家办学不以为然。一日，唐生智派人前往求援，李说：“请转告总监，我没有钱！”来人本着唐生智的意图，对其晓之以理：“捐款办学，是为乡里办好事，学生学成之后，是会感激你的。这比修路架桥更为好些。你是远近闻名的地方大户，在这方面作出榜样来，总监是会感谢你的。不然，我实在不好复命。”李济生掂量到这番话的份量，知来者不善，便极不情愿地答应捐献五百元大洋和一百多立方米木材，口中仍不断嘀咕，“敲竹杠！真是敲竹杠！”
经过四处“化缘”，耀祥书院校舍终于在1939年底破土动工。奠基石上刻有“景行斯韧”四个大字，至今犹存。唐生智为了将校舍建好，几乎是倾家荡产。他不但将青岛、长沙、永州、冷水滩等地的房产变卖，以修建校舍、添置设备和图书仪器，而且，将月潭、南冲等地近五百亩租田和常德的门板洲、高粱洲等五处近千亩湖田以及九家湖田近三百六十亩的全部田租，捐献给学校作为教育基金；又从彭家冲农场造纸余利中，每年划拨二十万给学校做经费。唐生智还将自己家中的一栋两层楼房拆掉，把砖瓦木材用于建校。唐生智的夫人霍福光（霍是在唐第二次下野流亡香港、东南亚时与唐结婚的）也将自己积蓄多年的金银首饰，捐献出来，以支持办学。到1940年，校舍初具规模。原在校外寄居的师生，陆续迁入书院。在1943年以前，书院共招收了三个先修班，学生百余人。先修一班学生具有高中文化，先修二、三班学生只有初中水平。
