宗吾的父亲，名高仁，字静安。他原是在外学生意的，自父亲去世后，便为家农，与他的妻子共同操作，终日勤劳的情形，一如他的父母。常常取出他的父亲遗留的扁担，以作警戒，因而家道渐裕，得以购置田产。不幸在四十岁上，因劳致疾，医生警告他说：“赶紧把家务丢了，安心静养，否则非死不可！”他便把家务完全交付给妻子，自己专心养病。三年之后，始得痊愈。他在养病期间，才得到看书的机会，先寻到三国演义、列国演义等书来看，以后就看起四书讲章来，他一看再看，于是从中就看出道理来，便是“书即世事，世事即书。”
后来只看三本书，其他各书全不看了。哪三本书呢？一是《圣谕广训》，这书是乾隆所颁行天下的，后附朱伯卢的治家格言。二是《刿心要览》，还只是看全书中的一本，中载司马光及唐翼修等名言，他呼之为格言书。三是杨继盛参严嵩十恶五奸的奏折，后附遗嘱（是椒山赴义前夕，书以训子的，所言皆居家处事之道)。此外还有一本三字经注解，信不常看。就是那三本大书中，还只有前二书是他手不释卷的。临死前数日，犹阅读不忍放下。他常说：“书读那么多干什么。每一书中，自己觉得那一章好，即把他死死记下，照着去行；其余不合心意的，就不必看了。”
他最爱高声朗读的，在《圣谕广训》中，有这两句：“人不知孝父母，独不思父母爱子之心乎?”在《刿心要览》中，有这几句：“贫贱生勤俭，勤俭生富贵，富贵生骄奢，骄奢生淫佚，淫佚又生贫贱。”
他读书固然是如此之少，而平生从未写过一个字，尤其稀奇。当宗吾七八岁时，发生一件急事，他父亲叫他拿笔墨来，等他拿来了他父亲又说不写了。但是宗吾偏说：“我的奇怪思想是发源于我父，读书的方式，也取法于我父。”这事，久后当加以证明。
宗吾的父亲自大病之后，即不敢再作笨重的工作，不过偶尔扯扯甘蔗叶，或种胡豆时盖盖灰罢了。但有暇即看书，自然是他心爱的那几本书，每当工人到田里工作时，他便携着烟竿，或火笼(一种烤火炉)，挟着书，坐在田边，时而同工人谈天，时而自己看书。他对于农事，异常内行，每晨必巡视垄—次，常说：“我睡在家中，工人在田间工作的情形，我都知道。”当家人从田间归来，他常问：“工人到何处了？”如果因未留心，对答得不确实，他便笑着道：“不要瞎说！”
