然而，王世华家这样的宁静日子和好光景并没有持续太久。1951年，他的父亲不幸患上了食道癌。小小的世华，看到父亲每次吃饭喝水那么困难，他心中只是焦急却无计可施。后来可怜的父亲病情发展的越来越严重，由于当地缺医少药，对这种病根本没有办法。在当时他也不知道这是什么病，整天只是跟着母亲一块儿发愁，到处帮父亲求医问药。
最后父亲的病情越来越重，到了1951年春天，王奕霖不幸去世了，就这样告别了他们一家子人。当时王世华的年纪还很小，怎么办理的丧事他已经记不太清楚了，大概是由他大哥王世经和他的母亲霍氏操办的。
随着世华的父亲过早地去世，他们家里的可谓是失去了一位顶梁柱，因为他父亲在当地很有名望。人们也很尊敬他，这不仅是因为他是板岩小学的校长，而且还因为他为人正直，所以别人从来没叫过他的名字。在世华的印象中，人们称呼他为要么是二掌柜，要么叫他黄校长，总之他很少听别人直呼他的名字。
之前因为世华的父亲王奕霖在学校工作，每年还有一点收入，他去世之后，这点收入也就没有了，所以他们的家境开始迅速变得更加困难起来。
王奕霖在一九五一年去世的时候，才47岁，那时霍氏才45岁，留下他们弟兄三个。老大二十岁，老二十七岁但是不在家，世华当时仅仅11岁。他大哥二哥还在上学，他因为年纪尚小，还没有上学，就在家里呆着。全家的生活重担完全压在了母亲一个人的身上，这对于一位妇女来说，是十分沉重的压力和艰难的。尤其是他的二哥王世经，在解放前也就是1948年，离家出走了，随后八年没有消息，家里面的人日夜挂念，他母亲为此眼睛都哭得视力下降了。
王世华的童年，就是这样度过的，虽然还比较困难，但是毕竟还有一些欢乐，自此之后，他们家的情况就发生了翻天覆地的变化。
关于王世华的母亲霍氏，世华甚至都不记得她的名字。在他的印象里她是一位很文静，很贤淑，勤劳善良的女人，是待人十分宽厚的一位农村妇女。他从来没有见过她发火，也很少大声地教训孩子们。她不仅是一位十分善良的农村妇女，而且还有一定的文化教养。虽然算不上什么名门闺秀，但是她平素也十分知书达理。
王世华小的时候，没有上过小学，他的语文课就是他的母亲平时亲自教的。他记得当时家里有一个简单的课本，这个课本也不知道是从哪里来的，里面有一些课文，他直到现在还记忆犹新。比如说，像司马光砸缸救人，孔融让梨，卞庄子刺虎等等，这些故事他到现在还历历在目，另外那些课本里还有一些儿歌，现在记起来还很有意思。
世华记得有一首是这样写的：”杨柳枝软绵绵，它呀，它是小燕子的秋千。红菱叶一片片，它呀，它是小青蛙的摇篮。“至今他还觉得，这篇文章写得多么美啊，把春天描述的是多么的美妙呀！而这句子，都是他母亲教给他的。另外，他还在课本当中还学到了一些有关的文学知识。那些字，他后来都用到了不少，然而这些字，他母亲为什么能够认识呢！还能够讲出它的含义呢？他至今仍百思不得其解。因为在那样的深山里，他的母亲也没有上过什么学，她是怎么学到这些文化知识的呢？王世华直到现在，还是不得而知。
世华的母亲在1961年去世，当时她才55岁，她是1906年出生的，比他父亲小两岁。据说母亲比父亲小两岁，她是属马的，父亲是属龙的。自从他父亲1951年去世之后，他们全家的生活重担，完全落在了母亲一个女人的身上。
霍氏作为一个普普通通的农村妇女，要养育他们弟兄三人，真可谓是不容易的。母亲之所以早早地离开了他们，还不到六十岁就走了，这是因为一方面由于是政治上的原因，家里的成分让她的思想压力太大，再一方面也可能是因为家庭生活负担太重。生活的重担使她承受不了，最后终于过早地离开了孩子们。
王世华出生在1940年，这正是中国的抗日战争爆发以后，是一个动荡不安的年代。在当时关于抗战的情况，他不大了解，只记得有一次，在他们家乡的上空，有几架飞机不断地盘旋着，互相追逐，而且还不时地发出噼噼啪啪的枪炮声。后来不久，有一架飞机就尾巴上拖着浓烟落在了农田里。当时他们还不知道是怎么回事儿，后来才听大人说，那是我们的空军把一架日本飞机打落了。据说这架日本飞机落在了河南的洛阳附近，这就是关于抗日战争他所仅有的一点记忆。
后来不久就开始了解放战争，由于他们所处的地方恰巧是在陕西，河南，湖北三省交界的地方，现在王世华才知道那正是鄂豫陕边区的地方。在这个特殊地区，在国民党和解放军都要占领，所以经常出现拉锯式的战争。今天这家打来，明天那家打来，广大的人民群众在当时都处在一种十分动荡的年代，有不少的人为了避免兵荒马乱，只好背井离乡，到别处去谋生了。
