韩歆得知事情的一切真相后，唏嘘不已。回来的路上，想了又想，最终还是没有如实告知邓禹，谎称那些话皆是子虚乌有，根本没有这事，说嫂夫人确实是他当年要求娶的人。邓禹不信，奈何韩歆指天为证，信誓旦旦，他也就没再追问，面上看起来像是信了韩歆所言，暗地里却派人又去一趟新野求证。
这边，刘秀听了小林子的禀告之后，良久不语。之后，虽然看起来没什么异样，但他心里其实一直对此耿耿于怀。
万福海见此，心里也隐隐猜到了一些，暗地里悄悄给阴丽华传了信。
阴丽华得知后，心里也明白这事要趁早说个明白，免得夜长梦多，有了隔阂就不好了。虽然她也理不清自己的感情，但是她的理智还是有的。这一日夜里，阴丽华躺在刘秀怀里，问他：“文叔有没有什么想问我？”
刘秀毫不犹豫的回道：“没有。”
阴丽华笑了笑，这段日子他们两个人都很有默契的绝口不提那些谣言，可即便不提，心里还是有想法的，不问没有异常不代表就没有问题。她说：“可是我有话要对你说。”
“夜深了，睡吧。有什么改日再说。”说着，便闭上了眼睛。其实，他何尝不想问，只是不敢问罢了，此时此刻，他也不敢听，他竟然有些害怕阴丽华接下来的话是他不愿意听到的。
阴丽华见刘秀还是选择逃避，便径自说道：“那些谣言真假掺半，我那时的确是心仪于那个外臣，可与你初见，我便知文叔非他，他说过他只爱伽南香，而文叔身上却是檀香。只是当时他已向其妻子府上提亲，其妻子府对我们府有恩，我即便再不甘心，亦无能为力。时见文叔温文尔雅，兼之博学多才，乃是世间少有，我心中对你尽是欣赏。君有心，妾又岂会无意。若非无意，怎有后来种种，你我如今，若非真心实意，文叔你又岂会不察？佛家有言：‘应无所住而生其心。’一切自有缘法，顺应而为方是上上之选。自我嫁与文叔，于我而言，昨日种种譬如昨日死，今日种种譬如今日生，唯愿君心似我心，定不负相思意。”
刘秀听到这里，猛然睁开眼睛，欢喜不已地看向阴丽华问道：“此话当真？”
阴丽华看着刘秀像个情窦初开的毛躁小子一般，不禁莞尔，“我只愿执子之手，与子偕老，岁月静好。”
刘秀激动地把阴丽华拥进怀里，说不出话来。
阴丽华这时打趣道：“我还以为文叔已睡着了呢。”
刘秀不言，却是痴痴的笑了。很久以后，他问：“那人是谁？”
“是谁已然不重要，他与我如今不过是路人罢了，路人不值问。”阴丽华不说，乃是担心刘秀因此而对他心生介怀，届时伤了谁，都不是她想看到的。
刘秀听了之后，也没再追问，阴丽华既然这么说，他信便是。这一夜，他终于可以安然入睡，不再因为与阴丽华同床异梦而辗转反侧不得好眠。
韩歆性格刚直，说话不隐讳，时常惹得刘秀不悦。建武十五年（39年）正月，韩歆上书刘秀，声称大汉朝要遭凶年，庄稼会歉收，会有大量饥民出现。刘秀问他依据何在，但韩歆却说不出理由，只是指天画地的发誓，而且言辞急切。此事再次惹得刘秀大怒，正月二十三日，刘秀正式颁诏，将韩歆免职遣送回乡。大臣们的求情，刘秀一概置之不理。
翌日，宫里便传出韩歆亡妻生前乃是阴丽华好友。数月前，韩歆曾去找过阴丽华的奶娘。
虽然这谣言并没有说太多，但联想起数月前的流言蜚语，众人难免想入非非。
阴就怒了，这韩歆乃是朝中少有能与他说上话的人，可算得上是知己，因直言而被刘秀罢官，已是不幸，而这些谣言，分明是要他的命啊。于是他马上跳出来说，那时是韩歆替他到新野办点私事罢了，可惜谁也不信。他便想着到宫里见一下阴丽华让阴丽华向刘秀解释一下。阴识得知他的企图，一把把他拽进屋里，狠狠的扇了一巴掌，道：“糊涂。”
阴识的一巴掌似乎把阴就打醒了。见兄长盛怒，但又担心韩歆有性命之忧，便硬着头皮问：“大哥，为今之计，可如何是好？”
阴识剜了自己的弟弟一眼，真是恨铁不成钢。自己这个弟弟善谈论，朝臣中无人能及，但性格刚愎傲慢，遇事又是个冲动的性子，可得罪了不少人，若是宫里有阴丽华，朝中有他和阴兴，恐怕这个弟弟早就尸骨无存，被人拆骨入腹了。撇开这些先不说，韩歆这人，他其实也挺欣赏的，不是他想袖手旁观，而是形势所逼，他们也只能如此。阴就的辩护已让谣言更加一发不可收拾，益发可疑，若是这个时候他们再有个动静，即便他们无事，韩歆无事，恐怕阴丽华就不好过了。为了能让阴就明白这个道理，他细细地向其分析了一遍。
可是刘秀知道了，虽然他清楚阴丽华对自己的感情，可是他就是控制不住去想，想曾经韩歆与阴丽华相爱的过往，想韩歆现在还惦念着阴丽华。想到深处，他一时失去了理智。于是，他又下了一道诏书，派使者去路上追责韩歆，质问韩歆，言辞间犀利无比。
按照汉法，对于有罪贬谪的官员，如果在路上被诏书责问，就是逼其认罪自杀。司隶校尉鲍永一再为韩歆求情，刘秀都没有答应。韩歆与他的儿子韩婴在路上接到责问诏书，当即伏剑自杀。此事传开，一时引起了热议。
韩歆一向名气很大，死于无罪，大家都不满，刘秀也后悔了。为了弥补前过，他下诏对韩家追赐金钱、粮食，又令有司以大司徒之礼安葬，并对其家属予以安慰抚恤。虽然堵住悠悠之口，但还是难免成了他执政生涯里少有的一处败笔。
自韩歆父子伏剑自杀后，刘秀愧见阴丽华，从此便只宿于东宫，有意避而不见。而阴丽华正在气头上，自是也不会去找他。就这样，两人僵持了数月。
