那时候胡适在北京大学做教授，当时北大有一条规定，凡为北大服务五年，可以带薪休假一年。由于长年伏案写作，胡适身体极度疲乏，有多处病症。他在上海看完病后，就到西湖烟霞洞来休养——翁家山的烟霞洞是西湖风景清幽的好去处，胡适就看中了此地的清幽，选择了一处僧房住下，每日爬爬山，采采花，喝喝茶——天下最好的龙井茶，其实也就在翁家山。那一段时光正值桂花盛开，寺庙内摆摊头的老人每隔几天就采来一大抱桂花送给胡适，胡适还去前面看过那棵巨大无比的“桂花王”，千枝万枝桂花全部开放，将翁家山开成一片香雪海。每一天胡适都过得十分开心，当然，让他心情如此之美好，并非仅仅是西湖的美景或桂花的香气，更主要的源自于他身边那个让他痴情的恋人曹诚英。
胡适与表妹曹诚英暗送秋波也非一日两日，只是碍于江冬秀的面子，有情人只能通过书信互表心曲，难有机缘在一起。这一次胡适选择来西湖度假，不可告人的真实目的，就是想和曹诚英在一起。此时曹诚英正在杭州读书，暑假没有回徽州，正在无所事事，胡适的到来无疑是天赐良机，卷一个铺盖卷，就来到清修寺，名义上是照顾胡适的饮食起居，实际上英表妹与糜哥哥一对有情人相思多年，终于可以在西湖畔厮守。胡适在日记中用大量篇幅记述了他与英表妹浪漫缱绻的美好时光：
今天晴了，天气非常之好。下午我同珮声（曹诚英学名）出门看桂花，过翁家山，山中桂树盛开，香气袭人。我们过葛洪井，翻山下来，到龙井寺。我们在一个亭子上坐着喝茶，借了一副棋盘棋子，下了一局象棋，讲了一个莫泊桑的故事。
多年以后，胡适在回忆这段浪漫时光时，写下了一首诗：
翠微山上的一阵松涛，
惊破了空山的寂静，
山风吹乱了窗纸上的松痕，
吹不散我心头的人影。
诗中对曹诚英的思念跃然纸上。
很长时间里，胡适与曹诚英的缠绵对外界瞒得滴水不漏，甚至一向草木皆兵的江冬秀也毫不知情，她甚至写来一封别字连篇的信给胡适，对曹诚英照顾他表示感谢：“珮声照应你们（同时还有胡适的一个小侄儿也在），我狠（很）放心，不过他（她）的身体不狠（很）好，长（常）到炉子上去做菜，天气大（太）热，怕他（她）身子受不了……”
最先发现胡适与曹诚英双栖双宿的，是湖畔诗人汪静之，六十年后，他曾带着记者来到清修寺，指着那一排僧舍说：“那里是当年适之先生与珮声的卧房，胡适住最东头一间，曹诚英住中间一间，正好在隔壁。上壁开了一扇门，因为胡适住的东间朝东廊无门，于是表哥就从此门经过，出入走廊。曹诚英房舍加隔一层板壁，一分为二，卧室在里间，外间作起坐间，糜表哥英表妹共用。”这真是为一对有情人天设地造的幽会之所——关上门就是一间，有外客进来，又是名副其实的两套。汪静之当年在老家追求过曹诚英，胡适对这个本家亲戚与文学同道也不隐瞒。汪静之发现两人做了情侣后，真心祝福他们，并没有对外界八卦。可是没过多久，徐志摩带着一帮朋友来翁家山看望胡适，都是一批相当浪漫的文人雅士，有汪精卫、马君武、任叔永、沙菲等。徐志摩老家在杭州过去的海宁，一定要带他们去看海宁大潮，一行人又驱车来到海宁，徐志摩本来就是情痴情种，他发现了胡适与曹诚英的男女私情之后，跑到北京到处乱讲，导致这一段情事大白于天下。
胡适似乎也不想刻意隐瞒，也许他认为既然他也爱曹诚英，那么对这段情就应该有个交代，他后来又为曹诚英写过一首短诗，表达他的感谢：
多谢你能来，
慰我山中寂寞，
伴我看山看月，
过神仙生活。
像曹诚英这样内向的女子，爱情之火一旦燃烧起来就难以熄灭，也无法熄灭。烟霞洞一别后，曹诚英就再也离不开胡适。胡适借口出差，逮着机会就来杭州看望她，两个人后来经常在西湖边的新新旅馆共筑爱巢，曹诚英有时也到上海亚东图书公司去会胡适，一段情如鱼得水渐入佳境，只是将江冬秀瞒得滴水不漏。
这一年春天，胡适又来到西湖，还住在老地方新新旅馆，曹诚英逃学过来与他幽会，两个人几乎天天出没于西湖。胡适不管到哪儿，朋友都极多，那日一帮朋友到新新旅馆来看望他，请他到杭州著名的馆子楼外楼吃饭。这家饭店的糖醋鲤鱼做得最好，在江南一带很有名，曹诚英也跟着去了。那天的朋友很多，胡适让她坐在窗前——楼窗正临着一片碧波荡漾的西湖水，春光明媚，游人如织。一帮新朋老友吃酒赏景，一直从下午闹到半夜时分，玩得十分尽兴。曹诚英十分开心，趁着众人闹酒混乱，与胡适一起临窗赏月。
窗外的西湖月只是作为一种点缀而存在，胡适与曹诚英早陶醉于浓情蜜意之中，临窗望月，唯见湖心一轮秋月看不厌看不够。半醉间徐志摩发现胡适与他的表妹“落单”，在众人起哄中一定要曹诚英唱歌。胡适还想阻止，而曹诚英却大大方方当场唱了一曲《秋香》，众人齐齐鼓掌叫好。后来徐志摩在日记中说：“曹女士贪看柳梢头的月，我们把桌子移到窗口，这才是持螯看月了！夕阳里的湖心亭妙，月光下的湖心亭，更妙。曹女士唱了一个《秋香》歌，婉曼得很。”
胡适与曹诚英的情事在文坛传得沸沸扬扬，最终传到江冬秀的耳朵里，结果就上演了母老虎江冬秀威胁胡适，挥剪刀欲与儿子同归于尽的一幕。胡适十分恼火，虽然他是京城著名的“怕老婆”，但是在内心里，他无法忘掉小表妹的好，翠微山上的风已吹乱了他的心。
