相传大雁南飞到衡阳而返，故衡阳市南有一座秀丽挺拔的山峰，称为回雁峰，每到秋冬之际，成群的大雁就落在这里等待来年开春时又返飞北方。回雁峰乃是南岳七十二峰之首，因风景秀致，乃成为衡阳游览、聚会的胜地。
唐德宗光启年间，回雁峰下住着一名歌妓，叫王幼玉，她原本是北方的大家闺秀，因黄巢起义，战乱骚扰，随家人避难来到衡阳，父母双亡后，幼玉的生计失去着落，只好凭着天生一副婉转歌喉，加上艳丽的容貌和高雅的气韵，做了一名侍客的歌妓。
有一天御史大夫夏公商经过衡阳，当地郡守在口雁峰下的雁峰寺中设筵款待，召来了王幼玉献歌凑兴。正值秋高气爽，枫叶透红，五彩缤纷之中，一队队大雁从北国飞来，绕着回雁峰飞旋徘徊。酒酣兴浓时，王幼玉端坐厅中，睹物思乡，亮开歌喉，唱出一曲高亢激越的“雁归来”，歌声悠扬，惊动四座。当下座中有个文客便赠给王幼玉诗一首，诗中有“秋满潇湘浦，歌徼回雁峰。”之句，众人都认为恰到好处。使得夏公商也诗兴盎然，亲笔为王幼玉题下一诗：
真宰无私心，万物逞殊形；
嗟尔兰蕙质，远离幽谷青。
清风暗助秀，雨露濡其冷；
一朝居上苑，桃李让芳馨。
诗中盛赞王幼玉独得造物之殊形，清雅秀丽如兰蕙，浓艳的桃李不能与她相比。经过名人这么一题诗品评，王幼玉顿时名声大振，身价百倍。
当时黄巢起义失败，商业贩运也恢复了往日的繁荣，衡阳地处湘江要冲，城市繁华，是南来北往客商必经之地。那些腰缠万贯的富商，平时经营时锱铢必较，而声色享乐时却挥土如金。因王幼玉艳名远扬，所以南北富商到了衡阳，都想找她取乐。其中不少商人倾倒于王幼玉的美貌和风韵，许以重金求娶她为妻为妾，而王幼玉则自有主张。对满身铜臭味的商人多是以礼相待，以歌相奉，决不肯委身相随。
不料，终有一天，王幼玉还是做了一个商人的“俘虏”，他就是洛阳商人柳富。柳富是洛阳的世家子弟，仪表英俊，气度儒雅，本是读书出身，因未考取功名而改习武艺，练有一手好剑法。他性情刚烈，凭着出色的武功和年轻气盛，在家乡不免做些仗义行侠之事，惹了不少是非，父亲为了磨练他的性子，也为让他增长些见识，就让他随商队南行，同时学习经商。正因为家世特殊，所以他虽为商人，却没有一般商人的鄙俗之气，眉宇间展露着灵杰和豪爽。第一次在宴会上见到献歌的王幼玉，他就被她高雅的气质和动人的歌声深深吸引住了，第二天又登门拜访她。王幼玉很快也被这个年轻商人的特殊气度打动。于是，两个人由互相倾慕到情投意合，很快便成了一对亲密的情侣。合江亭上、石鼓寺中、来雁塔畔、清水桥头，衡阳的秀山湄水间，处处留下他们相依相随的影子。
阳春三月，春光醉人，两人泛舟湘江，情醉意酣，柳富即兴赋诗：
潇湘水暖花正妍，绿莎汀畔水连天；
轻舟载得春来少，无数飞红到桨边。
诗儿把他们的心情与春景紧紧融合到一处，王幼玉十分喜欢，王幼玉随即为它谱上曲，坐在船头引吭高歌。江面水波鳞鳞，歌声缭绕山水之间，令人陶醉不已。
唱罢，王幼玉整理自己的心情。也吟出一首诗来：
春寒日日雨丝丝。草满离亭水满陂；
寄语东君须着意，惜花人去未多时。
王幼玉的诗乃由眼前明媚的春景，联想到春寒春水，花开虽好，总有雨打风吹花落时，因此劝导惜花人珍惜眼前花妍时，免得日后空叹息。实际上，她是借着诗儿向柳富暗示，自己愿以身相许，只等柳郎来攀折。而柳富却佯装没领悟诗中含意，似悲似喜地看了幼玉一眼，就赶快把目光移向了远处。王幼玉不解他此时心境，甚感惆怅。
一天夜晚，月明星稀，两人静坐在院中紫藤花下，一段沉默之后，王幼玉借夜色掩饰住羞涩，郑重其事地表白：“妾愿将此身托付给柳郎，不知柳郎意下如何？柳富沉吟良久，见无法回避，于是语调低沉地以实情相告：“小生南来途中，路过湘潭时，因路见不平，挺身与人解围，格斗中出手误伤两条人命，本想一走了之，不料此事却被一个旅店的侍女见到，她抓住了把柄，强迫我出钱从她主人手中买下她，并要与我成亲。我只答应把她买出来就让她远走，无奈她非要随我，否则就到官府举发，我无计可施，只好带她一同走，眼下正在衡阳，想摆脱她又脱不开，真是进退两难！”
王幼玉听完冷静一想，认为只要下些工夫，这事不难解决。柳富则表示：“只要离开那女人，柳生非幼玉莫娶！”于是，王幼玉帮柳富出谋划策，又拿出自己的私蓄二百万钱，终于用金钱和晓以利害，把柳富貌合神离的女侍妻子打发回了湘潭。两人之间的障碍已去，心中欢喜，正准备共结百年之好时，柳富家里派仆人专程从洛阳赶来找柳富，说是老主人已病逝，催请小主人火速赶回洛阳奔丧。
真是一波刚平，一波又起，此事更是无可推脱，柳富决定第二天一早登程。这一夜，两人彻夜无眠，手握着手互相起誓，等着对方，决不变心。晨鸡报晓中，柳富含泪踏上了归途，王幼玉挥泪相送，哽咽道：“我等你回来，不论多少时日！”
自从柳郎走后，王幼玉洗尽铅华，摒绝一切交际应酬。专心等待柳郎归来。三个月过去了，一天一天，了无音讯，秋风起时，鸿雁南来，却也没带来柳郎的消息。昔日女伴们都劝王幼玉回心转意，重树艳帜，但是王幼玉一口回绝，她坚信柳郎决不是一个负心人。
日日挂牵，夜夜思念，细数时日，又是冬去春来，仍然不见柳郎归来。王幼玉再也忍不住了，她剪下一缕青丝，并书下一首长诗，两者密密用罗帕包好，雇了一名专差，前往洛阳寻找柳富。诗是这样写的：
门对云霄碧玉流，数声渔笛一江秋；
衡阳雁断楚天阔，几度朝来问过舟。
阳台玉歇行云杏，穹苍鸿稀春悄悄；
鸳鸯孤眠怨芳草，夜夜相思何时了。
妾非无声不敢啼，妾非无泪不敢垂；
柔情欺损青黛眉，春风着人意萧索。
绿窗书字寄心曲，细看香翰婉且柔；
中有闲愁三万斛，向隅弃笔惆怅时。
此情默默谁得知，无言相见空相忆；
既然相思惹人愁，不如当日休相识。
其实柳富并没忘记佳人之约，更是日夜思念着幼玉。办完父亲的丧事后，本想变卖家产，立刻南下见佳人；不料族中父老听说他在衡阳沉溺于娼妓门下，此度又尽卖祖上留下的家产，想携款而走，败坏家风，于是对他横加阻挠。柳富此时想见幼玉心切，见族人无端阻拦，一时心急意乱，失手打伤了一位族中长辈。这位长辈原本年老力衰，经这么一碰，竟然卧病不起。于是族人告到官府，柳富以犯上伤人之罪身陷图圄，从而与外界失去了连络。
王幼玉派来的专差，千方百计地打通关节，总算在牢中见到了柳富，柳富读罢王幼玉捎来的诗句已是泣不成声，他将诗笺和幼玉的青丝紧紧藏人怀中，仓促地写了一首诗作回音：
春雨蒙蒙不见天，家家门外柳如烟；
如今断肠空垂泪，欢笑重追别经年。
柳富还一再请来人转告王幼玉道：“此生若能重睹天日，必不负佳人情意。”但究竟何时能重见天日，心里却也没底。
专差回到衡阳，带回了不幸的消息，王幼玉听了悲伤欲绝，但她心意已决，不怕等到海枯石烂，也要等着柳郎回来，因为她已确知柳郎不曾变心。王幼玉的同行姐妹们都来安慰和劝导她，让她不必无望地苦守，何不及时行乐。可王幼玉心坚磐石，丝毫不为旁人所动。
闭门谢客，坐吃山空，终究不是办法。王幼玉索性卖掉了市区的房舍，搬到城郊龙王庙傍一所狭窄的小屋中住下来，省吃俭用。
一年一年地过去了，等到唐德宗驾崩，唐昭宗继位，新天子登基，大赦天下牢狱，柳富也因之获得了自由。
柳富正想南下找王幼玉的时候，正遇上国中各藩镇之间交兵混战，南北道路阻隔，一时之间无法成行，只好先设法辗转托人给王幼玉捎去一封信，信中附有一阕词：
人间最苦，最苦是分离，伊爱我，我怜伊，青草岸头人独立，画船东去橹声迟。楚天低，回望处，两依依。
后回也知俱有愿，未知何日是佳期，心下事，乱如丝。好天良夜还虚过，辜负我，两心知，愿伊家，衷肠在，一双飞。
王幼玉收到柳富的书信，心知柳郎还牵挂着自己，自己这三年的。等待，总算没有落空。她反复吟读着柳富的这阕词，并不由自主地哼唱起来，心中觉得无比欣慰。后来，她突发奇想，为何不把这阕词公开唱出来，让全衡阳的人士和过往的客商都知道，她王幼玉的一腔痴情没有付诸流水，她的柳郎马上就将来与她相会，她想让自己的幸福也被大家都感觉到。
于是，王幼玉开始在回雁峰下的酒楼歌榭中免费为大家演唱，她始终只唱一首歌，那就是柳富寄来的那阕词。
又到了春光明媚的季节，道路仍然阻隔不通，柳富也就一直无法南行，王幼玉的等待有些苍茫了。她不知何日是佳期，雁去又雁来，终于在等待中病倒了。这天她自知来日不多了，等不及情郎的到来，吃力地登上回雁峰顶，仰望着满天鸿雁纷纷北去，她好像也变成一只大雁，随雁群飞到柳郎身边。惆怅中，她又开始临风拼力高歌情郎的词句，凄婉的歌声响彻云霄，山谷回应，歌声不绝。空中的飞雁似乎也被歌声留住，绕着回雁峰，徘徊不前。
王幼玉一遍又一遍地歌唱不已，终于声嘶力绝，倒下悬岩，一缕芳魂也随雁群飘飘北去。而这时，多情的柳郎正艰难地行进在南来的路上……
