唐代中期时有一个御史，名叫姚生。姚生在外做官很多年了，而且从未做过什么亏心事，姚夫人也是一个潜心念佛之人。可是让姚家一直不解的是，姚老先生都快是五十的人了，还是没有一个儿子，也没有女儿。于是，等姚老先生过了五十岁的生日之后，他就告老还乡了。
姚老先生回到了家乡的小城蒲州，利用当官时留下的积蓄，购买了上百亩的地，还置了一些其他的产业，过上了安逸的退隐生活。这生活，虽然没有在外当官时那样热闹，却也是相当的富足和恬静。
说来也奇怪，自从姚老先生从官场上退下来之后，第二年，姚夫人就生下了一个儿子，接着竟又生下了一对双胞胎儿子。这样一来，姚家就有了三个儿子，附近的人们称他们为“姚氏三子”。
这下，姚老先生心中那块沉甸甸的石头总算可以放下了。然而，儿子是有了，可是这三兄弟生性极其顽劣，尤其不好读书，这与以前的姚老先生寒窗苦读，考取功名进而光宗耀祖的志向格格不入。这对姚老先生来说，是不能容忍的。于是，姚老先生就在蒲州的西山之南，盖了三间书房，把他的三个儿子关在这里面，不许他们与外面有什么联系，只许他们在书房里读书。并在临走时特别交待，三个月之后，要考核他们的学业，如果没有长进，一定重加责罚。
西山林幽壑深，清水潺潺，鸟语花香，如世外桃源一般。西山的南面是一个人迹罕至的地方，这里的树木长得异常的繁茂，有一排排四季长青的松柏静静地肃立，有簇簇的兰竹微微地垂立。五颜六色的野花点缀着林间那一条条弯弯曲曲、似隐似现的小道，远远的就可以闻到花的芳香。树枝上有小鸟在宛转地唱着歌，花丛引来了无数的彩蝶，飞来舞去，时而又有一只调皮的野兔窜过来窜过去，扰乱了树林，踏碎了落花。姚家的三兄弟来到这样人间少有的仙境，哪里还有什么心思去读书，他们把姚老先生的话早就忘到九霄云外去了。整日不是设陷阱逮兔子，就是结网抓鸟雀，玩乐嬉戏，不干一点儿与读书有关的事。
三个月很快就要过去了，最后就只剩下三五天的时间了。如果再不抓紧这几天认认真真读一下书，到时姚先生来了，他们拿什么去应付呢？老大见再这样下去怕是不行了，于是就跟两个弟弟说：“父亲考核我们的日子很快就要到了，我们要是还不读一点书，恐怕很难躲得过去。我看，我们还得暂时收住心，用心地读几天书才行！”
这样，当晚他们就点起蜡烛，一起挤在老大的书房里伏案读书。快到半夜的时候，两个弟弟再也熬不住了，就先睡下了，只剩下老大一个人还在读四书。因为晚上有点冷，他就披了一件比较厚的大衣。到半夜三更的时候，他忽然感觉到好像有人在拉扯他的大衣。有好几次，他的大衣都被拉了下来，他开始并没有太在意，总是在被拉下来之后，就又捡起来披上，只是从未回头看身后一下。就这样，拉下又披上，来来回回折腾了六七次，老大有些生气了，就猛然回过头来。只见有一只小猪在后面手抓口咬，顽皮地弄着他的大衣。这小猪毛色纯白，身子光洁滋润如同玉石一般。不过老大此时没有心情去打量它，只是非常生气地从桌子上拿起一个石砚，朝那头小猪打了过去。砚台打在小猪旁边的地板上，发出很大的声音。小猪感到有人发现了他，惊叫一声，一闪眼就不见了。老大又惊又怕，赶忙把两个弟弟叫醒来，一起打着烛光寻找。可是无论他们怎样仔细，就是找不到小猪的影子，而且窗户和门都没有任何被打开的样子。他们十分纳闷，又想不出一个缘由来，最后到四更天的时候，就都睡下了。
第二天，他们三个很晚才起床。可是等他们推开门一看时，只见一群穿着很讲究的仆人，簇拥着一位衣着非常华丽的贵妇人守候在门口，这个贵妇人的怀里还抱着一个小孩子。
等到这三兄弟开门出来，这个贵妇人走向前来行礼，并对他们说：“昨晚小儿顽劣，误入了你们的书房，打扰你们读书，实在是对不起。小儿也受了点惊吓，不过已经没事了。”这贵妇人接着又问姚氏三子：“不知你们三人可有了媳妇？”姚氏三子回答说没有。
“我还有三个女儿，姿色可人，德性贤淑，可以匹配三位公子。不知你们意下如何？”
姚氏三子赶忙拜谢。就把他们到这里读书的来龙去脉跟这位未来的丈母娘说了，继而又推辞道：“小生性情不当，无才无德，只怕没有福分消受，更怕辱没了您的好名声。”
“这又有何难。”说着，这贵妇人就叫身边的管家去请孔宣父。
不一会儿，孔丘着冠佩剑，趋步而来。他走到这贵妇人的面前，端正地鞠躬行礼。等孔子行完礼之后，贵妇人对他说：“我的三个女婿想学习读书，还得烦劳夫子教诲。”孔夫子于是就按贵妇人的要求，指点他们四书五经的精义要领。这姚氏三子在孔子的指导下，所有的诗书经典好像以前都学过一般，一下就融会贯通了。后来，这贵妇人又请来周尚父，把九天玄女的兵、符、玉、六壬、遁甲等的秘诀指点给他们，姚氏三子也是很快就领悟了。
这样，等到再跟他们谈话的时候，他们都已经达到了文武全才的境地了，谈吐非凡，神情俊朗，好似将相之才。
顷刻之间，他们就各自有了自己贤慧的妻子，过上了美满的家庭生活。
三个月过去了，姚生派仆人到山上去请你的三个儿子回来应对考核。仆人走到山前一看，见到如此光景，赶紧悄悄跑回去报告了姚老先生，说三位公子住的地方已今非昔比，只见屋宇华盖，宏伟非凡；香艳女子，莺歌燕舞。姚老先生听说如此，当然很惊异，总是认为他的儿子一定是被山鬼给迷住了。于是赶忙叫人把自己的儿子找回来。
姚氏三子将走的时候，他们的妻子万分叮嘱，要他们千万不要把事情泄露出来。可是这姚氏三子因为受不了姚老先生的棍棒之苦，就把事情的经过全都说了出来。就在当天的晚上，只见三道星光从西山南边的山腰冲天而逝，以前还在山腰的宏伟建筑都已不复存在，姚氏三子也因为泄露了秘密，他们的文才武略也都没有了，又回到了以前的样子。
后来有几位道行很高的道士听说了这件事，都说：“太不寻常了，真是太不寻常了！天上的织女、婺女、须女一同下降到人间，本将给姚氏三子带来冲天的福份，然而姚氏三子福缘太浅，他们泄露了天机，自然也就无缘享受这福份了！这三位女星也就不在了，姚氏三子泄露天机的那一瞬间，已经飞升到天上去了。”说完叹息不止。
