高阳的牢骚约而论之，其实就是“不遇”二字。这“不遇”固然是屈子以下中国传统文人、知识分子乃至于失意政客所共同具备的一种精神状态，美之者曰“情怀”，诋之者则曰“身段”。
然而情怀云者，身段云者，其“不遇”则一，也都和主观的意志与客观的遭际之间互无妥协的处境有关。高阳之“不遇”也可以从两个面向上加以了解。一方面如前所述，他很难在一个由他自己树布的历史知识网络上找到同声相应、同气相求甚或在同一渊博基础上与之对话无碍的友朋；另一方面——也是极其残酷而现实的（这与龚定庵何其神似？），他从来没有一张正式的学者资格证书。
在历史的迷宫中纵横捭阖、挥洒出入的高阳一向讲究“证据”，但是终其一生，台湾这个素来好吹嘘“文化复兴”“文化建设”的社会却从来没有以任何“证据”认定过（哪怕是一项荣誉学位的授予）他在明清史、玉溪诗或红学等领域中浸淫钻研的功夫以及卓越成家的地位。
任何一个时代诚然少不了“怀才不遇”的人物，尽管“不遇”者众、“怀才”者寡，但是当浊世滔滔，皆以高阳为“酒徒”、为“墨客”、为“小说家者流”的时候，真正有大损失的难道不是这个社会吗？屈子投怨怼于汨罗，高阳溺幽愤于醇酒。后之视今，亦犹今之视昔，揆诸一长远的历史，则今之侈言“文化活水”者流，岂非楚怀王之覆案而已哉？
1988年，我赴大陆探亲月余，返台后与高阳匆匆一饮晤。席间有几番言语，令我无时或忘。其一是我重提准备以太平天国史料为背景写一长篇小说的旧议，因为同年稍早时我赴报社任事，探亲归来，心绪浮野，正有辞去这“城里的差事”的打算，想重返龙潭索居，再也不到编辑案头，然而高阳却竭力反对。他说：“‘辞官’可以，写太平天国大可不必。”
接着他告诉我：历史小说之可贵，在于历史人物之可爱。而洪、杨之徒，“岂有可爱之处？”还说：“值得入小说的历史人物，大抵不外圣君、贤相、良将、高僧、名士、美人六者。真要是个一流作家，干吗又要伺候那些个三流人物呢？你不要中了那些‘广东派史学家’的毒！”
我非治史学者，至今犹其未明：“广东派史学家”何所指？倘若以洪、杨事按之，多年之后重温其言，我反而明白了他话里的另一层玄机：高阳对于有清一代，其实怀抱着相当“不从众”的看法。在台湾，吃国民教育奶水长大的一代（乃至于他们的父母）大致上对前朝的浮泛印象是糅合着汉族中心主义和民主主义两层色彩的。是以言及满清，必称腐败专制、丧权辱国，仿佛门户大开以降的中国在近世所遭受的种种欺凌、所经历的种种挫败，都可以简而约之地归咎于来自关外的女真族政权，甚至其中的一二名当权者。然而高阳却不肯这样想。
高阳在当世之“不遇”，很可以从其家世在前朝的煊赫之中找到对应的明证。高阳的叔曾祖许庚身是光绪十年到十九年间的军机大臣（卒谥恭慎）。高祖许乃钊亦曾任广东学政，官至江苏巡抚。先世尚有“七子登科”（四举人三翰林）、“五凤齐飞入翰林”的时誉。
然而到了高阳这一代，迭经战祸，时逢乱离，除了家学幼习，高阳的知识陶养全靠自修，偏偏到了20世纪中叶以后，台湾的教育机器又全然无视于、亦不关心一个“素人学者”为整个文化体制注入生机活力之可能。春秋时代孔夫子有“礼失而求诸野”的浩叹与慰藉；迄于民国，“翰林失而宁复不可求诸野乎？”
回首1988、1989年间，每与高阳论文议史，他总不免津津乐道着两度前往香港中文大学讲述《红楼梦》研究的情景，更不止数次提及曾应台大某系所教授之邀为学生讲授阴阳五行生克的玄理奥义。一旦问起他对台湾文化界的整体看法，高阳也笃定会摇头恨道：“一言以蔽之：学术界无人堪当大任！”
正缘于幽愤之深，乃成其兴寄之遥。
高阳“以小说治史”的“重塑”企图也就寓藏着益发“悍然其辞”“沛然莫之能御”的霸气。作为一个知识分子或学者，高阳于“自封野翰林”的笑语谐趣之中，自然可以表示：“忽驰骛以追逐兮，非余心之所急”；然而作为一个文人，高阳又势必有“老冉冉其将至兮，恐修名之不立”的惋叹。他既深知天“不”将降学术之大任于仔肩，于独学寡友的孤子旅途之上又常有“前不见古人、后不见来者”的怆然之憾。而谓“过不了团体生活”云者，而谓“非脱队不可”云者，又岂是等闲自负“不过”者流所能体会的呢？
1989年，高阳应复旦大学之邀，参加了一项名为“第四届港台文学暨海外华文文学学术讨论会”的活动，并转赴浙江杭州祭祖。日后在一篇由他亲笔撰写的《横桥老屋旧址碑记》的文字中，他特别引述前清梁山舟学士书赠高阳十世祖许学范（字希六，号芋园）的联语，曰：
世间数百年旧家，无非积德；天下第一件好事，还是读书。
一生读书、一生著书、一生谈书论书的高阳在1991年初因肺疾送医急救，凡七进七出。我去探访，见他又消瘦了几分，当时他精神尚佳，犹能笔谈，我遂以其新作《水龙吟》之题名请教，询以：“与辛弃疾‘几人真是经纶手’一阕是否有关？”
但见高阳频频蹙眉，未几，即振笔疾书数行示我：“我于《联副》（指《联合报·副刊》——编者注）发表之说明汝竟未读耶？”我默然无以应。然而事后我再翻拣庋藏旧报，复向《联副》查证，其实并无彼文。日后闻知高阳出院，渡得一厄，才稍释忐忑。
然而我始终不能明白的是，为什么高阳会记得他发表了一篇其实并未发表的文字？此事直至次年三月下旬方得旁证而解：那是一张某餐馆印制的请帖，下署“高阳”之名，一望而知是寿诞的邀宴，可是日期却早在我收信的前一日已经过了。这样一个对于史事精明审慎的人，珍贵的时间感和因果论在生命的晚期居然就这样随着病痛而崩塌了。
我随手发了一张传真回复，寥语数行，敬请戒烟节酒，然而我亦深知：这是废话，一如高阳那般“圣君、贤相、良将、高僧、名士、美人”的温言善语之于我是一样的，过耳寓目，不必存心而已。
在相交的最后六年中，高阳于我如师、如友，待我如子侄又如朋辈，我何其有幸能承其教、受其责、感悟其情？而这个时代又何其不幸地逐之于前朝、弃之于酒肆、任其自封野翰林？而今逝者已矣！思之不觉涕下。我为高阳悲，亦为高阳所悲者悲。遥想杜少陵“摇落深知宋玉悲，风流儒雅亦吾师。怅望千秋一洒泪，萧条异代不同时。江山故宅空文藻，云雨荒台岂梦思？最是楚宫俱泯灭，舟人指点到今疑”之句，竟不堪其悲。
