杭州胡雪岩，那是《清史·货殖传》中的著名人士，旧居芝园，有延春院、凝禧堂、百狮楼、碧城仙馆诸胜。回廊曲折，叠石玲珑，姹紫嫣红，备极缛丽，在杭垣首屈一指。上海文史馆馆员画家胡亚光，便是雪岩的曾孙。但盛况无常，传衍数代，就渐趋式微，无复当时的排场气派了。亚光出生于牛羊司巷的老宅，那芝园占地很大，前院为元宝街，后院为牛羊司巷，前院早已易主，后院尚留着一部分屋舍哩。亚光幼时，犹目睹一些残余遗迹，谓曲桥栏干是铁质的，外面却套着江西定烧的绿瓷竹节形柱子，晶莹润泽，色翠欲流，下雨后，更为鲜明炫目。所有窗棂屈戍，都是云南白铜制成的，镂着精致的花纹，即此一端，已足概见当时的穷奢极侈了。
亚光的父亲萼卿，典着城站相近姚园寺巷的徐花农太史第，便移居该处。亚光在这儿度着童年生活，读书余暇，即喜绘画，遥从张聿光为师，和张光宇、谢之光、姚吉光等为同学。凡聿光的弟子，都取光字为号。他本名文球，也就放弃不用了。花卉山水外，又喜传神，有顾长康颊上添毫之妙。当一九一九年，朴学大师章太炎赴杭，讲学教育会。太炎的中表仲佑适住在亚光家中，就邀亚光同去听讲，并宴太炎于聚丰园。时亚光年十九，即席为太炎速写一像，着墨不多，神情毕肖，太炎大喜，提起笔来，为题“东亚之光”四字赠给他。当时上海某杂志曾把这墨迹制版印在插页上。一自抗战军兴，亚光携家避居上海，赖卖画为生，经常为各杂志绘封面，又复主持画刊的笔政，著有《亚光百美图》《胡亚光画集》《造像琐谈》等，风行一时。他的老师张聿光善画鹤，亚光也秉承其艺，作《八仙上寿图》，那八头仙鹤，回翔于海天旭日之中，意境超逸，对之令人神怡心旷。
朋好素慕他的传神妙笔，纷纷请他造像，如夏敬观、高吹万、包天笑、黄蔼农、朱大可、陆丹林、唐云、钱释云等，都有那么一帧很具神态的供在斋舍中。戊子年，张大千来沪，下榻于李秋君家。一天下午，亚光去访，恰巧大千午梦方回，绝无他客，亚光兴至，为大千作一白描像，虽寥寥数笔，却有当风出水之概。大千赞赏之余，立为题记：“亚光道兄枉顾瓯湘馆，就案头为余写真，野人尘貌，遽尔生色，亦乱离中一大快事也。”最妙的，周炼霞出一盛年秾装照相，顾盼便娟，意态娴雅，亚光临摹勾勒，且点缀紫羽绛葩，为惜花人独立微雨燕双飞诗意图。陆澹安藏有王南石为曹雪芹所作《独坐幽篁图》片影，原为横幅，雪芹坐于竹阴石凳上，面部很小，仅似豆粒，亚光把它改绘直幅，面部放大，作伏案构思状，成为《雪芹著书图》。当时港报登载着，或认为真，或指为伪，引起一番争论。
解放后，为徐特立写一像，在上海文史馆主办的书画展览会展出，即由馆方特派专员送往北京，不久，徐老亲笔复函致谢。
我国特产熊猫，海外友邦视为珍稀之兽，亚光也就画起熊猫来了。同时画熊猫的，北方尚有吴作人，因有北熊猫、南熊猫之称。亚光所作，都以竹林为背景，钤有“不可一日无此君”七字印章。原来熊猫喜啖竹叶，亚光即取王子猷爱竹语双关，别饶趣致。亚光所用茶壶杯盘，被单毛巾，都是选择有熊猫图纹的，甚至把儿童的熊猫玩具，也累累地陈设在玻璃橱内，作为欣赏。那熊猫的纪录片，不知看了多少遍，简直成为熊猫迷。
他的斋舍，榜为梦蝶楼，这三字出于张大千手笔。其中具有一段伤心小史。他的女儿瓞赓，又名蝶，玉雪可念，又很颖慧，博得他老人家的钟爱。不幸于八岁时，患脑膜炎殇亡，他非常痛惜，因有句云：“最是辛酸忘不得，呼爷声与读书声。”梦蝶楼印，有时也钤在画上。更有一印“家在南北两峰六桥三竺九溪十八涧之间”，可见他虽旅食沪上，心中还是念念不忘故乡的西湖。
他年逾八十，精神尚健。早年风度翩翩，很是秀逸。他的乡前辈陈蝶仙称述道：“与亚光共谈笑，如对玉山琪树，令人自生美感。”有一年，小说家毕倚虹续娶汪夫人，他参加喜宴，比肩坐的是梅兰芳，某君认为亚光的美，胜过梅兰芳，撰了一篇短文，载在《晶报》上，开着玩笑。又有人把江小鹣、汪亚尘、丁慕琴、胡亚光同列为画坛上的美少年。目今亚光虽已垂垂而老，无复张绪当年，然衣履整饬，举止从容，尚有一些气度哩。
