上元三年（676）二月，河中的将士发生变乱，在混乱中，李国贞被杀。当时太原节度使邓景山也为部下所杀，朝廷担心这些乱军与回纥叛军联合起来，而当时朝中的很多将领资历很浅，无法平息这些兵乱，于是，在这个形势十分危急的时刻，朝廷再次起用郭子仪为朔方、河中、北庭、潞、仪、泽、沁等州节度使行营，兼兴平、定国副元帅充本管观察处置使。自此，便有了汾阳郡王郭子仪这个称呼。
其实，郭子仪的祖辈，自隋入唐，世代为官，自然早已在京城中置有宅第。其父郭敬之一代，居于万年县常乐坊。郭子仪屡立战功，功盖朝野，受到朝廷的很多赏赐，在京城内外，拥有多处宅第、园林、庄田、水碾等产业。长安县大通坊内有郭子仪园槠，万年县平康坊有他的私宅，亲仁坊有他的汾阳王府。王府占地面积很大，在府内各院之间往来，可以乘坐车马。屋宇建筑，宽敞华丽，“堂高凭上望，宅广乘车行。”郭氏家族繁盛，人丁兴旺。郭子仪有八子八女，儿子和女婿们都立朝为官，他的孙子辈多达数十人，府内男女童仆多达3000人，出入往来，许多人都不认识。
郭子仪家族繁盛，但是有关郭子仪的兄弟的记载，只有郭幼明一人。郭幼明拙于武艺，治家理事，爱酒贪杯，性情忠胆，喜欢结交宾客，人缘非常好。后来因为郭子仪战功卓著，郭幼明位至太府卿（从三品）、封爵太原郡开国公（正二品），大历八年（773）去世，后又追赠太子太傅（从一品）。郭幼明之子郭昕，继承了家族的尚武传统，从戎守边。唐肃宗末年，郭昕被任命为安西四镇节度留后。后来由于吐蕃攻陷河西、陇右大部地区，西域与长安的交通被切断，他无法和长安的亲人以及朝廷通信，在这样的情况下，他坚持了十五年。在此期间，郭昕与北庭节度使曹令忠统领所部将士，关闭边境，严密防卫，抗击吐蕃。伊州（新疆哈密）刺史袁光庭，拒绝了吐蕃的多次诱降，在孤立无援的情况下，坚守州城达数年之久。最后兵尽粮绝，以身殉国。德宗建中二年（781）六月，郭昕与曹令忠派出的使者，绕道漠北回纥部落，历尽艰辛，终于到达长安。中央朝廷这才知道西域地区十余年来的战守情形。后来德宗感念郭昕这么多年来的坚守和忠心，下诏任命郭昕为安西大都护、四镇节度使，赐爵武威郡王；袁光庭和郭昕部下将士全体超升七级，并且在六月十九日，追赠袁光庭为工部尚书。
郭子仪去世后，郭曜承袭爵位代国公和食封民户，郭曜身躯魁伟，仪表堂堂，历官至太子宾客（正三品）。郭子仪因长年征镇在外，遂留郭曜在京城供职，奉母治家。郭曜生性恬然，孝悌谨慎，因而郭府上下少长千余口，皆得其所，人无闲言。德宗即位初，罢免郭子仪兵权，同时为其诸子加授官职，郭曜得迁太子少保（正二品）。几个弟弟争相修筑宅舍园池，盛饰车马服用，纵情欢乐。而郭曜总是简朴自处，不务奢华。他遵照父亲临终遗命，将玄、肃、代、德四帝先后赏赐的名马珍玩等，全部上献朝廷。唐德宗感念郭子仪生前的功劳，于是又下诏将这些赏赐之物赐还给郭府。郭曜将这些赐物分给诸弟，均沾皇恩。郭子仪的八个儿子中，次子郭旰于肃宗时战死沙场；长子郭曜、三子郭晞、六子郭暧、儿子郭曙四人，在代、德两朝中，皆以才干出名而显达。
郭晞从少年时代起，就长于骑射，后随父亲参加平叛战争和抵御吐蕃的“防秋”，累立战功。大历七年（772），加官至开府仪同三司（从一品），地位祟贵。唐德宗称帝后，郭晞为检校（代理）工部尚书，判理秘书省事务。贞元十年（794），赵国公郭晞卒，追赠兵部尚书。郭暧13岁时因娶代宗第四女升平公主，拜驸马都尉（从五品下）。试官殿中监，封爵清源县侯。大历末年，郭暧官至检校左散骑常侍（从三品）。贞元十六年（800）七月，驸马都尉、代国公郭暧卒，享年48岁，追赠尚书左仆射。郭曙在唐代宗年间，官至司农卿（从三品），封爵太原县。唐德宗建中三年（782）冬，舒王李谊任淮西、山南诸道大元帅，以郭曙为检校左庶子，任元帅府都押牙，卒于贞元末年（804）。
然而，世事难料，郭子仪去世后，朝廷上先后由宰相杨炎、卢杞秉政。这两人都是有名的奸相，他们特别计较个人恩怨，忌妒一些因战功而获得重用的人，而卢杞更是如此。朝廷一时陷入到黑暗腐败当中，正是奸臣当道，忠良之臣备受残害。很多贪利之徒，借势滋生事端，甚至利诱私家奴婢告讦主人，谋夺他人的家财和童仆。长安县令李济、万年县令霍晏都遭奴婢诬告而问罪贬官。建中三年（782）正月，先是郭子仪的四女婿少府少监李洞清、八女婿光禄卿王宰被家奴告讦而贬官，接着七女婿赵纵也被奴仆当千以家中隐秘之事告发，下狱问罪，贬为循州（广东惠州东）司马；而当千却被收入内侍省供役。还有无赖之徒，妄造罪名，凌逼郭氏兄弟，企图强买或强夺他们的田宅奴婢。郭氏兄弟极为恐慌，也不敢上奏申诉。在这个时候，朝中为数不多的忠臣宰相张镒，看到这种情况，上疏德宗，引用贞观时太宗皇帝“奴告主皆不受，尽令斩决”的诏旨，请求对功臣子弟予以宽宥。唐德宗知晓其中情由后，感怀功臣，下诏禁止诬构郭氏子弟，将赵氏家奴当场杖杀。张镒遂让郭曜集合府中奴仆数百人，陈示当千尸体，以惩效尤。张镒，原是郭子仪的老上司朔方节度使张齐丘之子，又是郭子仪任关内副元帅时的军府判官。他居官清正，节操高尚，不与卢杞之辈同流合污，所以竭力保护郭氏子弟。
建中四年（783）三月，郭曜去世，追赠太子太傅（从一品）。德宗诏令由郭子仪第六子驸马都尉郭暧承袭代国公爵位；郭曜承袭的食封两千户，依照法式减半，分赐郭子仪第三子赵国公郭晞、第七子右金吾将军祁国公郭曙、第八子太子左谕德郭映和郭暧，每人各二百五十户。不久，又诏令将郭晞兄弟四人所袭食封各减五十户，分赐给郭曜之子郭锋、郭晤之子郭镭，每人各一百户。同年十月初，唐德宗调发泾原镇兵前往关东，征讨抗命的藩镇。当时，由于节度使姚令言率五千名士兵冒雨经过长安时，既未得到朝廷任何赏赐，而且送来犒劳的饭菜粗劣难食。士兵饥疲愤怒，哗然生变，冲入城内大肆抢掠皇家库藏。随后，乱兵冲到大明宫丹风门外，而神策军竟无一人奉诏前来护宫保驾。德宗仓皇北出大明宫，奔往奉天（陕西乾县）。在这个危急的情形之下，郭曙正带着家兵在禁苑北面打猎，惊闻皇驾出城，立刻在路旁拜见唐德宗，加入护驾行列。郭暧及升平公主因事变仓促，不知皇驾出奔，被困在城中。郭晞出城欲避往南山，但是被叛兵拦截，强行抬回城来。泾原乱兵在姚令言策动下，拥立太尉朱泚为主。朱泚随后占据京城反叛朝廷，僭称皇帝，大杀李唐宗室，并发兵围攻奉天。兵变京城，皇驾出奔，朱泚僭越，人心浮躁，忠奸立辨。在这个时候，以往不被重用以及和朝中重臣有怨恨的官员也纷纷投靠朱泚，出任伪职。但是，还是有很多的大臣忠于大唐，当时，忠于李唐的官员，则首推司农卿、原泾原节度使段秀实。朱泚强召段秀实等人商议军事，段秀实对朱泚唾面诟骂，并夺过旁人手中的象牙朝板，砸得朱泚血流满面，最后披叛兵乱刀杀死，壮烈殉国。郭氏兄弟也受到朱泚一伙的引诱逼迫。郭暧以丧服未除且身患疾病为由，拒绝出任伪职。郭晞则佯装暗哑，叛兵持刀威胁，郭晞始终沉默不言。叛兵无计可施，扫兴而去。其后，郭暧夫妇和郭晞潜出长安，投奔奉天（陕西乾县）。唐德宗对郭氏兄弟忠诚不二，争光家门的行为，大加赞赏。兴元元年（784）二月，唐德宗驾幸粱州（陕西汉中）避乱，取道骆谷（陕西周至西南）翻越秦岭。郭氏兄弟随从南行，山路崎岖，泥泞难行，郭曙与李升、令狐建、李彦辅、韦清等功臣子弟，人人被甲，牵挟御马，护从而行。同年五月，大将李晟、浑碱等收复京城，朱泚在逃亡路上被部下杀死。七月，唐德宗返回长安，对“奉天定难功臣”进行封赏，郭曙擢升左金吾大将军（正三品），郭暧迁官太常卿（正三品），郭晞改任太子宾客（正三品）。
贞元六年（790），有人诬告郭子仪生前宠姬张氏家中藏有宝玉，张氏的兄弟又与郭氏子孙相互告状。唐德宗下令由侍御史卢群审断官司。卢群上奏道：“张氏的财物，是尚父在世时分给的，应当归属张氏所有。尚父的子孙不应与其争夺。再说，张氏家中和亲仁坊尚父家中的纠纷，都是他们的家事。郭子仪有大功于国家，臣请求陛下予以特赦免而不过问，让他们反省恩过，自己撤诉。”唐德宗采纳了这一建议。史称卢群博涉经史，明晓为政大体。
此后不久，郭氏再一次荣耀崇贵，郭暧与升平公主所生女儿，在唐德宗时被选为皇孙广陵郡王李纯（即宪宗）之妃。贞元十一年（795），郭妃生子李恒（即穆宗）。元和八年（813），郭妃被册封为贵妃（正一品，仅次于皇后）。元和十五年（820）正月，穆宗即位，尊其母为皇太后；追赠太后父郭暧为太尉，母为齐邑大长公主；任命太后兄司农卿郭钊为刑都尚书（正三品）兼司农卿，右金吾卫大将军郭纵为检校工部尚书。郭太后又下令在宣阳坊修建奉慈寺，为其母齐国大长公主的亡灵追福。郭太后历位七朝，五居太后之尊，福寿隆贵达40余年。宣宗大中二年（848）六月，郭太后崩，谥号为“懿安”，合葬于宪宗景陵（陕西蒲城西北）。
郭子仪的后代享其荫庇，在唐朝政权中，经久不衰。唐宪宗元和九年（814）五月，左金吾卫太将军郭钊上奏：“亡祖故尚父子仪，陪葬建陵，欲于坟所种植楸松。”唐宪宗下诏许其栽种。到了唐末僖宗乾符六年（879）十月，京兆府上奏称，尚父郭子仪庙因淋雨倒塌，得知这一情况后，唐僖宗敕令“减赐御膳钱三千贯，雇丁匠修缮，明年仲春，以太牢（牛、羊、猪三牲全备）祭奠。”在中国古代历史上，像郭子仪这样能够享受荣宠尊位的大臣已经是寥寥无几，而后世仍然能够经久不衰的则更属凤毛麟角。
