大历四年（769）正月，杜甫过洞庭湖，沿湘江南下，三月抵达潭州（今湖南长沙），又至衡州（今湖南衡阳）。杜甫本想去投奔任衡州刺史的友人韦之晋，可是当他到达那里时，韦之晋已经调任潭州刺史，杜甫一家在衡州举目无亲，只好折回潭州，可是更没有想到韦之晋已在潭州病卒。从夏至冬，杜甫一家只好一直住在停泊在潭州的一叶扁舟之中。其《江汉》一诗写出了漂泊中的愁苦之状及思归之情，诗曰：江汉思归客，乾坤一腐儒。片云天共远，永夜月同孤。落日心犹壮，秋风病欲苏。古来存老马，不必取长途。
末两句谓古人存老马，并非因为它能奔走长途。诗人自觉虽然年老，不能驰骋，却当有他用。诗人境遇虽然如此，但内心中隐然还有一股豪气与倔强。
杜甫漂泊江湘一带时，境遇很差，病魔缠身，这使他更想念北方，梦归故园。他自离开长安之后，对京城的眷恋可谓至死不渝：
佳辰强饮食犹寒，隐几萧条戴冠。春水船如天上坐，老年花似雾中看。娟娟戏蝶过闲幔，片片轻鸥下急湍。云白山青万余里，愁看直北是长安。
——《小寒食舟中作》
杜甫在潭州结识了韦迢、苏涣等人。韦迢新任韶州（治在今广东韶关西南）刺史，赴任途中经过潭州，苏涣应湖南观察使崔之召而来潭州。苏涣此人极富有传奇色彩，少年时喜剽盗，擅长于白色弩弓，巴蜀一带的商人都怕他，称他为“白跖”。但后来他折节读书，不几年竟然进士及第，累迁侍御史。他是诗人，曾作《变律》十九首，长于讽刺，人以为有陈子昂的一鳞半爪。韦迢、苏涣都会写诗，对老诗人也相当敬重，彼此都有诗歌往来，但他们没办法给予诗人的生活以很大的帮助，诗人一家常常忍饥挨饿。
大历五年（770）四月，湖南兵马使臧据潭州作乱，五十九岁的诗人又一次携家眷逃难：“五十白头翁，南北逃世难。疏布缠枯骨，奔走苦不暖。已哀病方入，四海一涂炭。乾坤万里内，莫见容身畔。妻孥复随我，回首共悲叹。故国莽丘墟，邻里各分散。归路从此迷，涕尽湘江岸。”（《逃难》）诗人复至衡州，写下了“丧乱死多门，呜呼泪如霰”（《白马》）的沉痛诗句。
其时杜甫的舅氏崔玮任郴州（今属湖南）刺史，诗人欲往投之，于是沿耒水而上，至耒阳（今属湖南），正值江水大涨，只得泊舟于方田驿，四周汪洋一片，诗人一家竟有五日不得食。幸亏耒阳县令聂某闻讯，即驰书慰问，并送来了牛炙白酒，一家人方免于饿死。因水阻不能南行，于是回棹北归。
冬天到了，诗人病倒了，病倒在行往岳阳的舟中。诗人生命的最后一息献给了诗歌，他作绝笔诗《风疾舟中伏枕书怀三十六韵奉呈湖南亲友》。湖上的景象，脑海中的记忆，一生曲折坎坷的经历，心中无数感慨与叹息，无论是青岸枫林、白屋水乡，还是祭鬼歌舞、伤心丝竹，统统都浮现在他的眼前，奔走在他的笔下。“书信中原阔，干戈北斗深。畏人千里井，问俗九州箴。战血流依旧，军声动至今”，诗人对自己漂泊他乡的命运以及疮痍满目的乾坤表示了最后的哀痛。
一颗巨星就在这无限的孤独、寂寞中陨落了。
诗人的灵柩旅殡于岳阳，四十多年后才由他的孙子杜嗣业归葬于偃师首阳山之下。“千秋万岁名，寂寞身后事！”
