杜甫从20岁（731年）到29岁（740年）的十年内做过两次长期的漫游，漫游的区域是吴越和齐赵。
这个时期，唐朝正处于唐玄宗开元盛世时期，那是唐代最繁荣昌盛的时期，国家强大，社会稳定，物产丰富，粮食充足，文化繁荣。
杜甫后来在成都回忆起当时的情景，写了《忆昔》一诗，在诗中，他这样说：
忆昔开元全盛日，小邑犹藏万家室。
稻米流脂粟米白，公私仓廪倶丰实。
九州道路无犲虎，远行不劳吉日出。
齐纨鲁缟车班班，男耕女桑不相失。
从这几句诗里我们可以看出，当时由于劳动人民辛苦的工作，米粟充实了仓廪，商贾在路上络绎不绝。交通以长安为中心，四通八达，大道上驿站旁的店肆里都备有丰富的酒馔（zhuan）和供客乘用的驿驴，行人远行数千里，身边用不着带粮食，也用不着带兵器。水路有沟通黄河与淮水、淮水与长江的运河。从江南乘船可以直达洛阳，成为运粮的要道，这也是唐代统治者经济上最重要的命脉。杜甫第一次的漫游就沿着这条水路，经过淮阴、扬州，渡过长江，到了江南。
杜甫把江南作为此行的目的地，有两个原因：首先也是最重要的是，江南是六朝故地，六朝时期的谢灵运、陶渊明、鲍照、谢朓（tiao）、阴铿、何逊、庾信等诗人的生活和创作活动都主要在江南一带，这些诗人的作品对杜甫早期的诗歌创作曾产生过很大影响，他们作品中写到的江南旖旋秀美的山水和各种动人的故事，对杜甫有着极大的吸引力。
其次，杜甫去江南还有人事上的因缘。他的叔父杜登，是武康（今浙江德清）县的县尉，还有一个姑丈，名贺为，任常熟县尉。
杜甫从洛阳出发，走水路，沿着运河，经过淮阴、扬州，渡过长江，到了苏州、绍兴等地。
他置身于那里秀丽的山水中，心中好兴奋啊！他在姑苏拜访了吴王阖闾的陵墓，游览了虎丘山的剑池；走到长洲苑，正赶上荷花盛开；走出阊（chang）门，拜谒太伯庙，庙影照映在一片宁静的池塘里。
吴太伯是周文王的哥哥，他为了把王位让给弟弟，主动离开，跑到遥远的南方去。杜甫想起吴太伯的谦让，无限感慨。他也起过这样的念头，想登上浮海的航船，去看一看人间传述的海外“扶桑”（指日本）到底是什么景象，因为顺着扬子江可以驶入通往日本的海道。
但他并没有去大海，只是渡过钱培江，登西陵（今萧山县西）古驿台，在会稽体会了勾践的仇恨，寻访了秦始皇的行踪。五月里澄清的鉴湖凉爽如秋，湖畔的女孩子洁白如花，他乘船一直到了曹娥江的上游剡（shan）溪，停泊在天姥山下。
吴越的古迹轶闻实在太多，卧薪尝胆、枕戈待旦的越王勾践，南渡浙江、游历会稽（今绍兴）的秦始皇，把匕首藏在鱼腹中、刺杀吴王僚的侠士专诸，穿着旧装、腰间挂印、当众羞辱前妻的朱买臣等流传已久的名人事迹，在这些地方都能寻到他们的踪影。那容颜秀美、肤色白皙的江南女子，炎热的夏天却凉爽宜人的鉴湖水，秀丽别致、风光独特的剡溪山水，处处令人难以忘怀，处处可以引起诗人的雅兴。
这次漫游，杜甫也曾在江宁停留过一些时日。他看见六朝时代像王家、谢家的那些豪门士族都已烟消云散，可是瓦棺寺里顾恺之的维摩壁画却依然无恙。
瓦棺寺建于364年，顾恺之在壁上画了维摩诘像，一时光照全寺，引得全城的人都来看画，庙里不一会儿的工夫便收集了布施百万。时间过去，将近270年，这幅画并没有失去它的光彩，它仍旧吸引着远远近近的游人。杜甫不只如饥似渴地欣赏了那幅图画，而且还在江宁人许八那里求得瓦棺寺的维摩诘像。
在古代名画中，这也许是杜甫看得最早、或是印象最深的一幅。公元735年（开元二十三年），杜甫24岁，为了参加科举考试，他回到巩县故乡，请求县府保送。此后他再也没有重来江南，但后来他无论到什么地方，都时常思念吴越的“胜事”，并且也有过到江淮一带住家的打算。
开元二十三年，他由江南赶到东都洛阳参加了一次科举考试。这次考试的主考官是当时特别有名望的善于选拔人才的孙逖。
考前，杜甫自视甚高，但现实却和他开了一次玩笑。贾至、李颀、萧颖士、赵骅等当时没什么名气的人都考上了，杜甫却落第失败了。杜甫虽然感到懊恼，但当时少年气盛，对考场得失并不十分在意。
第二年，杜甫又开始第二次漫游，这次的地点在齐、赵（今河南、山东、河北）一带。
其间他还创作了《望岳》、《登兖州城楼》等作品，写下了“会当凌绝顶，一览众山小”这样俯视一切、慷慨激昂，对人生充满憧憬和信心的名句。
开元二十九年，杜甫回到洛阳。744年（天宝三栽），他在洛阳与李白相遇结识，二人一见如故，同游梁、宋，这是杜甫的第三次漫游。
