严武对杜甫确实是很关照的。764年（广德二年）6月，严武上表朝廷，推荐杜甫任节度参谋，授职检校工部员外郎，赐绯鱼袋。这样，杜甫又成了朝廷的命官，有了固定的俸禄收入，全家的生活有了着落，他感到很满意。因为这次任职，后人称杜甫为“杜工部”。
严武这次到成都任节度使，主要任务是抗击吐蕃，收复松、维、保三州。严武注意整顿军队，加强练兵。杜甫应邀观看了军队的操练，又在严武的公堂上观看了骑兵试用新军旗表演。杜甫为严武治理军政献计献策，写了《东西两川说》一文。
七月，严武率兵西征。九月，击败吐蕃军队七万余人，攻克了当狗城（今四川理番县东南）。
十月，又攻克了盐川城（今甘肃漳县西北）。又令部将崔旰（gan）在西山一带出击吐蕃军，攻城拔寨，推进了数百里，被吐蕃叹为“神兵”，终于稳定了成都以西的局势。这些胜利使杜甫感到欢欣鼓舞。
在成都任职期间，杜甫有机会在一些官吏家中欣赏到了曹霸、李固等人的绘画。
曹霸的绘画给他留下了极深的印象，他写了《丹青引赠曹将军霸》这首最负盛名的题画诗，诗中不仅生动地描写了曹霸的高超绘画成就，而且借画家一生的遭遇，寄托了治乱兴衰、世态炎凉的深沉感慨，其中的“丹青不知老将至，富贵于我如浮云”一句更是千古传诵。
杜甫在成都幕府中，也遭到了一些同僚的猜忌和白眼。杜甫与别的幕僚不一样，他年长，阅历多，诗名大，又是严武的老朋友，深得严武的尊敬，经常被严武带在身边，游赏山水风光，一起登临泛舟，一起吟诗唱和。严武宴请部下，常常让杜甫坐在前席。这就引起了同僚们的嫉妒。加上在与同僚难免有不同的意见时，杜甫又不懂得拐弯抹角，退让附和。这样，同僚们虽然当面同杜甫说说笑笑，好像很融洽，背地里却哂笑杜甫老朽，说他的坏话，甚至搬弄是非。杜甫感到既气愤又好笑，为此写了《莫相疑行》，表明自己不与他们争抢什么，犯不上互相猜忌。
幕府生活过于单调死板，很不自由。每天清晨要早早入府报到，直到夜晚才回来。除非生病，中间不准离开。上班时，要穿又窄又紧的服装。处理文件也有严格要求，否则会受到军法惩处。
杜甫因为家人在浣花溪草堂，他一个人在幕府，就常常夜宿府院。潇潇秋雨之夜，他对着快要燃尽的残烛，听着远处传来的鼓角声，自言自语，感到十分孤独悲凉。
杜甫的身体也越来越差，牙齿松动，头发培白，又患肺病、头风、痹病，在座位上坐久了会全身麻木，不能动弹。家人也很担忧他的身体。
杜甫决定辞去幕府职位，回到草堂过闲散自由的生活。他写诗给严武说：“白水鱼竿客，清秋鹤发翁。胡为来幕下？只合在舟中。”（《遣闷奉呈严公二十韵》）在他的再三请求下，公元765年（永泰元年）正月三日，严武终于同意他辞职。
杜甫回到草堂后，对茅屋进行了修葺，除掉了茅屋周围的杂草。在“野水平桥路，春沙映竹村。风轻粉蝶喜，花暖蜜蜂喧”的春光里，他“把酒宜深酌，题诗好细论”（《敝庐遣兴奉寄严公》），非常惬意自在。
回到草堂后，他写了二十多首有关春天的诗，都表现出适意满足之情。有时候，也难免产生思乡忧国之情，或者出三峡赴荆楚的念头。他还写诗给严武，希望严武在闲暇时能到草堂来一起喝酒，吟赏春光。
想不到这年四月，严武忽然暴病身亡。
几个月来，杜甫连续受到了朋友去世噩耗的沉重打击。前一年秋天，关中发生灾荒，杜甫的朋友苏源明在长安俄死。另一位朋友郑虔，病死在台州。
没过多久，就在杜甫辞去幕府回成都草堂的时候，即公元765年（永泰元年）正月，高适也逝世了。之前，王维已在公元761年（上元二年）逝世，李白在公元762年（宝应元年）病逝。稍前，王昌龄、储光羲也已死去。
这些盛唐著名诗人先后一个个离去，杜甫不禁悲痛地哀叹：“豪俊何人在？文章扫地无。”（《哭台州郑司户苏少监》）现在，严武也离开了人世。严武不仅在各方面关照杜甫，同时也是杜甫重要的诗友。
严武一死，杜甫生活上失去了依靠，在成都也已经没有什么好朋友，多年来远赴荆楚地区的愿望又浮上心头。于是，杜甫决定离开成都，乘船顺江东下荆楚。
