因剑南兵马使徐知道叛乱，被迫流寓梓州（今四川三台）、閬州（今四川閬中）一带。唐代宗广德元年（763年），朝廷召他為补京兆功曹，他却不去任职。
二年正月，严武再任职成都，几次写信希望杜甫回来。六月，严武表荐杜甫為节度参谋、检校工部员外郎，故世又称「杜工部」。
永泰元年（765）正月，杜甫退出严武的幕府。四月，严武病逝，杜甫失去依靠，於五月离开成都乘舟南下，经嘉州（今四川乐山）、戎州（今四川宜宾）、渝州（今重庆）、忠州（今重庆忠县）至云安（今重庆云阳）。
次年暮春迁居夔州（今重庆奉节），甚至以船為家，「崔旰等乱，甫往来梓、夔间」，杜甫诗有「名岂文章著，官应老病休。飘飘何所似？天地一沙鸥」。杜甫居夔州近两年，写诗四百餘首。
大历三年（768年）正月，杜甫携家出三峡，经江陵、公安，暮冬抵岳阳。之后，诗人漂泊湖南，贫病交加，濒临绝境。
大历五年（770年）冬，杜甫病死在湘江舟中，时年五十九岁。杜甫因「风疾」病逝。
杜甫的逝世至今都是学术界讨论的一个话题。一些专家认為杜甫是因糖尿病而死，并在杜诗中找到证据，「我多长卿病，日久思朝廷。肺枯渴太甚，漂泊公孙城」。长卿病是指司马相如患有的消渴症，即糖尿病。
一说杜甫人在耒阳，為洪水所困，十餘日未进食，后来耒阳聂县令雇小船来接他，并且赠送许多牛肉、白酒款待，杜甫一夜食尽，竟大饱而死。郭沫若据此认為杜甫是吃了「天热肉腐」之物，因食物中毒而亡。
杜甫灵柩停厝在岳阳，唐宪宗元和八年（813年）。由他的孙子杜嗣业移葬於河南首阳山下。但现在杜甫的坟墓有八座，分别位於河南巩义市、河南偃师市、湖南省耒阳（今耒阳市）、平江县等地。
杜甫诗歌现存1400多首，写诗可分四个时期：
读书和漫游时期（三十五岁以前）：
杜甫曾先后游歷吴、越（今江浙一带）和齐、赵（今山东北部、河北南部），其间曾赴洛阳应举。不第。以后在洛阳遇李白，二人结下深厚友谊有诗赠李白，「余亦东蒙客，怜君如弟兄。醉眠秋共被，携手日同行」。堪称快意。
继而又遇高适，三人同游梁、宋（今开封、商丘）。后来李杜又到齐州，分手后又遇於东鲁，可惜的是，由於两人后半生际遇都相当坎坷，这次分别之后便没有机会再见面了。
困居