在朝中先被同僚排挤，接着又遭到玄宗的冷落，从天宝二年（743）开始，李白就犹豫不决，不知该去该留。
天宝三载（744），王昌龄和他关系很好。这天，李白让王昌龄和自己一起去送同族的弟弟。看弟弟远行后，李白对他说出了内心的想法：
予欲罗浮隐，犹怀明主恩。
踌躇紫宫恋，辜负沧州言。
——《同王昌龄送族弟襄归贵阳》
李白对王昌龄说，自己在朝中过得很不得志，很想就此隐退，过闲云野鹤的生活。但是，一想到圣上对自己这样器重，就又不知该如何是好了。
其实，在此之前，玄宗也曾有过给李白升官的想法，只因李白曾经开罪了杨玉环和高力士，玄宗每每提出要封官，就遭到杨玉环的阻止。再加上同僚的谗言，更使玄宗坚定了不给李白加官的想法。
王昌龄听了李白的诉苦，深表同情，他也认为李白的性格不适合留在尔虞我诈的官场，这才促使李白决心离开长安。所以在上面这首诗的最后，李白又说：“终然无心云，海上同飞翻。相期乃不浅，幽桂有芳根。”他终于决定回去过“幽桂芳根”的生活了。
这时候，李白身边的诗酒朋友都纷纷感到仕途不顺，想要归山。这一次，李白来送一个叫裴十八的朋友回嵩山：“举手指飞鸿，此情难具论。同归无早晚，颍水有清源。”（《送裴十八图南归嵩山》）看到朋友要归山，联想到自己在朝中的不合意，李白也不想再久留了。因此，他对裴十八说，你先回去，我随后也要辞官返乡了，至于什么时候回去，这是早晚的事了。话说这天，李白又被玄宗召见，这次不是什么出游赏花，而是参加宫中的歌舞宴会。在宴会上，舞者歌舞翩翩，李白的思绪却飘到九霄云外。他看着这些风姿绰约的妙龄女子，她们就像被束缚在笼罩的飞鸟一样，虽然享受着皇族的待遇，却一辈子都飞不出这黄金的牢笼。
宴会结束，李白回到自己的住所，他感慨万千，心想自己再也不能做这笼中的小鸟了：
辟邪仗作鼓女惊，维于斑之奏曲成，喂咯振迅欲飞鸣。扇锦翼，雄风生。双雌同炊啄，矫悍滚能争？乍向草中耿介死，不求黄金笼下生。天地至广大，何惜遂物情？各卷让天子，务光亦逃名。所贵旷士怀，朗然合大清。
——《设辟邪伎鼓吹锥子斑曲辞》
到这个时候，李白已经把翰林待诏的官位视作精神心灵的束缚，如果不早日离去，恐怕再也难以脱身。
过了一段时间，王昌龄也告别李白，要离开长安了。环顾四周，李白发现自己的朋友一个个都离开了长安城，便觉得内心更加惆怅。
送君霸陵亭，霸水流浩浩。上有无花之古树，下有伤心之春草。
我向泰人问路歧，云是王粲南登之古道。古道连绵走西京，紫阙落日浮云生。
正当今夕断肠处，骊歌愁绝不忍听。
——《灞陵行送别》
王昌龄也走了，李白心里很失落。临走前，王昌龄一再嘱咐李白早日离开朝廷，在朋友的劝说下，李白也不再犹豫，终于下定离开的决心。
李白向玄宗提出离开的请求，玄宗一开始并没有答应。而最后玄宗终于肯放李白返乡，其中原因更是不为人知。
有人说，李白遭到张垍的诽谤，玄宗虽然了解李白的为人，但怎奈他和朝中不少大臣都不和，所以没办法再留下他，只好让他回乡。
也有人说，李白醉酒时“力士脱靴，贵妃研墨”的行为惹怒了杨玉环，为了讨好杨玉环，玄宗便决定辞去李白的职务。
也有人说，玄宗当时考虑到李白经常出入于内宫，还经常帮自己起草诏书，“知道得太多了”，而李白又口无遮拦，他担心李白说出不该说的事，才决定放李白回家。
无论玄宗究竟为什么辞掉李白，最终的结果只有一个：天宝三载（744）的春天，玄宗赐给李白不少钱财，终于准许李白辞官还乡。
