李白劝说延氏兄弟起兵勤王无果，在肃宗至德元载（756）的秋天，踏上了避乱之路。沿着大江，李白夫妇一路西上，前往庐山避难。
到了庐山，李白夫妇见到了当地的一个姓王的判官。在他的帮助下，他们得以在庐山屏风叠落脚。秋风扫落叶，李白感叹自己无法力挽狂澜，不免失望：
大盗割鸿沟，如风扫秋叶。
吾非济代人，且隐屏风叠。
中夜天中望，忆君思见君。
明朝拂衣去，永与海鸥群。
——《赠王判官，时余隐居庐山屏风叠》如果说李白在“避地剡中”时，诗文中的放浪形骸、不问战事还是故意掩人耳目的话，那么这次他的“且隐屏风叠”则是心灰意冷，无心出山了。半夜，李白思绪纷杂，难以入眠。披了衣服走出屋门，向天空望去，却没有看到明月。“忆君思见君”，再也不仅仅是对月、对故乡的思念，更是对明君、对盛唐的怀念。怀念，但无法相见，李白心中惆怅，他想，倘是如此，明天一早我就拂袖而去，和那天边的海鸥作伴，再也不过问世间之事。
在庐山避难时期，李白还写了《菩萨蛮》、《忆秦娥》等词。其悲惋哀创更胜一筹。
虽然身在庐山，虽然赌气般地声称自己不再过问天下事，但在李白内心深处，他依然对国家有着深切的关怀，随时都想出山报国。这一年快要结束的时候，永王璘的谋士韦子春来到李白的住所，他以为，永王就是自己要找的那个匡国济世的靠山。韦子春邀请李白出山，希望李白能够为永王效力。
面对能够出山济世的机会，李白几乎没有犹豫，就答应韦子春入幕。他看到韦子春的时候，简直可以用“拨开云雾见太阳”来形容。不过，也就是因为此次欣然出山，才为他自己埋下了隐患。
天宝十五载（756）正月，安禄山在洛阳称帝，六月便攻破潼关，进入长安城。与此同时，玄宗一行皇室成员从长安城西门落荒而逃，在马嵬驿发生兵变，玄宗处死了杨国忠和杨贵妃。之后，他要离开马嵬驿，此时数千名当地老百姓聚集到马嵬驿，请求玄宗留下。玄宗在马背上驻足良久，最后还是决定抛下老百姓不管，先躲掉安禄山的追杀再说。他先行一步，让儿子在后面说些安慰老百姓的话，没想到太子的马被团团围住，哪儿也去不了。过了很久，玄宗见儿子还没有追上大队伍，就拨出两千士兵给太子，自己奔亡逃命了。也就是从马嵬驿之后，父子俩一南一北，分道扬镳。在情感上，看到父亲如此对自己不管不顾，可能也使太子与父亲的隔阂更加扩大。
分别之后，七月十二日，太子在灵武自行即位，改年号为至德，由于唐玄宗尚且在世，便尊封玄宗为“太上皇”，可享受皇室成员的待遇，但手中毫无权力。由于交通不发达，第三天，玄宗任命太子为天下兵马元帅，并安排各地将领举兵抗安的部署才到达肃宗的手中，而此时木已成舟，肃宗派去通知玄宗的使者在他即位十天以后找到了玄宗，无奈之下玄宗只好拿出玉玺，写下传位诏书，派使者送回至灵武。
为了牵制肃宗，玄宗让自己的几个儿子分管割据，但盛王琦、丰王珙都不肯听从父亲的旨意，只有永王璘肯出马。在父亲的默许下，永王璘开始了军队的招募，也就是在此时，李白接到了永王使者韦子春的邀请。
至德元载（756）九月，李白仍然和妻子宗氏在庐山中避难。这时，永王璘已经在出镇江陵的途中。他知道李白向来拥护唐玄宗，便派自己的亲信韦子春前去拜访李白，请李白出山。
韦子春去找了李白三次。前两次，宗氏极力劝阻，不希望丈夫冒这个风险，李白也因此犹豫不决，一边是远离喧嚣的优哉生活，一边是可以匡扶玄宗的好机会，这让李白左右为难。韦子春第三次造访的时候，李白已经下定决心。尽管他不清楚未来等待他的是什么，但他知道出山总比在山里躲着强。大概已经预感到即将发生的祸事，要出门的时候，妻子牵着他的衣服不想让他走，还一个劲儿地问他什么时候才能回来。李白对她说：“苟无济代心，独善又何益？”之后李白便跟着韦子春离开了庐山。
王室的内斗远非李白这样单纯的诗人能够驾驭的。他虽然知道帮助永王就等于和肃宗作对，但从未想过此次出山，会为自己招来这么大的灾祸。
肃宗听说永王璘出镇江陵的事，很是生气。他让璘马上归朝，但璘并不听他调遣。这时，颇具军事才华的高适在朝中任职，肃宗找来高适询问，高适为他分析了当前的局势后，预言永王璘必败的趋势。年底，肃宗派高适出征，和江东节度使韦陟一同对付璘。
十二月二十五，永王璘正在沿江巡逻，虽然军事阵容很强大，但并没有流露出要割据的倾向。随后，永王璘的探子告诉他，肃宗已经对他起了疑心，已经派高适等人对付他，听了这话，永王璘不禁大怒，才有了反抗肃宗的行为。
永王璘突破了李希言、李成式的防守，杀了丹阳太守，并迫使江淮一带投降。就在他得意的时候，高适一行从安陆集结了大量兵马前来征讨永王璘，永王璘失利，在至德二载（757）
的二月二十战死，而这一切原本和李白并无关系。
看到朝廷宗室内斗如此恶劣，李白终于明白自己上了当。谁知他正准备从乱战中脱身，回庐山继续过自己的小日子的时候，却在彭泽境内被人发现，锒铛入狱。
