婚后，李白告别安州中都府的马世会，过上了一段相对安宁的生活。他和许氏在白兆山开荒种田，在桃花岩凿石而居，闲来无事呼朋唤友，喝酒游玩，可以说过得优哉自在。
好日子总是不能长久。有一天，李白喝了很多酒，优哉地骑着大马在街上行走。这时，迎面驶来了李长史的马车。在古代，凡夫庶人见到官府的车马，都要马上让开以示尊敬，而李白可能因为醉酒的关系，不但没有及时回避，相反驭马停留在街道中央。李白这一傲慢无礼的行为激怒了李长史，以至于李长史欲对李白大加刑罚。
毕竟快到而立之年，又已成家，与少年时期相比，李白身上多了一些成熟与担当。为了免于受罚，李白不仅向李长史道了歉，还写了一封“检讨书”——《上安州李长史书》以示诚意。
后来，李白又不小心得罪了裴长史。在结婚之前，李白和裴长史已经是故交，他的才学也很得裴长史的认可。然而，关于李白的“谤言”在李白结婚以后忽然四起，周围相识不相识的人都在传言李白的坏话，这不仅使入赘的李白在众人面前愈发抬不起头来，更让他的形象在裴长史心中一落千丈。当裴长史对李白渐渐疏远的时候，李白心中还对裴长史心存幻想，希望能够在裴长史的提拔下飞黄腾达。在得知裴长史对自己印象不好之后，李白又写了一篇《上安州裴长史书》，想要为自己澄清，不过，裴长史可能并没有因为他的文章而动容。
李白的遭遇再次证明，在唐代，入赘女婿是很被众人看不起的。如果在外遭受冷落，在家能够得到妻子的一丝宽慰，也许就不会有李白后来的长安之行。然而，本应最理解丈夫的许氏，此时也并没能给李白以理解和宽容。开元十八年（730）暮春时节，李白断然离开了安州，前往早已向往已久的西京长安。
李白虽然自己号称是李广将军的后代，但是据说他们一家迁到蜀地的时候，李白的父亲还没有姓氏，因为来到一棵李树下，于是取李为姓，因此有学者推断，李白的家庭可能并没有那么阔绰。李白成年后到各地漂泊，几乎再也没有靠过自己的家庭，也可以作为李家并非豪门的佐证。
婚后在山上耕田的李白恐怕更无多少收入，加上此行旅途很长，经过了南阳、内乡、武关、商洛、蓝田，路上的花销应该也很大。在辗转到达长安之后，李白又不得不依靠自己岳父家的关系。当时，李白的岳父，前丞相许圉师的侄孙许辅乾在长安任光禄卿，在许辅乾的引荐下，李白拜谒了左丞相张说。得知李白的来意，左丞相安排他的次子、驸马都尉张垍，给李白找了一处住所。
李白以为通过“熟人”介绍，就能够“直抵卿相”，然而随后发生的事情又让李白陷入了困境。
原来，所谓的“玉真公主别馆”并非什么公主级的会所、豪宅，而是地处深山之中的一所荒废的宅子：
潈潈奔溜闻，浩浩惊波转。
泥沙塞中途，牛马不可辨。
饥从漂母食，闲缀羽陵简。
园家逢秋蔬，藜藿不满眼。
蟏蛸结思幽，蟋蟀伤褊浅。
厨灶无青烟，刀机生绿藓。
——《玉真公主别馆苦雨赠卫尉张卿二首》其一
这所荒宅，实在堪比电影中的深山破庙：宅子里荒草丛生，能够真切地听到蟋蟀的鸣叫。蜘蛛在窗户上结了网，厨房也已经很久不开灶。加上一连几天的阴雨连绵，李白在别馆中常常饿肚子，无奈之下，只好向周边的农家求助，靠粗茶淡饭度日。实在酒瘾难耐，李白只能将过冬用的皮衣用来换酒，才能换来畅快一醉。
庾信的一篇《哀江南赋》中，曾经用了“三日哭于都亭，三年囚于别馆”。在上诗中，李白用“别馆”来命名自己的寓所，可见在李白心中，住在这样的寓居实在和软禁没有太大的区别。
张氏父子位高权重，如果真的有心举荐贤能，即使再不济，应该也可以轻轻松松让李白住到条件优越的住所中；如果无心举荐，大可推辞了之，为什么会把李白安排在这样一个前不着村、后不着店的地方呢？后人猜测，一来张氏父子对李白的入赘非常看不起，可能出于内心的排斥，才把李白“囚禁”到荒宅；二来也有可能张氏早已听说李白的才华，出于妒忌之心，不愿让李白找到施展才华的出路。
那么李白又是因为什么相信了张垍，来到玉真公主别馆的呢？
玉真公主名叫李持盈，是武则天的孙女、唐玄宗的同母妹妹。在很年轻的时候，玉真公主就非常推崇道教，武则天死后，失去了保护伞的玉真公主自愿选择出家做道士。
我们知道，唐朝妇女的自我意识非常强烈。在当时，“女道士”中是有很多不愿受婚姻束缚、追求爱情自由的“自由女性”的，其中比较有名的就是鱼玄机。
李白本身对道教非常痴迷，和玉真公主有着共同的兴趣爱好，而玉真公主又是皇帝的妹妹，说不定通过玉真公主，就能够直接见到皇帝本人，大概因为考虑到这些，在听说张垍要带自己居住在玉真公主寓所时，李白可能兴冲冲地就跟去了。
这一去，不能不说是李白自找的。留也没法留，走又无处投奔，实在是造化弄人。
而李白后来竟真的与玉真公主有过一段恋情，甚至与大诗人王维成了“情敌”，这就是后话了。
