1833年3月4日，杰克逊在第二届总统就职演说中宣布：“维护州权和联邦的统一是本政府国内方针的两大目标，要引起全国人民及其代表们的特别重视。我一直非常关心，今后还将更加关心这个问题。”演讲结束时，他祈求上帝帮助：“使我们免于一切危险，使我们的人民永远团结幸福。”在“老山核桃”当总统期间，再没有人敢提退出联邦了。
为了巩固自己在民众中的威望，1833年春季，杰克逊还做了一次经过东海岸中部地区和新英格兰各州的长途旅行。途中，杰克逊乘坐新建的巴尔的摩和俄亥俄铁路公司的火车做了12英里的旅行，成为第一位坐上火车的总统。他还接受了哈佛大学授予的名誉博士学位——尽管这所大学的最知名的校长约翰·昆西·亚当斯表示反对，他嘀咕说，杰克逊几乎连自己的名字都不会写。
杰克逊在第二届总统任职初期，就决心要粉碎那个他称为“妖魔”的合众国银行。第一步，他计划把联邦基金从合众国银行转移到州立银行。然而，他并没有得到全部内阁成员的支持，特别是财政部长威廉·丁·杜安的支持。1833年9月，由于杜安拒绝执行他的计划，杰克逊撤销了他的职务，而任命原司法部长罗杰·塔尼接任财政部长。后来，罗杰·塔尼执行了这项计划，将联邦基金转入州立银行。
合众国银行行长尼古拉斯·比德尔为了报复，紧缩信用贷款，催迫银行的债户偿还贷款，从而阻滞了美国的经济发展。当各州代表团来到华盛顿，请求杰克逊缓和经济恐慌的时候，杰克逊回答说：“去找尼古拉斯·比德尔。”杰克逊的这种做法，使人们清楚地认识到比德尔和合众国银行拥有巨大的经济实力。参议院在克莱的操纵下投票通过决议，谴责杰克逊反对合众国银行的行为，而众议院却以压倒多数通过决议支持杰克逊，并提出对合众国银行进行审查。克莱再一次玩弄手段使杰克逊为难，他操纵参议院，否决任命塔尼为财政部长的命令——这是美国历史上第一次总统对内阁成员的任命被否决。
杰克逊非但出色地实现了他在第一次就职演说中提出的减少国债的诺言，而且在1835年1月8日——新奥尔良战役20周年纪念日——联邦政府有史以来第一次全部偿清了国债。国家进入繁荣时期，物价上升，纸币通行。因为联邦政府征收的税款远远超过了经费支出，1836年，杰克逊签署了一项法案，同意将剩余的联邦政府基金分拨各州。为了制止因纸币过剩而引起公有土地的投机买卖，杰克逊发布几道命令，规定只有黄金和白银可以用来购买公有土地。
1835年1月30日，在杰克逊离开国会大厦时，32岁的油漆匠理查德·劳伦斯走到离他约13英尺远的地方，用单发大口径短筒手枪朝他开了一枪。尽管发火帽正常地爆炸了，但火药没有点燃。杰克逊猛地冲向前，用手杖击打刺客。劳伦斯接着用第二把手枪又开了一枪，这一枪是近距离平射，但仍然没有打响。劳伦斯因精神错乱被判决无罪。他被囚禁在一所精神病院中，直到1861年死去。行刺事件发生后，很快对劳伦斯的手枪作了检查，发现它们完全能正常使用。这么两把手枪接连没有打响的可能性在125万次中只有一次。
因杰克逊要求法国政府赔偿拿破仑战争中美国在航运方面所受到的损失，美、法两国关系出现了空前严重的危机。两国断绝了外交关系，杰克逊准备诉诸武力。但是，法国不愿意跟这位边疆的将军发生纠纷，所以1836年杰克逊政府获得法国四次分期偿还的过期支付的赔款。于是美国与法国重新恢复了友好关系。
在对待印第安人方面，杰克逊留下了一个不很光彩的记录。他竟然连自己亲自与印第安人订立的协议也不遵守。在担任总统期间，他迫使绝大部分东部印第安部落将土地让给白人定居者，叫他们背井离乡，迁移到密西西比河西部印第安人的保留地区(今俄克拉荷玛州)。
1836年传来了一个令人难以置信的捷报：杰克逊的朋友萨姆·豪斯顿率领小股部队出人意料地打败了墨西哥军队，俘获了墨西哥总统桑塔·安娜，从而赢得了得克萨斯的独立。不久，得克萨斯申请加入合众国。杰克逊没有立即接纳这个新成立的州，因为北方反对扩张奴隶制的呼声日益高涨。但在离任的前夕，杰克逊承认了得克萨斯的独立，为日后加入联邦做好了准备。
第二年，病魔缠身、心力交瘁的杰克逊欣然将总统的重任交卸给他一手选定的继承人——马丁·范布伦。
1837年3月4日，在出席了他一手培养的后任马丁·范布伦的总统就职典礼后，杰克逊回到他的位于田纳西州纳什维尔附近的种植园赫米蒂奇。虽然他的种植园拥有1200英亩土地，但在1837年经济大恐慌之后的经济萧条期间，杰克逊很难为他的商品作物棉花找到市场，他不得不向朋友借钱，以应付业务开支。
杰克逊的经济问题不仅来自1837年的大恐慌，而且还来自儿子小安德鲁·杰克逊。小杰克逊遭到一个又一个的经济灾难。像别的地主一样，杰克逊遵守每年元旦付清账单的惯例。1838年初，杰克逊只能通过卖掉田纳西州西部的一些土地来还债。
随着1840年大选临近，人们清楚地看到，范布伦处境不妙。他对杰克逊政策的支持以及这场全国性的经济衰退，严重损害了他的声望。辉格党推出威廉·亨利·哈里逊，希望他能使选民想起杰克逊。杰克逊曾在1836年推举范布伦竞选总统，现在又希望他能够连任。他为范布伦拉过选票，但以失败告终。
1841年元旦来临了，可是杰克逊没有像往年那样清理债务，他没有能力还债。实际上他是无法算出自己到底欠了多少债。小杰克逊原来欠的6000元现在变成了15万元，但杰克逊吃不准是否还有别的债。像往常一样，杰克逊把儿子的问题归咎于他人。他说，这些债都是骗子造成的。
杰克逊给予儿子的钱财是如此之多，以致隐居庄园日渐荒芜需要油漆和修理。杰克逊遇到经济问题的闲话也逐渐在社会上传开。1841年他的棉花歉收，七匹良种马也死了。朋友们用各种办法为杰克逊募钱，但他生性清高，不愿接受赠款，只愿接受贷款。杰克逊的顾问弗朗西斯·布莱尔写信给他，表示愿意提供25万元的贷款，杰克逊很快接受了。不过他坚持要将儿子的种植园抵押给他，并在遗嘱中补上一句：在分遗产之前，必须还清布莱尔的款子。
1844年又迎来了总统大选，杰克逊的门徒希望重返白宫。杰克逊决心要看到一个民主党人获胜。1840年威廉·亨利·哈里逊的当选曾使他大为恼火，当哈里逊上台不久便死去后，杰克逊万分欢欣。“仁慈而无上的天意已经作出干预，使我们光荣的联邦和幸福的共和制能够免遭哈里逊将军及其内阁的破坏而继续存在下去……让人民高兴吧。”范布伦反对吞并得克萨斯的决定，使他失去了杰克逊的支持，杰克逊把提名给了他的田纳西州同乡和密友詹姆斯·波尔克。波尔克与杰克逊关系密切，以致他的诨名就叫“小希科里”。
波尔克的胜利意味着杰克逊已成功地把两个门生推进了白宫。波尔克的当选引来了一批求职者，其中许多人去求杰克逊帮忙。杰克逊抱怨说：“我已经都快死了，他们也知道，可仍然一批批找我帮忙，要我替他们弄职位。”当波尔克拒绝杰克逊的一些举荐后，杰克逊生气了，写信骂他忘恩负义。
杰克逊能够影响全国，却无力还债。他的身体变得更加虚弱，心情也因此变得沮丧起来。他给一位朋友写信说：“我现在是无可奈何地静候上帝的召唤。”他对另一位明友则说：“贫困正在逼视我们。”
杰克逊只得要求债主允许他缓期还债。这时，布莱尔再次向他伸出救援之手。他告诉杰克逊，他有权从自己的公司借到多至10万的钱。这封信使他老泪纵横。杰克逊把儿子的账目又过目了一遍，发现孩子又欠了8000元，于是借下那笔钱，心里以为终于了结了儿子的问题。
他的健康继续恶化。他写信给波尔克：“我的油灯差不多已经点完，最后的闪烁已经来临。”他的一只眼睛瞎了，而且无法躺着睡，只能用枕头支着坐在床上。死亡已经逼近，但杰克逊不得不再次面对小安德鲁因透支而欠下的新债。杰克逊写信给债主说：“你们可以放心，小杰克逊今后决不会再支款，除非用资产作担保……”
1845年6月2日，纳什维尔的埃斯勒曼医生给他动了一次手术，排出了他腹部的积水。6月8日早晨，杰克逊醒来后不久，就陷入了昏迷状态。家中仆人们哭了起来：“天哪！老主人死了！”尽管儿子滴白兰地酒使他苏醒过来，他和他周围的人都意识到，他的情况正在迅速恶化。他向家里人和仆人告别：“我亲爱的孩子们，朋友们，仆人们，我希望并盼望在天堂和你们大家——白人和黑人见面。”这就是他的遗言。这天下午晚些时候，他握着儿媳萨拉·约克·杰克逊夫人的手颤抖了一下，张开嘴，便断了气，享年78岁。
根据杰克逊的安排，在1843年6月生效的遗嘱中，杰克逊首先规定，先出让他的不动产和动产的所得偿还包括利息在内的总额为16万美元的债务。他把三柄礼仪用剑分赠给外甥安德鲁·杰克逊·多纳尔森、侄外孙安德鲁·杰克逊·科菲和孙子安德鲁·杰克逊第三，责成他们在必要时持剑保卫合众国和维护宪法。他把剩余遗产的大部分，包括赫米蒂奇及其内含物品留给了养子小安德鲁·杰克逊。
