在1832年的大选中，杰克逊获得了56％的选票，同时得到的选举人票几乎是对手的五倍，表明民众对他执政的欢迎程度。杰克逊的第二任总统任期为1833年到1837年。卸任后，他回到田纳西的家中安度晚年，于1845年6月去世，享年78岁。根据他的遗嘱，杰克逊安葬在自己家园的土地上，与夫人雷切尔同墓。杰克逊外号“老山胡桃”（Old Hickory），从此安息归入天家。
杰克逊执政期间，美国政府首次无外债。至2015年为止，也是唯一的一次，据信其他主要工业国家亦无此纪录。此举致使政府公债因发行量剧减而价格飞涨，连带也削弱了公债发行单位－央行－的影响力。
卸职
杰克逊于1837年卸总统职，并退居田纳西纳许维尔家中的庵室(The Hermitage)，但仍保有对全国性及州内事务之影响力。杰克逊虽蓄奴，但仍坚定支持合各州为联邦，拒绝对脱离联邦的说法提供任何支持。
杰克逊身形瘦削，高6呎1吋（185厘米），平均体重在130至140英磅（64公斤）之间；双眸湛蓝深邃，眼神锐利；一头红发，蓬乱而浓密。在1829年以61岁之龄担任总统时，发色全转灰白。杰克逊是美国历来最病弱的总统之一，深为习惯性的头疼与腹痛，以及短促而频繁的干咳所苦；他经常咳血，甚至咳到全身震颤。他在纳许维尔安享了八年的退休生活后，于1845年6月8日因慢性肺结核、肺积水、以及心脏衰竭等多重疾病而逝世，享年78岁。其遗言为：“噢，别哭，要当乖孩子，我们会在天堂重聚。”
杰克逊在遗嘱中将全部房产留给小安德鲁·杰克逊，另列举若干物品遗赠亲朋。杰克逊留予子媳与孙儿们若干名奴隶；留给孙子一柄佩剑，剑上铭刻训喻：“兹以此长保我壮丽联邦”(that he will always use it in defence of our glorious Union.)。
