1795年11月2日，波尔克出生于北卡罗来纳州。大约10岁的时候，波尔克一家从北卡罗来纳州迁到了田纳西州，旅途的所见所闻让波尔克非常兴奋。
但田纳西州这种边疆地区的生活，却让身体瘦弱的波尔克难以适应，他不能和伙伴们进行粗野的游戏，也不能干农活，最多是负责做饭或者照料马匹。
更为可怕的是，波尔克不久还被发现患上胆结石，剧烈的疼痛让他非常难受。直到17岁时，波尔克才到肯塔基州进行手术。
在当时的医疗条件下，做手术只有依靠酒精来减少疼痛，而且人们还没有意识到要给医疗器械消毒。所以当时的手术是既危险，又非常痛。但身体瘦弱的波尔克居然挺了过来，并逐渐恢复了体力。
通过这件事，年轻的波尔克认识到，精神的力量可以战胜很多困难。这个认识对他的一生都产生了重大影响。
波尔克所受的基础教育是非正式教育，他还曾经一度到一家商店做过学徒。直到1813年，18岁的波尔克才第一次离家外出上学。波尔克进入的学校是哥伦比亚郊外一所由牧师罗伯特·亨德森管理的长老会学校。
在这所学校里，波尔克学习十分用功。波尔克之所以如此用功，一方面是因为他有坚强而勤奋的性格，一方面是环境的刺激。波尔克18岁入学，而学校里的其他学生却很小，这让波尔克明白，自己必须刻苦努力，才可以弥补以前浪费的时光。
在接受了一些基础的教育之后，1816年，20岁的波尔克进入北卡罗来纳大学。因为成绩优异，波尔克得以直接进入二年级学习。
因为小时候身体瘦弱，和其他伙伴玩耍的较少，所以长大后的波尔克性格比较内向。但在北卡罗来纳大学，性格内向的波尔克却非常喜欢演讲和辩论。因口才出众，波尔克曾经两次当选为学校雄辩社社长，他还有了“讲坛上的拿破仑”之称。
按照当时学校的规定，优秀的辩论文章可以留在档案馆内永久保存。三年之内，波尔克有八篇优秀文章得到了这种荣誉。
不知是从政的理想促进了波尔克的演讲才能，还是演讲才能激发了他对从政的兴趣，在大学期间，波尔克就决定从政。
在美国这种竞选制度下，波尔克的从政之路存在一个重要的障碍，那就是性格内向。这是因为性格内向朋友可能就不多，并很难和选民打成一片。
性格是难以改变的，但波尔克依然雄心勃勃，他决定用自己的努力来克服自己的弱点。后来的事实证明，波尔克确实做到了。传记作家查尔斯·塞勒斯这样形容波尔克：“他无情地鞭策自己，将自己的能力和精力发挥到很少有人能够与之匹敌的地步。”
1818年，波尔克从北卡罗来纳大学毕业时，学习成绩为全班第一，而且他还在毕业典礼上作为毕业生代表，用拉丁语发表告别演说，这在当时是很大的荣誉。
毕业的学习成绩和能够在毕业典礼上演讲的经历，再一次激发了波尔克的信心，这个时候他的从政之心已经非常坚决。
为了从政需要，大学毕业后，波尔克又先后跟随著名律师格伦迪和前司法部长学习法律。1820年，波尔克正式获得律师资格。
这个时候，波尔克也在格伦迪的帮助下，获得了州参议院一个书记员的职位，大约两年后的1823年，他又成为了田纳西州的众议院议员，从而开启了自己的从政之路。
