5岁时，奥本海默随同父母一同前往德国，拜访祖父本杰明·奥本海默。当年祖父选择留在德国而未与朱利叶斯一同移民美国。
他送给长孙奥本海默一些矿石标本，这些雕琢后闪闪发亮的石头令奥本海默十分着迷。
他回忆道：“我变成了一个热心但又带着孩子气的矿石收藏者。”
回到纽约后，奥本海默俨然成为业余矿物学家，常利用周末四处去寻找新的样品。甚至说服父亲带他参加断崖采集矿石的探险活动。后来，公寓的房子里堆满了奥本海默采集的矿石，每个矿石上都整齐地贴着写有说明的标签。
他把大部分时间都放在了这种爱好上。他持续研究矿物学好几年，这是一个独居儿童的孤僻嗜好。奥本海默能够花费许多时间来整理他收藏的标本，把矿石进行分类和抛光。朱利叶斯鼓励儿子独特的兴趣爱好，还给他买了许多相关的书籍。
朱利叶斯是哥伦比亚大学哲学家、教育家菲利克斯·阿德勒的道德文化协会的成员。阿德勒和朱利叶斯一样是第一代移民。他深信，如果社会中每位成员都了解并恪守道德规范，那么社会将会变得更理性、更和谐。
1911年9月，奥本海默上的第一所学校，名叫纽约道德文化学校。学校就是阿德勒先生主办的。奥本海默在上大学之前，一直在这所学校就读。
奥本海默是一个身体孱弱的孩子，经常生病，母亲从不鼓励他到街上去和其他孩子玩耍。他经常趴在窗前，有时俯瞰着哈德逊河，有时望着空中飞翔的鸽子，神游在自己的王国里。
奥本海默说他的童年：“并未使我对于世界充满残酷和艰辛这一事实有所准备，它没有给我提供通常合适的道路成为一个坏蛋。”
在孩提时代的奥本海默就表现出对科学方面的极大兴趣，不断尝试去了解、分析物理上的一些现象。他的化学教师奥古斯塔·克罗克启发了他对自然科学的兴趣，奥本海默曾经用了整整一个暑假的时间来帮助他的老师建立一个小型实验室。
他经常拿着一块矿石晶体对着太阳照，晶体上显现出奇妙的缤纷色彩让他展开了无休止的想象。小学三年级时他就小有名气了，可以单独到实验室搞各种实验，但更多的还是分析他的矿物。
奥本海默继承了父亲的口才，他把知道的有关矿物的奥秘滔滔不绝地讲给同学听，名气甚至传到了校外。
在11岁生日时，由于他对地质学及矿物学的狂热，他还申请加入纽约地质学会，并得到了批准。令人惊讶的是，加入学会的第二年，他就在学会发表了他的第一篇科学性论文，是一篇有关矿石方面的研究报告。
这时，他就已经能使用家里的打字机与当地知名的地理学家通信，探讨他学到的有关岩石形成的问题。
朱利叶斯对于儿子这些成人化的做法坚持鼓励的态度。夫妇两人都相信自己的孩子是个天才。
“他们爱护他，”奥本海默的堂弟巴贝特回忆道，“在成长的过程中，他始终被给予优惠的机会，这使他能够按照自己的想法和兴趣行事。”
奥本海默对诗歌也有很大的兴趣，当他不研究那些矿石及晶体时，便一头扎进书堆里。他开始写一些自认为“富有哲理的抒情诗”，有一首还曾发表在一家儿童刊物上。
纽约道德文化学校鼓励学生在科学、文学及哲学上的兴趣发展。学校里每个年级的课程都强调个人的社会责任，并且加强在语言、文学、艺术、科学方面的教育，特别是道德上的学习，学校一直保持着开放和对社会负责的态度。
为了达到教学目标，高年级学生必须研读原文版的希腊及罗马文学作品。如此一来，奥本海默也有机会领略语言的奥妙，培养对哲学写作的兴趣，并且接触到家庭以外的神秘世界。
他的求知欲旺盛，常常全神贯注埋头于书本中。他的课外时间都花在了向希腊语教师学习荷马与柏拉图的希腊文原著以及恺撒、维吉尔和贺拉斯的拉丁文著作上。
他的希腊文和拉丁文老师阿尔贝塔·牛顿说：“他是个非常聪明和勤奋的孩子，教他是一件快乐的事。”
他曾跟一位堂兄打赌说：“随便问我一个问题，我可以用希腊文回答！”
除了历史、英国文学、数学、物理之外，奥本海默还选修了希腊语、拉丁语、法语、德语等课程，掌握知识的广泛程度很少有同学比得过他。
奥本海默对自然科学的极大兴趣和探索精神已经名声在外，美国自然历史博物馆的馆长都同意在这些方面给予他指导。
一位老师回忆道：“任何新生事物在他眼里都是完美的，在不断吸引着他。”
