1921年，尼赫鲁第一次被捕。这一年，他的女儿英迪拉4岁。他在给国大党的声明中说：“为印度的自由而战无上光荣，在甘地领导下工作很幸运，对一个印度人来说没有比为事业而牺牲或完全实现壮丽的梦想更好的了。”在狱中，除偶尔与狱卒交谈外，尼赫鲁就是读书写作。《尼赫鲁自传》就是在狱中完成的。
为了独立运动，尼赫鲁逐渐放弃了在英国养成的西式作风。自追随甘地之日起，尼赫鲁就不再穿西服，而改穿印度土布衣服。从前尼赫鲁以说标准的英语为荣，现在他逐渐使用印地语或者印度各地的方言。
当时，“到农村去”的口号响彻全国，为动员农村大众参与独立运动，尼赫鲁与国大党同志一道，不辞辛劳徒步到偏远的乡村，出席农民会议，发表演讲。在这些场合，他领略到了群众力量的伟大，开始认识群众心理，懂得区分城里人和乡下人的不同要求。虽然他对群众中出现的某些自私觉得不大愉快，但他和印度农民已经打成一片。
在独立斗争中，尼赫鲁政治上逐渐成熟。1923年底，尼赫鲁担任了国大党秘书长，初步获得了行政领导工作经验。他常常每天工作15个小时。尼赫鲁担任国大党秘书长没有薪水，为了独立事业，他和父亲甚至变卖家产作为国大党活动经费，他还尽量减少开支，经常吃简单的饭食，坐火车的三等车厢。
为破坏印度独立运动，英印当局也想拉拢尼赫鲁。当局派出安拉阿巴德高等法院法官米尔斯爵士去游说，想凭借他的三寸不烂之舌和种种外交手段来诱惑尼赫鲁。因为当时有一种说法，称尼赫鲁父子之所以反英，是因为他们加入英国人俱乐部的申请被拒绝。米尔斯对尼赫鲁讲：像他这样一表人才的有学之士理应出任教育部长，然后运用他的智慧和人格来影响后一代，并且保证他会得到印度总督的器重。但尼赫鲁早就立下志愿，要为印度独立做些“消极的破坏工作”，以便后代从事积极的建设工作。
尼赫鲁虽追随甘地，但并不迷信甘地。当甘地以农民运动超出了“非暴力”的限制为由，宣布中止第一次非暴力不合作运动后，印度民族解放运动陷入低潮。此时，尼赫鲁逐渐意识到“非暴力”运动的缺陷：人们很难在警察的暴行面前做到斯斯文文。为了找到一条独立的出路，1926年尼赫鲁决定重返欧洲，而此时，他个人和家族都陷入财政困境，他靠自己当律师的收入和父亲的资助勉强凑足了经费。在为期1年零9个月的时间里，他先后访问了意大利、法国、英国、德国和苏联，结交了法国作家罗曼.罗兰和美国人民自由联盟领导人鲍德温等知名人士。
在探索印度民族解放道路的过程中，尼赫鲁也接触了中国人。1927年，在布鲁塞尔举行的“被压迫民族大会”上，他接触了中国国民党代表廖焕星。会上，宋庆龄、高尔基、爱因斯坦等发起组织了“反帝大同盟”，支持被压迫民族的独立运动，由宋庆龄任主席，尼赫鲁也担任了执行委员。同年，尼赫鲁赴莫斯科参加十月革命庆祝活动，受到了苏联政府的热烈欢迎。他被十月革命后苏联的变化深深吸引。他在自传中回忆，此次访问给了他“一种远景的认识”，帮助他“从新的角度看待历史和现实”。
尼赫鲁重返欧洲和出访苏联，使他的思想有了新的广度和深度，从欧洲之行中为印度找到了出路：政治上必须完全独立；经济上应该实行“社会主义”，而且只有工业化才能铺设一条摆脱贫困的道路；宗教弊端会扼杀印度，但可通过经济发展自动解决。这为他日后当总理时制定政策，奠定了重要的思想基础。
1929年冬，国大党在拉合尔年会上通过了尼赫鲁起草的《开辟历史******》的决议，并把完全独立作为今后的斗争目标。甘地看到，印度的青年一代都拥护尼赫鲁，因为他有能力调和党内各派，便于控制席卷全国的反帝浪潮特别是青年人的沸腾情绪，就极力推举尼赫鲁为党主席。不惑之年的尼赫鲁终于走上了党的最高领导岗位。
掌权后的尼赫鲁所做的第一步就是，利用英国当局倡导的议会民主使国大党在各地选举中大获全胜。他在1937年5个月的时间里或坐汽车、或骑大象、或乘木船木筏，走遍了举行选举的11个省，每天演讲10次以上，听众前后达1000多万。他在各地的演讲，视情形和听众不同而有所区别，但一直强调政治独立和社会自由，并把政治独立当作获得社会自由的必要步骤。最终，除旁遮普和孟加拉两省外，国大党获得了全印所有省的政权，尼赫鲁为印度独立建立了深厚的群众基础和地方基础。
二战爆发后，英国大量调用印度的人力和物力，从而激发了印度人民的民族感情。1939年9月，尼赫鲁曾经访问抗战中的中国，对中国人民的抗日斗争表示出了同情。1942年，尼赫鲁领导国大党开展“退出印度”运动。英印殖民当局立即宣布国大党非法，并逮捕了甘地和尼赫鲁等人。这是尼赫鲁第9次、也是最后一次入狱。直到1945年6月二战结束前，尼赫鲁才获释。
此时的尼赫鲁虽陷囹圄却豪气勃发，他相信这是黎明到来前的黑暗。他在狱中冥思苦想，并求教于同在狱中的学识渊博的同行，写成了《印度的发现》一书。书中详细记述了自己的过失和发现新思想的经过，高瞻远瞩地展望了印度的未来，最后得出结论：“印度以它现在所处的地位，是不能在世界上扮演二等角色的，要么就做一个有声有色的大国，要么就销声匿迹。”这句名言时至今日，仍是印度人耳熟能详的名句，也是印度大国战略的最好注释。
1947年8月15日印度独立时，尼赫鲁宣布：“不管风多大，浪多高，我们将永远不让自由的火炬熄灭。”随着印度独立，尼赫鲁时代也真正来临。他在一次演讲中说：“印度有许多东西可以给予，但不是金银或出口货物，而是它目前的地位。今天，全世界都已认识到未来的亚洲将有力地决定于印度的未来，印度将日益成为亚洲的轴心。”
