齐奥尔科夫斯基出生在俄罗斯梁赞省一个名叫伊热夫斯基的村庄中，父亲给他取名康斯坦丁。
这个家有七个孩子，康斯坦丁排行老五。他父亲是位森林看守员，为人正直，喜欢搞些发明；他母亲心灵手巧，非常能干。在双亲的影响下，童年的康斯坦丁特别喜欢读书，尤其是爱不着边际地幻想。
有一次，他想象着自己能爬得很高，望出很远，父亲竟用钱做奖励，让他顺着绳子和竿子往上爬，让他看看自己到底能怎么样。
八岁那年过生日，母亲送给小康斯坦丁一本凡尔纳写的科幻小说《从地球到月球》和一个氢气球做礼物。他小心翼翼地接过那个红色的氢气球，高兴得眉开眼笑，拉着它的引线就在院子里跑来跑去。忽然吹来一阵风，小康斯坦丁没抓住引线，氢气球脱手而去，飘飘荡荡地越飞越高。他沮丧地注视着氢气球飞到了天空深处，一转身抓住母亲的手，急切地问道：“您说，氢气球飞到哪里去了呢？”
“大概是飞到星星上去了吧！”妈妈答道。
“那么，我要是坐上氢气球，是不是也能飞到别的星星上去呢？”小康斯坦丁又问。
母亲耐心地向他解释说，氢气球载不动人，一压就会破。小康斯坦丁听了，心中的疑团还是没有解开：“氢气球能飞到空中去，人怎么就不能呢？有什么办法能使人也像气球那样飞起来呢？”
就在科学的种子播撒进康斯坦丁幼小的心灵中时，一场灾难降临到他头上。10岁那年，他在滑雪的时候得了严重的感冒，导致猩红热，由此所引起的严重并发症使他几乎完全失去了听觉，成了一个半聋的孩子。
由于耳聋，小康斯坦丁上课时听不清楚老师讲些什么，老师点名让他起来回答问题时，他的回答总是与授课内容风马牛不相及，常常引起同学们哄堂大笑。在这种情况下，小康斯坦丁无法在村子里的小学继续念下去了，只好辍学回家，由母亲教他读书写字。不料灾难接踵而来，两年后，母亲去世了，康斯坦丁悲痛欲绝，整天躲在家里看书，不声不响地动手制作一些玩具。
失去了母亲的指导，康斯坦丁只得开始了艰难的自学。为了解开一道难题，他常常冥思苦想，夜不能眠。有一天，他正在街上走，突然像发了疯似的往家跑，一边跑一边喊：“我算出来了，我算出来了！”原来，他在路上想出了一道数学题的解法。
有一天，他在书上见到了一个小飞行器的模型，就下决心把它做出来。一连几天，他都呆在自己的房子里，认真地做呀做呀，终于做出了一个带翅膀的飞行器。傍晚时分，父亲回来了，康斯坦丁拿出自己的作品给他看。他轻轻一扔，这个飞行器就像鸟儿一样飞了出去，飞了好一会儿，才扑扇着翅膀落在门前几百米的田野上。父亲高兴地把康斯坦丁抱起来，鼓励他说：“孩子，好好干吧！”
又有一次，康斯坦丁读完一本测量学的教科书，就根据书上的插图做了一台测量仪器，并用它测量了从家里到望火楼的距离，测量结果非常准确。从此，他更加相信学习理论知识的重要性了。
1873年，父亲拿出积攒下来的钱，把16岁的齐奥尔科夫斯基送到莫斯科求学。由于贫穷与残疾，他无法进入正规学校学习，只得借住在一位贫苦的洗衣妇家里，白天到图书馆去看书，直到天黑才返回住处，风雨无阻。父亲每月只能给他寄来十几个卢布，他把大部分钱用来买实验用品，只留很少一点儿钱购买凉水和黑面包，所以经常饿肚子。他顽强自学的精神感动了莫斯科契尔特夫图书馆的馆长费多罗夫。在费多罗夫的悉心指导和帮助下，齐奥尔科夫斯基在短短两年的时间里就自学完了大学的物理、微积分、化学、解析几何、球面三角等课程。
由于长期营养不良，他的体质越来越弱，人瘦得几乎脱了相了。1876年的一天，他父亲的一个熟人在莫斯科偶然看见了他，差点儿没有认出他来。他父亲得到这个消息，急忙把儿子唤回家里。
1880年，23岁的齐奥尔科夫斯基通过了乡村中学教师资格考试，被聘为卡卢加省波罗夫县一个中学的数学教师。他的考试成绩非常出色，让波罗夫中学的校长感到很惊奇，就向他问道：“你是哪个学校毕业的？”齐奥尔科夫斯基回答说：“校长先生，我是莫斯科最大的一所大学毕业的。”
校长不解地问：“你的老师是谁？”
齐奥尔科夫斯基微笑着回答说：“是书籍！”
齐奥尔科夫斯基尽管当上了中学教师，但他的贫困生活并没有得到多少改善，用他自己的话说，“除了凉水和黑面包之外，就一无所有了”。然而，就是在这样艰苦的环境中，他对气体理论进行了大量思考和研究，并制作了各种各样的仪器和模型。同事们都对他不理解，讥讽他是“空想家”，甚至骂他是“疯子”，但他全都置若罔闻。不久，他写出了一篇论文，送交圣彼得堡物理化学学会。这篇论文的内容和结论完全正确，但它论述的问题早在20多年前就被人解决了。尽管如此，学会的科学家们并没有把齐奥尔科夫斯基当成骗子，认为他只是居处偏僻，与外界联系太少而已。门捷列夫特地给齐奥尔科夫斯基写来一封措辞谨慎的信，对他的工作和成绩表示赞赏，还鼓励他向科学的高峰继续攀登。
不久，齐奥尔科夫斯基又写成了另一篇重要论文《生物机体力学》，受到了着名科学家谢切诺夫的高度评价，齐奥尔科夫斯基由此而被选为俄国物理化学协会的会员。
1883年，他写成了引人注目的《自由空间》一文，第一次提出利用喷气推动宇宙飞船的原理。他画了一张宇宙飞船的工作图，设计在一个球形的宇宙飞船船舱中安装大炮，依靠大炮发射出弹丸产生的反作用力来推动飞船前进。他还提出了另一种大胆的设想，依靠贮藏器中放出气流而产生的反作用力来推动飞船前进。
齐奥尔科夫斯基在理论上不断取得突破的时候，又怀着巨大的热情投入到可以在大气层中飞行的金属飞艇的研究中去。作为一名收入微薄的中学教师，他没有专门的实验室，更没有雄厚的实验经费，要进行如此尖端的研究和实验，那真是比登天还难。但他在困难面前没有退却，苦干了两年，终于完成了全金属飞艇的设计，并对这个设计进行了论证。这项研究成果引起了很多人的关注，自然科学爱好者协会特地邀请他去莫斯科做报告，不仅吸引了很多普通听众，还得到了不少着名科学家的肯定。
当齐奥尔科夫斯基怀着兴奋和激动的心情回到波罗夫中学时，他没有想到一场灾难正悄悄地向他袭来。有一天，他正在专心做实验，忘记了取下在厨房炉子上烘烤的衣服，引起了大火。因为耳聋，他听不到大火燃烧的声音。等他发觉着火时，已经无法抢救了。这场大火把他多少年来苦心积累起来的图书资料、手稿、仪器模型全部化为灰烬。站在废墟上，齐奥尔科夫斯基觉得天旋地转，很快就病倒了。
大病初愈后，顽强的齐奥尔科夫斯基又重新开始了他的研究和设计工作。然而，尽管有门捷列夫的大力推荐，他的飞艇设计却得不到沙皇政府的支持，这样一项重要的科学成果竟无声无息地被湮没了。
齐奥尔科夫斯基没有灰心，继续在教学之余系统地研究航天问题。经过无数个日日夜夜的艰苦拼搏，他取得了可喜的成果。当时世界上还没有一架真正的飞机飞上天空，而齐奥尔科夫斯基就提出了征服星际空间的具体设想，他绘出了人造卫星图样，提出了以人造卫星为“基地”发射星际火箭的主张。1903年，他发表了着名论文《利用喷射仪器研究宇宙空间》。在这篇论文中，他探讨了火箭运动的过程，提出了着名的火箭运动公式，后来这个公式被人们称为“齐奥尔科夫斯基公式”。他还在论文中首次提出使用液体燃料，并绘出了第一幅液体燃料火箭发动机的构造图。1915年，他发表了《星际航行》一文。在这篇论文中，他进一步设想出用液态氧冷却火箭外壳的方法，从而使火箭能够安全返回地球。
齐奥尔科夫斯基虽然在科学研究上取得了重大突破，然而在当时的历史条件下，这些成果只能停留在理论上，无法变成现实，这不能不说是这位天才科学家的最大悲哀。
齐奥尔科夫斯基在进行科学研究的同时，还动手写过一些科幻小说。他在1896年完成的《在地球之外》写的是2017年发生的事。有20名不同国籍的科学家和工匠乘坐自己建造的火箭飞船飞出大气层，进入环绕地球的轨道，处于有趣的失重状态。
他们穿上宇宙飞行衣从飞船里走出来，在太空中飘游。他们建成了大温室，种出了足够食用的蔬菜水果。他们还发射了一辆四轮车在月球表面着陆，考察一番之后又点燃火箭离去。当地球人大量转移到外层空间，住进环绕地球轨道上的温室住宅时，他们则向火星飞去。许多年过去了，他们成功地返回了地球，重新住进了建在喜马拉雅山上的科学城堡。
十月革命后，齐奥尔科夫斯基的生活和研究条件都有了很大改善，他更加勤奋地专心于航天学的研究。1935年9月19日，他在卡卢加与世长辞，享年78岁。前去参加葬礼的有苏联党和政府的代表，也有科学界和社会团体的代表，送殡的队伍竟长达2000米。人们把他的遗体安葬在卡卢加的公园里（后来改名为齐奥尔科夫斯基公园），墓前矗立着高大的纪念碑，上面镌刻着他的名言：“地球是人类的摇篮，但是人不能永远生活在摇篮里，他们不断争取着生存世界和空间，起初小心翼翼地穿出大气层，然后就是征服整个太阳系。”
