开宝九年（976）十月，年仅50岁的赵匡胤猝然去世。在此之前，正史中并无他患病的记载。对于他的死，《宋史·太祖本纪》只有一句简单的记录：“帝崩于万岁殿，年五十”。与此同时，关于此事，野史中却留下了许多生动而详尽的记载。
宋人文莹所著的《湘山野录》中记载，赵匡胤未得志时，曾与一个道士交游甚深。那位道士曾预言说他能做皇帝。赵匡胤称帝后，在开宝九年又无意间遇到这位道士，于是迫切地向他询问自己的寿龄。道士答道：可观今年十月二十日夜间的天气。如果晴朗，寿命还能延长一纪；如是不晴，宜当速备后事。十月二十日晚，赵匡胤登高观望气象，起初天气晴朗，星光璀璨，不禁大喜；但不久，天气骤变，阴霾四起，随即雨雪纷纷。他急召皇弟赵光义入宫。赵光义到后，赵匡胤屏退宫侍，两人对饮。宫人远远看到烛影摇红，赵光义不时离席。喝完酒已经是深夜了，赵匡胤用玉斧戳雪，喊道：“好做好做。”随后回殿就寝。当夜赵光义也留宿宫中。次日凌晨，赵匡胤便去世了。赵光义接受遗诏，于灵前继位。
司马光的《涑水纪闻》记载道，赵匡胤去世时已是四更，宋皇后命令内侍王继恩把皇子赵德芳叫来。王继恩却直奔晋王府，去找赵光义。赵光义听完王继恩的来意后，犹豫不决，便说要与家人商量一下。赵光义进入内室许久没有出来。王继恩催促道：“时间长了，就被别人抢到前头了。”赵光义于是决定进宫。进宫后，宋皇后问：“德芳来了吗？”王继恩回答：“晋王来了。”宋皇后惊诧莫名，继而醒悟，对赵光义说道：“官家，我母子的性命，都托付给你了。”赵光义随后即位。
王禹的《建隆遗事》记载的又是另一种版本，说赵匡胤去世前一天，召赵普入宫，欲立皇弟赵光义为帝。赵普建议立皇子，赵匡胤认为不忍违背太后慈训，决意立赵光义。《烬余录》还记载了一种离奇的说法，说赵光义趁赵匡胤昏睡不醒时调戏花蕊夫人。赵匡胤被惊醒后怒不可遏，举起玉斧砍向赵光义，但力不从心，没有击中。赵光义一不做二不休，索性杀死赵匡胤，夺取了皇位。
根据以上记载，赵匡胤去世当晚，出现了许多异常的情况。按照宫廷礼仪，赵光义是不能留宿宫中的，那晚他却留在了宫中。宫女、太监竟然都不在皇帝身边，究竟是赵匡胤屏退，还是赵光义为了掩人耳目，将这些人驱逐出去的？其中的引斧戮雪、赵光义不时离席等细节，言语躲闪，是不是也在暗示赵匡胤和赵光义之间曾出现过争吵打斗？更奇怪的是王继恩假传圣旨一事，一个内侍如果没有他人的指使，怎敢违背宋皇后的旨意？
也许是赵光义认为自己即位名不正言不顺，便说兄终弟及是母亲杜太后的主意。建隆二年（961），杜太后临终前，突然问赵匡胤是否知道自己为何能做天子。赵匡胤思虑再三，才说是凭借祖上和太后所积的功德。杜太后却厉色训道，赵匡胤能当上皇帝，是因为周世宗去世后，继位的国君年幼的缘故。因此，立长君才是国家之福，于是要求立赵光义为嗣君。赵匡胤叩首称是，并将太后遗嘱写于纸上，藏于金匮之中，这就是“金匮之盟”。
然而，所谓的“金匮之盟”存在着许多可疑之处。其一，杜太后去世时，赵匡胤只有35岁，正值壮年，而其长子德昭已11岁。杜太后怎能预知赵匡胤去世时，德昭还年幼，不能担当国家大任？实际上，赵匡胤死时，德昭已经26岁了。况且，“金匮之盟”是赵光义登基五年后才公布的，如果真有其事，为什么不在继位之初便公布？
赵光义继位后的举止也令人顿生疑窦。新君即位，按照惯例是次年改用新年号纪年。但他等不到第二年，便迫不及待地改换年号，此后又逼死了赵匡胤的两个儿子德昭、德芳。而宋皇后去世后，他也没有按皇后的礼仪发丧。更令人啧啧称奇的是，就连赵光义的子孙后代也相信他是弑兄篡位。
赵匡胤一生英明，善用权谋至登峰造极的地步，不料最终却栽到了弟弟赵光义的手下。太平兴国二年（977）四月，停灵半年后，赵匡胤葬于河南巩县永昌陵，庙号太祖。
