高祖性情俭朴，不曾经常享受声乐美色甘味，每次从官府回家，必召集幕僚宾客讨论民间利害和刑律政治上的得失，明了而难犯过错，事情大多亲自裁决。曾经有一店铺妇人与一士兵打官司，妇人说：“我在门口暴晒的粟米，被他的马吃掉了。”然而那士兵则恳切申辩，但没有办法使自己清白。高祖对审问的官吏说：“两人讼词不能分辨，凭什么裁决？杀掉马剖开马肠，看里面有没有粟米，如果有，则诛杀兵士，如果没有，则处死妇人。”于是杀马剖肠，马肠里没有粟米，因此杀了那妇人。治区内人民因此肃然。三月，调任镇守常山，经他治理的方镇，都以孝道为先，看到民间有父母在世而兄弟分居的人，必依法处死。勤于政事，官衙没有滞留的诉讼案子。常山的属邑九门，有人把土地卖给分居了的兄长，价格谈不好，于是转卖给他人。那人要他兄长帮助订立契约，兄长坚持压低土地价格，因而诉讼到县令那里，县令认为弟兄都不仁义，送到了府衙。高祖说：“人之不仁，是由于州里长官我才到，教化还没有达到，我很是惭愧啊。如从大道理上讲，兄长要良田，弟弟求好价，顺应弟弟是正确的，阻止弟弟是错误的。兄长更不仁义，应该重重鞭笞，用高价买田的人应得到那块土地。”官吏百姓都佩服他的明察。
到岐阳发生兵变，推举潞王为天子，闵帝急令高祖奔赴京都，打算将国家命运托付与他。闵帝从洛阳逃往卫州，与高祖在途中相遇，于是一起进入卫州。当时闵帝近臣将对高祖采取不利行动，高祖察觉到了，因而抓获了随从闵帝的100多骑兵。闵帝知道事情不成与高祖长恸而别，高祖派刺史王弘贽安置闵帝在公家的房舍后就离去了，不久，闵帝被潞王杀害，高祖后来为此常感内疚。
末帝清泰元年（公元934年）五月，又任高祖为太原节度使、北京留守，充大同、振武、彰国、威塞等军蕃汉马步总管。清泰二年（公元935年）夏天，高祖把军队驻扎在忻州，朝廷派遣使者送来夏季服装，传达了抚慰三军的诏谕，军人立即多次山呼万岁，高祖恐惧，诛杀挟马将李晖以下30多人示众，才制止下来。
三年（公元936年）五月，改任郓州节度使，进封赵国公，又改赐扶天启运中正功臣名号。接着降诏催促高祖前往郓州就任，高祖怀疑这件事，于是召集幕僚们商议说：“我第二次接受太原节度使的那天，皇上当面宣布说：‘让你掌管北方边塞大门，一生不再除官改任。’现在忽然下达这道命令，莫不是因为去年忻州被乱军逼迫，事后猜疑吗？又今年千春节，公主入宫觐见皇上，告辞之时，皇上对公主说：‘你归心如此之急，想与石郎谋反吗？’怀疑我的迹象，确凿而明显了。如今皇上任用妻党，委权邪僻之臣，沉湎于荒淫惑乱之中，各种政务停废堆积，不灭亡还等待什么！我从顺应年间少主出奔那天起，就看出人心已去，不能扶正危难挽住倾覆，心中已烦闷3年。如今我没有异心，而朝廷自启祸端，我不能安然死在路途中。何况太原是个险要坚固的地方，储积的粮食又非常多，如果还能宽容我，我自当尊奉朝廷，如果一定要以兵相逼，我就向外告诉邻邦，向北联合强敌，谁胜谁败，昭然如同天日。现我想上表推说有病，以此等候朝廷的意见，大家认为怎么样？”掌管文书的桑维翰、都押衙刘知远赞成密计，于是拒绝了末帝的命令，朝廷以高祖不奉命行事，立即诏令晋州剌史、北面副招讨使张敬达率军把高祖围困在晋阳。高祖马上命令桑维翰到各地请求援救，契丹派人回信答应他，约定中秋救助。
六月，北方招收指挥使安重荣率领他的部下几千人进入晋阳城。七月，代州屯将安元信率领一支军队与西北面先锋指挥使安审信率领的500骑兵一起到达。八月，怀州彰德军派张万迪等人分别率领1000多骑兵来投降。这个月里，城外围军进攻得非常激烈，高祖亲自抵挡飞箭流石，人心虽然坚定，但粮食困乏。
九月十五日，契丹国主率领大军从雁门入关向南进发，旌旗骑兵连延不断长达50余里，先派人向高祖报告说：“我想今天就攻破敌寇，可以吗？”高祖派人急驰禀告契丹国主：“皇帝亲自奔赴拯救危难，很快就要成功，敌寇的势力非常强大，可等到明天早晨沉着审慎地商讨战事，还不算迟。”高祖使者没有到达，契丹已与南军骑将高行周、符彦卿等交战。当时。张敬达、杨光远在西山下摆开阵势，士兵没来得及排列成行，高行周、符彦卿就被埋伏的军队切断，他们丢下军队往后撤退，张敬达等的步兵大败，战死万人。当夜，高祖出北门与契丹国主会见，契丹国主握住高祖的手说：“相见恨晚。”于是议定了契丹国主为义父、高祖为义子的名份。第二天，高祖与契丹军队包围张敬达营寨，南方后唐的军队不能再出击了。高祖与契丹国原本未曾结盟友善，自从唐末帝强加威逼之后，高祖才派心腹何福前往通好，契丹国主不说二话，亲自奔赴救援，快捷有如奔电，真是天意啊！二十三日，唐末帝率领3万步、骑亲军出征驻扎在河桥。二十五日，末帝诏命枢密使赵延寿分率2万士兵担任北面诏讨使，又诏令魏博节度使范延光率领所辖2万士兵驻守辽州。十月，幽州节度使赵德钧率领所辖1万多人从上党吴儿谷会合赵延寿军队驻守团谷口，此地与张敬达营寨相隔百里，一个月竟然打不通。
十一月，契丹国主与高祖在营帐相会时，对高祖说：“我远奔3000里救援，大事必期成功，看你体魄仪容健壮魁伟，见识深刻，气量宏大，实是一国的君主啊。天命有所属托，时机不可丧失，我想顺从蕃汉诸将的建议，册封你为天子。”高祖回避推让。接着，各路军队不断劝说请求，才下令在晋阳城的南面修筑祭坛，册立为大晋皇帝，契丹国主解下自己的衣冠授给高祖。
当初后梁建国的那一年，就是唐哀帝天祐四年（公元907年），潞州行营使李思安上奏：“壶关县庶穰乡的人砍伐树木，树倒下时自己分成两片，其中有以下六个字：‘天十四载石进’。”后梁太祖下令藏于武库，然而没有谁能弄清它的意思，到高祖继位为皇帝时，知道那件事的人说：“拿‘四’字中的两画加在‘天’字上，就是‘丙’字，‘四’字除去中间的两画，再加上‘十’字，就是‘申’字。”高祖称帝的时间正好是丙申年。另外，《易经》上说：“晋，的意思是‘进’。”国号叫“大晋”，都像符契一样相合。又，唐末帝是真定常山人，有他的祖先留下的旧房舍，房舍旁边古代的佛教塔刹，中有石像，有一天突然不停地摇动，人们都感到很奇怪。等到重重包围晋阳时，高祖派心腹何福乘快马向北蕃契丹请求援救。契丹国主亲自率领各部前来援救，不用丝绸绢帛，不用珠宝金玉，像回声响应一样。契丹国主对何福说：“我已经从梦中得到了征兆，上天命我如此，不是我的意思。”当救援的军队没有到达，伪将张敬达率领大军迫近城墙设立栅栏，围城栅栏将要建成的时候，忽起大风，下起暴雨，无法建栅。后来，又修筑长长的城墙，城墙虽已修成，但又被积雨毁坏，城墙最终还是没有完全合拢。晋阳有个北宫，宫城的上面有个叫做毗沙门天王的祠庙，高祖曾经焚香修建并默默地向它祈祷。几天后，城的西北门外的曲墙正好是受到敌人攻击的地方，军队值哨的人报告说，夜晚有一个长一丈多的人，披金甲执长枪，在城楼上行走，很久才消失，高祖心里对此感到奇怪。又，高祖住宅的第三重城有个叫做崇福的佛教寺院，寺院厢房下面的西北角有个泥做的神像，忽然有一天，神像的头部有烟升起，那烟腾跃上升有如烟囱的形状。寺院的僧侣奔跑前去救火，以为是人为的火种蔓延过来的，等到仔细察看，又什么也没有，这事马上传到了高祖那里，高祖召唤僧侣中佛性高超的人询问这件事。僧人说：“贫僧我看见庄宗将要夺取天下的时候，曾经出现过这种烟气，观察这次烟气的喷发涌吐，比庄宗当时的还要厉害，征兆自然可以理解了。”这天起，太阳的旁边拥集众多的五色云气，像莲花的形状。高祖召唤占卜的人来观察天象，对占卜的人说：“这个效验对应的是谁呢？”占卜的人说：“看见这种天象的地方是吉祥的，还能应谁呢？”高祖每天早晨派人慰问安抚防守城墙的士兵，习以为常，忽然一天晚上天已经黑了，城墙上方有发号司令的声音，声音不停地叫了三次，高祖使人询问这件事，将官说：“是从天上传来的。”都知道这是神灵在暗中帮助。当时城里又有几户人家的井水泉眼猛涨，外溢不停。等到蕃军大部队到来，联合各部武装攻击后唐军队，末帝的军队就象被摧拉的朽木一样，这是天意使它那样，不是人的力量。
这一天，高祖对契丹国主说，愿将雁门以北到幽州的地盘敬献给契丹国主祝寿，又约定每年输送丝帛30万匹，契丹国主答应了。
