西汉建立之初，高祖刘邦曾北伐匈奴，结果被围困于平城（今山西大同西北）白登，整整七天七夜才脱险。其后，刘邦便采纳娄敬的建言，用和亲政策换取暂时的边境和平。所谓“和亲”，即汉朝公主远嫁匈奴，做单于的阏氏（相当于皇后）。作为公主的陪嫁，还有大量珍宝锦缎，源源不断地送往匈奴王庭。虽说皇帝并不舍得真把亲生女儿送往匈奴，一般都是用宫女或宗室女假冒公主之名，最高档次也不过翁主（王、侯之女）而已，但这种单方面的和亲政策，本身就具有极大的屈辱性。
即便如此，和亲政策也不能维持长久和平。匈奴以游牧为生，靠天吃饭的程度比农耕民族更为严重。一旦天气寒冷而牧草大面积死亡，或者牛、羊等牲畜感染大规模瘟疫，匈奴贵族把汉朝公主的陪嫁也吃完用完了，就会挥兵南下抢掠。从高祖、惠帝、高后，到文、景两朝，汉匈屡次和亲。每次和亲最多也就能维持三年的和平局面，超过三年，匈奴骑兵就会大掠北境，西汉朝廷又必须再次考虑和亲的问题。
这种被动挨打的局面，是任何有志向、不苟且的皇帝都无法容忍的。文、景时代，曾大力巩固北部边防，选任良将，整饬军备，随时做好和匈奴正面较量的准备。但当时因国力问题，最多也就是将匈奴骑兵逐出塞外，既不敢远追，杀伤也很少。武帝登基后，四海晏平，国库充实，他于是开始考虑转守为攻，要彻底解决边患问题了。
战争的序幕是从马邑伏击战开始的。武帝元光元年（前134），匈奴又来请求和亲，武帝召集大臣们商议。比较熟悉匈奴情况的大行令（官职名，九卿之一）王恢建议放弃和亲之策，派兵攻打匈奴。但御史大夫韩安国坚决反对，说：“就算得了匈奴的土地，也无法耕种；吞并了它的部众，也无法驾驭。况且我们出兵千里，士卒必然疲惫，匈奴趁我疲惫来攻，军队必然覆灭。臣以为最善策莫过于和亲。”韩安国是善战的名将，连他都反对出兵，大臣们遂纷纷附和。武帝没有办法，只好再次选送“公主”出塞。可是主战的王恢不肯罢休，第二年他胸有成竹地向武帝建议说，可以诱使匈奴单于南下，打一场伏击战，歼灭其主力。这样不用千里用兵，也能得利，原因是马邑（今山西朔县）土豪聂壹愿意诈降匈奴，引诱匈奴大军犯边。
马背上的民族——匈奴匈奴是生活在北方蒙古草原上的古老游牧民族。战国、秦汉之际，匈奴族迅速崛起，并不断征服周边其他游牧部落。第一代单于头曼以今内蒙古黄河河套和阴山地区为驻牧及统治中心，建立了强大的部落联盟国家，是中国历史记载的第一个草原王国。其子冒顿单于即位后，东平东胡，北并丁零、薪犁等部，使匈奴的疆域空前广大：东到辽东半岛，西达葱岭，南收被秦朝时夺去的河套地区。匈奴是一个以畜牧业为基础的民族，凡有泉源、沟谷、湖泊，以及水草丰美的地方，便是其理想的牧场。匈奴人嗜好饮酒，喜爱穿皮衣、住穹庐。匈奴族日常生活的居室穹庐，形同现在的蒙古包。匈奴单于也住穹庐，称“毡宫”，即帐篷宫殿，在穹庐内或穹庐外接见汉使。在生活其他方面，匈奴“以墨黥面”，即以面部纹刺花纹为装饰，妇女在脸部抹红，或擦口红，故匈奴单于的妻子称为“阏氏”，是“燕支”的同音异译。“燕支”今作“胭脂”，即口红。中原地区妇女抹口红，应是草原文化影响于中原文化的一例。
年轻的武帝认为这是个大好机会，于是在元光二年（前133）六月，以韩安国为护军将军，李广为骁骑将军，公孙贺为轻车将军，王恢为将屯将军，李息为材官将军，率30万大军齐集马邑周边设伏。接着，武帝让聂壹去对当时在位的匈奴军臣单于说：“我愿意刺杀马邑的汉官，举城投降，那您就可以不费力气得到全部财物。”
马邑设伏其实是军事史上的一个大笑话，30万大军的行动怎么可能保密？无法保密的伏击战，又怎么可能成功？军臣单于一开始倒是相信了聂壹的诈降，亲率10万骑南下。但当他率军到了距离马邑百余里的地方，突然发现满山遍野都是牲畜，却没有一个牧人，终于起了疑心。军臣单于于是派兵夺取附近的汉朝哨所，捉了名小军官来审问。这一下汉朝的军事秘密彻底泄露，单于大惊，匆忙退走。汉军追赶不及，劳而无功。事后，王恢畏罪自杀。
马邑设伏失败了，从此汉匈两家等于断绝了正常的外交关系，进入战争状态，汉朝的北部边境更是危如累卵。不过此后双方持续数百年的大战，也正是从这个大笑话开始的。
元光六年（前129）冬，汉匈之间爆发了第一次大规模战役，即关市反击战。关市是指汉匈边境上的通商贸易点。匈奴对上谷郡大肆抢掠，汉武帝于是派车骑将军卫青出上谷，骑将军公孙敖出代郡，轻车将军公孙贺出云中，骁骑将军李广出雁门，每路万骑，指示说：“击胡关市下。”此刻匈奴主力正在阴山以南活动，不但兵数比汉军要多，灵活性也比汉军要强。战争的结果，只有卫青杀敌700，取得小胜；公孙敖战败损失7 000骑；公孙贺毫无斩获；李广竟然被匈奴擒获，后在被押送途中夺得马匹，单骑逃回。
关市之战后，武帝和大臣、将领们总结教训，秣兵厉马，准备再次北伐。此后，从元朔二年到元狩四年（前127～前119）的八年间对匈奴发动了五次大规模战役，终于转败为胜，取得了辉煌战果。
