“越人”，又统称“百越”，是广泛分布于南方的少数民族。其支系繁多，各有种姓，互不统属，分为扬越、句吴、闽越、东瓯、南越等支。百越以越语作为交流语言，小篆已经相当普及。百越人以种植水稻为生，生产方式及生活习俗、宗教信仰等都有本民族的独特风格。武帝建元三年（前138），闽越受人唆使，进攻东瓯。汉朝派军援助，闽越仓皇撤退。东瓯害怕闽越再度进攻，请求内迁。汉朝迁东瓯四万余人于江、淮流域（今安徽庐江一带）。建元六年，闽越王又滋生事端，兴兵出击南越，南越向朝廷告急。汉军未到之前，闽越内部发生内讧，举众请降。元鼎五年（前112），南越国国相吕嘉弑王及太后，另立新君。汉军五路齐发，以武力平定南越。次年，东越地区又发生叛乱。汉朝平定叛乱后，武帝又迁徙其众于江、淮间，成为国家的“编户齐民”，从此控制了广东、广西大部地区及南越北部和中部。汉武帝以其地及今海南岛分立南海、苍梧、郁林、合浦、交趾、九真、日南、儋耳、珠崖等九郡。
秦汉时，居住在蜀郡西南的各少数民族，史书称为“西南夷”，主要有滇、夜郎等部族。受地理环境阻碍，西南夷与外界几乎隔绝，发展落后，有些部族甚至还处于原始社会阶段。建元六年（前135），汉武帝派遣唐蒙出使招抚夜郎，于此地设立犍为郡；后又派遣司马相如招抚邛、笮等地。张骞第一次出使西域，在大夏曾见到中国的邛竹杖和蜀布，得知是从巴蜀地区经身毒（今印度）贩运过去的。武帝根据这一发现，于元狩元年（前122）派遣使者从巴蜀出发，试图由此实现同西域的交通。当时，滇人势力强大，在其势力范围之内的各族首领都要向滇王定期朝觐和纳贡。滇王作为部落联盟的最高统治者，非常傲慢自大。他曾问汉朝使者：“汉孰与我大？”气势之盛、见闻之陋可见一斑。因汉朝使者多次被夷人劫杀，武帝于是派兵遣将，出击西南夷，在此地区相继设置越、沈黎、汶山、武都等郡。元封二年（前109），滇王在汉军重压之下归附汉朝，汉置益州郡，并向滇王赐予“滇王之印”，令其统领当地事务。
