南越国接受了汉朝的册封，其地位得到了中央政府的承认，从而使双方的贸易正常化，互利互补。中原地区因此获得了南越诸如荔枝一类的特产，南越国也获得了发展农业生产所必需的物资，如铁农具以及马、猪、羊等牲畜，有利于南越国社会经济的发展。这种局面从历史上看是合理的也是必需的，它带来了中央和地方在政治和经济上的共赢。
但是，政治格局从来就不是一成不变的，赵佗深知这一点，刘邦更知道这一点，双方在“封”和“受封”的情形下也各怀心思。刘邦在封赵佗为南越王之前，已于公元前202年封吴芮为长沙王，将岭南三郡（属赵佗实际控制之地）遥封给长沙王，其后又以南海之地虚封给南武侯织，有意给赵佗树敌。赵佗对汉朝也是充满了猜疑，不断加强边境的防范。当然，整个汉初，中央和诸侯国之间也都互相心存疑忌。
但不管怎么说，在刘邦时期，汉越双方基本保持了和平友好的关系。直至吕后五年（前183），这个格局才被人为打破了。
吕后违背了刘邦对南越的承诺，听取了某些官员请求禁止与南越铁器贸易的主张，实行了所谓的“别异蛮夷”的政策，认为南越属蛮夷化外之地，因此可以与它断绝来往。其中最关键的问题是边境贸易，她禁止商人向南越供应铁器、牛、马等物资，而这些物资对南越来说是十分必需的。在汉越关系中，南越对中央的需求是经济上的需求；而中央对南越的需求是天下一统的政治上的需求。相比较而言，南越的经济发展更仰赖于中原。因此，赵佗对吕后的做法十分不满，但他知道，真正的外交上的“和”才是上策，如若反汉，情理不合也不能取胜。于是他先后派遣内史藩、中尉高、御史平等前往长安，请求吕后理解并改变她的经济封锁的政策。但吕后却蛮不讲理，扣留了上述三位南越国的高级官员，还派人诛杀赵佗在中原的宗族，捣毁赵佗在真定老家的祖坟。
吕后这种不明智之举大大激怒了赵佗。他公开谴责吕后听信谗言，对南越国实行“别异蛮夷”的政策，同时指责南越国的邻国长沙王挑拨离间，并且公开反叛汉王朝，于公元前183年自立为帝，号为“南越武帝”，和吕后分庭抗礼。此后赵佗多次北上攻打长沙国，在其南境大肆掠劫，取得了“败数县而去”的胜利。与此同时，赵佗还用兵力威胁周边，又用财物贿赂一些小国，使闽越、西瓯、骆等国或部族臣服，并且消灭了位于今越南北部的安阳国。
吕后知道赵佗公开反叛后也勃然大怒。公元前181年，她下令削去赵佗南越王的封号，派遣博阳侯陈濞等率领军队，企图翻越南岭，攻打南越国。当时正值南方暑天，炎热多雨，北方汉兵不适应南方的水土和天气，于是军中病疫流行，很多人患病死亡，汉军因此丧失战斗力，无法越过五岭进入南越境内，汉越双方军队据险对峙了一年多。直到吕后病死，汉朝军队撤离长沙国，双方才开始罢战。
客观上说，吕后的兵伐岭南毫不成功，反而大大提高了南越国的威望，许多邻国对赵佗也另眼相看。赵佗使南越的势力范围大大拓展，赵佗的王国统治也更加稳固，这一时期是赵佗真正的称帝时期。
