秦国灭六国之后,秦始皇派遣任嚣、赵佗,率领50万大军出击百越。这场战争,从公元前219年至公元前214年才结束,历时五年。战争结束后,秦始皇在那里建立了。闽中、南海、桂林、象郡等行政机构。鼓励秦国士兵与当地人通婚,落地生根,守护南疆。从此,这50万秦军,在占领岭南地区的同时,因为戍需求,从此留在了岭南。
公元前209年陈胜、吴广大泽乡起义,掀起了中国历史上第一次农民起义的高潮。随后,刘邦、项羽等也顺着天下大势,积极收拢人心、组织军队,反抗秦朝。这时,驻守南越的最高行政长官任嚣已经去世,由赵佗主持大局。
赵佗审时度势,做出了一个惊人的决定:将这五十万秦军新打下的地盘,作为自己的根据地与势力范围。对外封闭关隘、阻断交通,封锁消息,对秦朝国内的农民暴动与反抗,密切关注,冷眼观望,以静制动;对内则排斥异己、安插眼线,率兵兼并桂林郡、象郡,确立自己绝对权威,并将南越的治理中心迁到番禺,积极防御秦朝农民暴动的祸水南引。
但是,事情的发展总是超过人们的想象,历史上最强大的秦朝,居然在农民起义的打击下迅速灭亡了!秦二世、秦王子婴被杀,天下被刘邦所窃取。作为南越主帅的赵佗,此时想回师勤王也已经变得毫无意义。况且,他所率领的五十万秦军,都已经在南越娶妻生子,安定了下来!于是,在众将士的簇拥下,赵佗遂决定以番禺为中心,自立称王。由于所处地域是秦的南疆,故称南越。这就是秦朝灭亡时,50万大军按兵不动的原因。