即使男子拚命耕种，也生产不及军役所需的食粮；女子日以继夜纺织，也无法满足军用帐幕所需。百姓疲惫，孤儿寡妇及老弱病残者无法生活，倒在道路两旁死去的人，屡见不鲜。直到蒙恬死后，在河套以南戍边的劳役因陈胜起义，关东大乱而军心不稳，很快散去，从而迫使秦帝国放弃河套以南之地。
现存史料提及有关秦国南征百越的历史，可说是相当简略。对於秦军南征百越的经过，军事部署、作战环境以及秦军面对的军事困难，《史记》的记载甚至可以用「一鳞半爪」来形容，但可以肯定南征百越的时间，实际上远比北伐匈奴要早。
根据汉文帝元年（公元前179年）南越王赵佗所述，他已经在岭南地区生活了49年。由於《史记》记载赵佗籍贯真定，并非岭南当地人，故此可以参考他在岭南生活的时间，从而推算出秦始皇何时开始南征百越。
自文帝元年往上推朔49年，为秦王政二十年（公元前227年），正值赵国被消灭的次年，可见在赵国灭亡后不久，赵佗随即因为赵人的身份而被徵召入伍，成为征越大军的其中一名士兵。因此可以肯定秦始皇在消灭六国的同时，便开始进行征服五岭以南的军事行动，而且更持续了十多年之久。
岭南自古属於「瘴疠之地」，亦称「百越」，意指当地生活着众多部落。
汉初文学家贾谊自被贬为长沙王太傅后，亦听闻长沙气候潮湿多雨，以为自己会早死。汉人畏长沙如此，比长沙更南的岭南，其环境之恶劣可想而知。
即使是驰骋疆场半生，未尝言苦的伏波将军马援，自受命讨伐在交址地区发动叛乱的徵氏姐妹以来，在平定叛乱后亦自言后悔未有听从弟弟少游的话，做个平民百姓。反而从军平越。
当时汉朝已统治岭南地区达百余年，土地半垦，道路粗通，郡、县、乡、里四级政权已建立。已有不少越人汉化，其自然环境和人文环境已有巨大变化。
马援在提及征越之战时，仍犹有余悸，恐怕客死异乡，可以想像到秦朝时期。岭南地区的自然及人文环境，较二百年后的马援时代恶劣十倍，而现存的史料均指，秦始皇对号称「瘴疠之地」的岭南采取军事行动的最大目的，是看中当地出产的犀角、象牙、翡翠及珠玑等物，以及扬威海外。
约公元前227年（秦王政二十年），秦始皇下令使尉屠睢以南郡为后勤重地，在当地徵发「吏卒」、「新黔首」、「甲兵」及各种军输物资等所谓「楼船之士」，沿湘江水道为主要补给线，深入百