诗经说，蠢尔蛮荆，大邦为仇。说他们当有圣人起于中国时，就会归顺。中国一旦衰弱，就会背叛。从古到今都是如此，何况是远在万里之外的蛮夷呢。骆越之人，父子同川而浴，流传下来的习俗是以鼻饮水，与禽兽无异。本不足以设置郡县。而且独居一海之中，雾露气湿，多毒草虫蛇水土之害，人还未见到敌人，战士就先自死，又不是只有珠崖有珠樨玳瑁，弃之不足惜，不击不损军威。其民譬如龟鳖，何足贪得呢？臣借以往平定羌反的事说一下，暴师未曾一年，兵出不踰千里，已耗费四十余万万，大司农钱尽，只好用少府禁钱来续。一个小小的角落出现叛乱，就会花费如此巨大。何况劳师远攻，只会搭上士兵的性命而无所收获。臣愚以为，既非冠带之国，禹贡所及，春秋所治，皆可以无所为，愿因此放弃珠崖，专以体恤关东为忧。
皇上问丞相御史如何，御史大夫陈万年以为当击珠崖。丞相于定国以为前日兴兵击之连年，护军都尉校尉及丞，凡十一人，还者二人，卒士及转输死者万余人，费用三万万余，尚未能尽降。今关东困乏，民众之心难以撼动，贾捐之的提议很对。皇上从之，息兵。贾捐之，是贾谊的曾孙。
三年春，下诏说：珠崖掳杀吏民，背叛为逆，如今廷议，有人以为可击，有人以为可守，还有人干脆以为可以放弃。所言各有道理。朕日夜苦思大家的言论，羞于国威不行，则想要诛之。狐疑辟难，则想要坚守屯田。通达时变者，则忧万民。万民之饥饿与远蛮之不讨，哪个重要呢？当然是万民之饥。就连宗庙之祭礼，都因为凶年而不能准备，何况仅仅为了一点脸面而兴师动众讨伐远夷？如今关东大饥，仓库空虚，本无以相赡，又要动兵，此举不仅劳民，而且凶年继至。因决定废除珠崖郡，其民有慕义欲内属的，可就便安置。不同意的，也不要勉强。
夏四月，乙未晦。茂陵白鹤观受灾。赦天下。
夏，旱。
立长沙炀王弟刘宗为王。长信少府贡禹上言，诸离宫及长乐宫卫，可减其大半，以宽徭役。六月，下诏说：朕时刻记挂黎民百姓的饥寒。离宫守卫，远离父母妻子，做一些不急之务，守卫一些无人居住的宫室，恐怕无助于阴阳之道的调和。因此决定撤去甘泉建章诸宫卫，令这些卫士归家就农，百官务必各自减少公费。条奏不得有所隐讳。
是岁，皇上再次提拔周堪为光禄勋。周堪弟子张猛为光禄大夫。给事中。大见信任。
四年春正月，皇上行幸甘泉宫，郊祭泰畤。三月行幸河东。祠后土。赦汾阴囚徒。