接连损失了七八十位斥候后，张天禄已到了忍耐的极限。
绩溪城内粮草还够支撑下去，但他心头危险的感觉越来越重。大军在绩溪城内变成了聋子和瞎子，不是所有百姓都在支持明军，但几乎没有百姓在支持他们。
从前天起，兵马出城极不安全，即使是上百人的队列。当山民猎杀队碰见他们无法解决的清虏人马时，他们会向一直在保护粮道的左若军汇报。
张天禄决定退兵。他先命三百轻骑兵从翠岭退入宁国府，在绕道东天目山进入昌化，向来自杭州的援军禀告徽州府的战局。又等了一天，率一万多兵马从绩溪城撤出，逃回宁国府。
至少他收复了宁国府，只是在杭州大军牵制浙东兵马不力，所以丢失了徽州府，张天禄这么想。
昱岭关下，张存仁攻关四日。
这几日他抓捕不少山民拷问，打听徽州府的消息，渐渐了解了那里发生了什么。他对张天禄攻下徽州又丢失了徽州懊恼不已，张天禄丢失了徽州和旌德，只有夹在中间的绩溪一地，他也认为这场战事该结束了。
清虏连日攻关不止，张存仁之所以这么做，是想让张天禄安全脱身。
徽州府。
信使飞奔向浙东。
休整了五日的左若部兵马在山林中疾走。
张煌言率义军收复绩溪县城，在旌德和绩溪两地布置重兵。翟哲匆匆离开徽州，赶往昱岭关，只有他在那里，方国安才会不惜代价咬住张存仁。他没打算围攻张天禄，张天禄已经中了他的蛊毒，迟早会发作。
浙东的兵马全动了起来，两日后朱大典兵出金华，三日后孟康兵出诸暨。
沿途好多山，全是崎岖难行的山路，好在平虏将军麾下士卒多是浙东的山民。
连续两日，昱岭关上的守军明显兴奋的多，把攻城的清虏打的落花流水，这是因为翟哲到了这里引发的变化。张存仁本能感觉有些不对，让大军放缓攻势，命斥候紧盯徽州府方向，他在着深山中也担惊受怕。张存仁比翟哲想象的要警觉的多。他随祖大寿降清，联系为清虏攻破锦州和松江。
“难道是张天禄兵败了？还是张天禄已经撤军了？”
摸得着的明军不可怕，看不见的明军才吓人。
第四日清晨，张天禄的信使绕道东天目山经昌化到达昱岭关下。张存仁惊吓的一身冷汗，匆忙下令退兵。
了望兵迅速禀告翟哲，翟哲与方国安同上关头，用千里镜遥看，十多里外清虏兵马