藏匿反者，只能定性为藏匿造反的胁从者，因此根据赦令免除了侯史吴的罪过，后来侍御史重新复审以为桑迁精通经术，知父谋反而不谏诤，与反者等同。侯史吴身为三百石的官吏首匿桑迁，不可以和庶人藏匿从反者等同，因此，侯史吴不在大赦之例。奏请覆治。并弹劾廷尉少府故纵反者。少府徐仁，是丞相田千秋的女婿，因此田千秋数次为侯史吴说好话因恐大将军不听，即召集中二千石及以下官员，博士在公车门集会。辩论根据法律侯史吴该当何罪。参与辩论的人都知道大将军的意图，都坚持以为侯史吴为不道，当论罪。次日，田千秋封上众议。书奏，霍光以田千秋擅招官员集会，使内外异言，遂将廷尉王平少府徐仁下狱。朝廷皆恐丞相因此事坐罪。太仆杜延年向霍光上奏说：“官吏纵放犯人有常法，如今却诋毁侯史吴为不道，恐怕有点用法深刻的嫌疑。再者说丞相这个人，平素对待下属没有什么偏见，只是为了为下属说好话而尽他的本责。及擅招官吏，大家的议论却是对他无益。延年愚钝，以为丞相久于世故，自先帝时用事已久，非有大故，是不可弃用的。目前百姓都纷纷议论，以为朝廷用法深刻，今丞相所议，又是狱事，因此事而祸及丞相，恐怕不合众心。会引起群下讙哗，百姓私议，流言四布的局面，延年私下里担心将军会以此失天下人之心。”
霍光以廷尉少府玩弄法律，无论轻重将二人下狱。
夏四月，徐仁自杀。王平与左冯翊贾胜胡皆腰斩。但并不论及丞相，终丞相之身无所贬损。杜延年论议持平，和合朝廷，大抵都如此类。
冬，辽东乌桓反。当初，冒顿破东胡东胡余众散保乌桓及鲜卑山为二族，世代役属匈奴。武帝击破匈奴左地，因将乌桓迁往上谷，渔阳，右北平，辽东塞外。帮助汉室侦察匈奴的动静。并设置护乌桓校尉监领他们。使他们不得与匈奴交通。至此时部众渐强，遂反。
先是匈奴三千余人入五原，杀掠数千人。后又发数万骑傍塞狩猎，边行边攻击塞外亭障。掠取黎民然后逃走。当时汉边境烽火候望精明，匈奴寇边者少有利益，因此很少犯塞。汉又得到匈奴降者，听他们说乌桓曾经掘匈奴先单于之墓，匈奴怨恨他们，这才发二万骑攻*桓。霍光欲发兵邀击，问护军都尉赵充国，充国以为乌桓曾经多次犯边，如今匈奴攻打他。对于汉是有利的。再说匈奴现在很少犯边，北边侥幸无事，蛮夷自相攻击，我们却要发兵邀击如此招寇生事，不是明智的决策。霍光再问中郎将范明友明友以为可击。于是拜明友为渡辽将军，将二万骑出辽东。匈奴听