事吗？”霍夫人恐急，就将事情的真相告诉了大家，霍禹霍山霍云大惊，说：“既如此，为什么不早告诉我们？县官离散斥逐诸婿，原来是因为这个缘故啊。这是大事，诛罚不小，该怎么办呢？”于是，开始有邪谋了。
霍云的舅舅李竞的好友张赦，见霍云家仓促慌乱，就对李竞说：“如今丞相与平恩侯用事，可令太夫人告诉太后，先诛杀这两个人，然后移徙陛下，这些事只在太后一人而已。”长安男子张章上书告之，事下廷尉，执金吾捕张赦等。后又有诏不再追捕。霍山等人愈加恐慌，在一起合计说：‘这是皇上敬重太后，故不再追究。但是恶端已现，久后一定还会追究，追究即族灭。不如先发难。或可保全。’
遂令诸女各归报其夫，都说：“该如何才能逃避祸难呢？”正好李竞坐与诸侯王交通，辞语连及霍氏，有诏说霍云霍山不宜宿卫，免官就第。山阳太守张敞上封事说，臣听说公子季友有功于鲁，赵衰有功于晋，田完有功于齐，都是延续了祖上的功德，惠及子孙。但最终田氏篡齐，赵氏分晋，季氏颛鲁。因此仲尼作春秋，描叙盛衰足迹，讥讽世卿最是厉害，当初大将军决大计，安宗庙，定天下，功劳的确不小。当年周公辅成王，仅仅七年而已。而大将军足足用了二十年，海内之命，断于掌握。在他隆盛的时候，感天动地，侵迫阴阳，这时应该明白的告诉朝臣，陛下褒宠故大将军以报恩德，这就足够了。如今辅臣专政，贵戚太盛，君臣之分不明，请求罢霍氏三侯皆就第，及卫将军张安世，也应该赐其几杖归休，以后经常存问召见，以列侯为天子师，明诏以恩。若不听，使群臣以义固争，然后答应他们的请求，天下人一定会以为陛下不忘功德，而朝臣也为知礼。霍氏可以世世无所患苦，今朝廷不闻直声，非要明里罢免，这可不为得策。今两侯已出，人情不相远，依臣的愚见，大司马及其枝属，一定会有畏惧之心，令近臣自危，这可不是完美的策略。臣敞愿当朝臣之面说明缘由值守远郡。拳拳之心，愿陛下明察。
皇上甚善其计，然而并不依计而行。霍家数有妖异之事，举家忧愁。霍山说，丞相擅自减少宗庙祭祀的牺牲，可以以此为罪名收斩他。定计令太后为博平君置酒，召丞相平恩侯以下，使范明友，邓广汉承太后制，引斩之，因废天子而立霍禹。约定未发，霍云拜为玄菟太守，太中大夫任宣为代郡太守。这时反事被发觉。