们把他看成不守信之人。
但是，随着清洗阉党的运动达到高潮，就连这些东林大佬也压不下去这件事了。毕竟他们做的那些事是不能明说的，总不能到处给那些年轻的东林官员说这个霍维华是他们为了杀掉天启皇帝而拉拢过来的吧！
于是到后来时，一到上朝时，弹劾霍维华几乎成了每天朝会的必修课，到后来，不但是年轻的低级官员，就连内阁大学士文震孟都出动了。这些人充分发挥了东林党人的特点，对此事是死缠烂打，只要崇祯皇帝不处理霍维华，这些人就不罢休。
到后来，崇祯皇帝实在顶不住了，于是就把霍维华叫到皇宫安慰了他几句，那意思就是说现在你成了所有人的靶子，我不处理你实在不没办法了，但你放心，我会给你其它的补偿的。然后就把霍维华给罢免了。
尽管罢免了霍维华，崇祯皇帝确是顶住了要求把霍维华抄家灭门的呼声，而是让他平安回家了。