霍禹被任命为大司马后，就称说有病。

霍禹原先的长史任宣来探望问候，霍禹说道：&ldo;我哪裹有什么病?天子不是靠我家将军怎么能到现在的地步，如今将军的坟墓还没有干，他就一律疏远排斥我们家族，反而任用许、史两家的人员，还没收了我的官印，真让人死都弄不明白．&rdo;任宣见霍禹怨恨很深，就对他说道：&ldo;大将军的时代怎么还能再有!把持国家的权柄，生杀予夺操在手中。

廷尉李种、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁都因冒犯大将军的意旨而被下狱处死。

使乐成这样的小户人家子弟因为受到将军宠爱，官至九卿，爵为列侯。

百官以下只事奉冯子都、王子方等人，根本不把丞相放在眼里。

这是各自有自己的时代，如今许、史两家是天子的骨肉姻亲，得到尊贵正是理所当然。

大司马如果因此而心怀怨恨，我认为不应该。

&rdo;霍禹听后沉默不语。

过了几天，霍禹又上朝处理事务。

显和霍禹、霍山、霍云眼看着自己的权势一天天被削夺，几次相对流泪啼哭，自相埋怨。

霍山说：&ldo;现在丞相执政，受到皇帝信赖，全部改变大将军当时制定的法令，将公田授给贫民，以宣扬大将军的过失．又有诸位儒生，大多是穷人子弟，远道而来客居京城，衣食不保，却喜欢口出狂言，不避忌讳，大将军曾对这些人忌恨如仇，如今陛下却喜欢同众儒生交谈，又让他们自行上书答对政事，这些人就尽说我们家的事。

曾经有人上书说大将军在时，主弱臣强，揽权独裁，如今他的子孙当权，兄弟们更加骄横恣肆，恐怕将要危及宗庙社稷，灾异怪事频繁出现，都是因为这个缘故。

他的话说得极其痛切，我就压下没有把此书上奏。

后来上书的人更加狡猾，全都使用密封奏事，皇上就叫中书令出来取走，不通过尚书，皇上越来越不信任我了。

&rdo;显问道：&ldo;丞相屡次说我家的事，难道就没有罪过吗?&rdo;霍山答道：&ldo;丞相廉洁正直，哪裹能有罪?我家的弟兄们和各位女婿大多行为不慎。

又听民间盛传说霍家用毒杀死了许皇后，真有此事吗?&rdo;显很害怕，就全部将实情告诉了霍山、霍云、霍禹。

霍山、霍云、霍禹惊慌地说道：&ldo;像这等事情，为什么不早对我们说呢?天子离散斥逐我们家的几个女婿，是因为这个缘故啊。

这是一件大事，处罚可不会轻，怎么办?&rdo;从此他们就开始有了邪谋。

当初，赵平的门客石夏知晓天文，他对赵平说：&ldo;荧惑守着御星，御星是太仆奉车都尉的星宿，他们不是被贬官就是被杀死。

&rdo;趟平内心替霍山等人担忧。

霍云的舅舅李竟的好友张赦见霍云家族岌岌可危，就对李竟说：&ldo;如今丞相与平恩侯当权，可以叫太夫人告诉太后，先把这两个人杀了。

罢黜陛下，就在于皇太后。

&rdo;长安男子张章告发了这件事，宣帝就把此事交给廷尉处理。

执金吾拘捕了张赦、石夏等人，后来又有韶令制止，不准拘捕。

霍山等人更加恐慌，相对说道：&ldo;这是天子看重太后的面子，所以没有深究。

但是凶兆已显现，又有毒杀许后的事，陛下即使宽大仁厚，就怕他左右的人不听，时间久了仍然会追查，一旦查清就要被灭族，我们不如先动手。