科道官多次上疏弹劾二张，孝宗命司礼监予以制止，并写下亲笔手谕：“朕只有这门亲，再不必来说”。对敢于直言极谏的李梦阳，一向温和的孝宗竟将其投入诏狱。
罗玘上疏营救李梦阳，曰：“鹤龄在肺腑，陛下固将玉成之。若梦阳万一处死或自裁，乃滋为鹤龄累。”孝宗这才将李梦阳从轻发落。
武宗即位后，张氏的身份由皇后变成了皇太后。她的影响力依然强大。与此相应，武宗登极之初即分别赐予张鹤龄、张延龄太傅、太保的荣衔。此后，又不顾户部尚书韩文“此辈名为买补残盐，实侵夺正课”的进谏，批准张鹤龄等人买补。因此，武宗对二张的恩宠虽远逊于孝宗，但二张“富贵益盈，骄恣、怙终不悛。奢侈、僭拟无度”。
出人意料的是，一个小人物不但使二张在正德十年险遭灭顶之灾，而且埋下了二张最终覆灭的祸根。这个人叫做曹祖，本是一个江湖术士。其子曹鼎是二张的家仆，曹祖亦透过这一层关系获得了张延龄的赏识。其后，曹氏父子关系恶化，张延龄借故将曹祖驱逐。曹祖愤恨不已，迁怒于张鹤龄兄弟，击登闻鼓谎称二张“阴图不轨，蓄意谋反”。
武宗闻言暴怒，命令刑部尚书张子麟等进行会审，并派遣司礼监、东厂予以监督。恰在此时，曹祖突然服毒身亡，武宗更加疑心“谋反”属实，严令追查到底。张太后见事态紧急，多次居间调停，二张亦献上大批珍宝寻求转机。由于查无实证，此案最终不了了之。武宗暴卒后的空位期及嘉靖初年，张太后的个人权势达到顶峰，但随着议礼之争的展开，她逐渐失去了往日的荣光。二张也经历了同样的转折。
嘉靖即位之初，以张鹤龄亲赴安陆迎驾有功，封其为昌国公、太师，张延龄亦获得了太傅的荣衔。此时，二张依然横行无忌。张鹤龄在迎世宗赴京即位的途中公然“鞭驭者至死”。嘉靖当时就对此非常不满，但是他强自忍了下来。
张延龄更是胆大妄为。嘉靖二年，张延龄强夺宛平县居民孙铭的土地，孙铭赴县衙申诉，县令不敢受理。张延龄闻讯后公然派人在县衙前将孙铭捉到张府，锁拘马房内者五日。之后，又将孙铭责打二十仗，这才放过受害人。
给事中张原据实弹劾，而嘉靖为了大局只能暂时搁置此事。
嘉靖三年，世宗诏告天下改孝宗为“皇伯考”、张太后为“皇伯母”，张氏家族的威势从此一落千丈。嘉靖七年，嘉靖下令裁革外戚，二张亦在被裁之列。那些长期被张家欺压的人，突然发现了复仇的机会，仇