严嵩虽然三令五申不能干预杨继盛一案，但是此时严世蕃已经官居工部右侍郎，从一个连任何功名都没有的独眼龙，到现在官居三品，掌握着天底下最大的肥差工部，严世蕃除了因为有一个首辅老爹以外，更重要的还是自身的能力。
嘉靖二十七年（1548年），严嵩再任首辅时，已经年近七旬，年迈体衰，精神倦怠，加之需日夜随侍皇帝左右，已无足够精力处理政务。如有政事需要裁决，多依靠其子严世蕃，总言“待我与东楼小儿计议后再定”，甚至私下让世蕃直接入值，代其票拟。票拟就是内阁在接到奏章后作出批答，再由皇帝审定，是阁臣权力的重要体现。世蕃的票拟多能迎合嘉靖的心意，因此多次得到嘉靖的嘉奖。
嘉靖二十九年（1550年），严世蕃升太常寺卿，十月始上悯嵩老，令子世蕃随任侍亲。严嵩索性就将政务都交给其子，世蕃一时权倾天下。严世蕃号称小阁老，比徐阶这个内阁次辅的权力大多了。
严世蕃不但能准确揣摩嘉靖的心意，更是搞斗争的一把好手，严世蕃通过对嘉靖心里的揣摩，来打击政敌，比之乃父还要更胜一筹，徐阶与其说是忌惮垂垂老矣的严嵩，倒不如说是忌惮这个聪明绝顶的独眼龙。而严世蕃也早就对徐阶必欲除之而后快。
杨继盛上书弹劾严嵩，严世蕃第一个想到的就是徐阶指使的，故而今天召集自己的党羽在府内商议此事。
严世蕃的书房内，鄢懋卿、赵文华、罗龙文坐在下首，严世蕃的独眼闪烁着精光，说道：“徐阶这老货，现在公然指使杨继盛弹劾家父，若不收拾他一下，外间怎么看我严家？”
赵文华附和道：“就是，徐党现在猖獗，连带着一帮御史言官也蠢蠢欲动了，若是不把杨继盛从重处置，恐怕他们以后更加疯狂。”