体系里，谁控制着与皇帝沟通的渠道，谁就可能获得权力。从嘉靖十八年（1539）起，世宗就基本上不再上朝了，大臣们基本上见不到皇帝。严嵩却时常能见到世宗，有时皇帝一天可能给严嵩下几道手诏，其宠幸可见一斑。到严嵩年龄很大的时候，他甚至可以坐着小轿出入宫廷。但是，世宗始终没有放权于严嵩。嘉靖二十四年（1545）重新召回夏言任内阁首辅，就使严嵩处于一个非常尴尬的境地。据说，有一次为了儿子严世蕃的违法之事，严嵩不得不携着儿子来到夏言的府上，跪在夏言的床边求情。《明史》的编者清楚地指出，这是世宗察觉了严嵩的骄横，所以虽亲礼严嵩，却也不完全相信严嵩的话，偶而做出一些很专断的决定（例如杀兵部尚书丁汝夔、大将军仇鸾），或偶而不同意严嵩的话，以"杀离其势"。