张璁的这些行为遭到了权贵的记恨,不断的上疏弹劾张璁。但由于他一切秉公,亦奈何他不得。张璁几次致仕离京,犹如一介寒儒。他一再告诫家乡族人不要因他在朝做高官,便倚势凌人干不法事。他居朝十载,不进一内臣,不容一私谒,不滥荫一子侄。
他回乡后,嘉靖还常常思念他,多次遣使看望。
现在严嵩也要提致仕了,当年支持嘉靖的议礼诸臣,已经凋零殆尽,这让嘉靖颇为感伤,对严嵩说道:“张璁、桂萼、顾鼎臣等人,皆以作古,如今惟卿尔,卿其勉力为之!所请不允。”
严嵩只得行礼之后回到内阁值房,继续办公。