当时正值大礼议后的仪礼派当政的时候，阁臣桂萼伙同群臣，以王守仁私自离任。且王守仁视“心学”为邪门歪道，对王守仁进行弹劾。

桂萼上疏道：守仁事不师古，言不称师。欲立异以为名，则非朱熹格物致知之论；知众论之不与，则着朱熹晚年定论之书。号召门徒，互相唱和。才美者乐其任意，或流于清谈；庸鄙者借其虚声，遂敢于放肆。传习转讹，悖谬日甚。

诋毁先圣朱熹，否定儒家学派，这在当时可是一个大罪过，王守仁的“心学”被视为异端邪说。这也是王守仁在江西平叛后屡遭打压的原因，正德时有杨廷和，嘉靖时又有桂萼，都是当朝权臣。

嘉靖此时为了安抚仪礼派，当然同意桂萼的说法，嘉靖下达诏书：卿等议是，守仁放言自肆，诋毁先儒，所封伯爵本当追夺，但系先朝信令，姑与终身，其殁后，恤典俱不准给。

可怜阳明公为大明立下汗马功劳，却落得这般下场，令欧阳德等人扼腕叹息，也是王门弟子们这么多年一直追求的事情。