他们两个都有 weight decay，主要说一下他们这方面的区别。

AdamW 将对 的 正则化从 Adam 的梯度更新中拿出来，在更新 的时候直接加上，更像是真正的权重衰减。 现在基本上是大模型训练的标配。

知乎讲解