adam避坑：从更新原理看参数陷阱
adam避坑不能只靠记住“学习率设小点”，得明白它为什么会快、为什么有时又不稳。把动量、平方梯度、偏差修正和权重衰减拆开后，很多怪现象都能解释：早期步长异常、eps掩盖问题、训练集漂亮但泛化一般。
先把核心逻辑说透
Adam 每一步做的事，可以理解为同时记两本账：一本记录梯度的指数移动平均，也就是大致方向；另一本记录梯度平方的移动平均，用来估计近期尺度。更新时，用前者除以后者平方根再加 eps，于是不同参数会得到不同的有效步长。
这套机制让 Adam 面对尺度差异时很省心，但也意味着名义学习率不等于每个参数真正走出的步长。看到 lr 都是 1e-3，不能推断两次训练的更新幅度相同，因为梯度历史可能完全不同。
坑一：忽视早期偏差修正
移动平均刚开始时被初始化为零，如果直接使用，会系统性偏小。Adam 通过偏差修正除以与 beta 次幂相关的系数，降低启动阶段的偏差。新手没必要手写这段，主流框架已经实现；真正的坑是自己复现公式时漏掉修正，却拿结果和标准 Adam 对比。
betas 也不是越接近 1 越稳定。数值越大，记忆越长，对新梯度变化反应越慢。没有明确证据时保留默认值，比凭感觉改成四个九更可靠。
坑二：把eps和权重衰减当万能药
eps 的直接作用是避免分母过小并影响数值尺度。训练出现 NaN，根因可能是输入含无穷值、损失函数溢出、混合精度处理错误或梯度爆炸。只把 eps 调大，可能让训练暂时继续，却把数据问题藏起来。正确顺序是先查数据与梯度，再做参数实验。
另一个高频误区，是把 Adam 的 L2 项和 AdamW 的解耦权重衰减视为完全相同。自适应缩放会改变前者的实际效果；想要更直观的 weight decay，通常应测试 AdamW，并对偏置、归一化参数谨慎分组。
坑三：把收敛快等同于泛化好
Adam 往往能较快降低训练损失，但优化目标只是训练集上的损失，不会自动保证验证集最好。判断时要同时看泛化差距、校准表现和多次运行波动。若 SGD 最终高出一点，也要确认差异是否超过随机种子带来的标准差。
adam避坑的底线很简单：先固定实验条件，优先搜索学习率；异常先查数据和梯度；有衰减需求就比较 AdamW；结论看验证集与重复实验。理解每个参数在更新公式里负责什么，远比抄一套所谓万能配置管用。
常见问题
Adam里的eps越大越稳定吗？
不一定。增大eps会改变有效更新尺度，可能缓解部分数值问题，也可能削弱自适应效果。出现NaN时应先检查数据、损失计算、混合精度和梯度。
Adam为什么需要偏差修正？
一阶矩和二阶矩从零初始化，训练早期的移动平均会偏向零。偏差修正用于抵消这种启动偏差，使早期估计更合理。
Adam训练loss很低但验证效果差怎么办？
先检查数据泄漏，再尝试早停、数据增强、合适的权重衰减和学习率调度。也可将AdamW或SGD作为对照，不要只追求更低的训练loss。