注意力公式Softmax出现bug，对Transformer模型和大语言模型有什么影响?应怎么解决?
2023-07-25 阅读 0
Softmax 出 bug 会直接破坏注意力权重的归一性或数值稳定性，导致训练不收敛、loss 发散、注意力无意义、生成质量严重下降。常见原因有没有除以 sqrt(d_k)、数值溢出/下溢（特别是 float16）、mask 处理错误、手写 softmax 不稳定或就地操作破坏梯度。解决办法是：按论文做点积后除以 sqrt(d_k)，在 exp 前做减 max 操作以保证稳定，mask 用大负值（如 -1e9 或 -inf）正确掩掉位置；尽量用 float32 或用 AMP 时配合 GradScaler；避免就地修改影响反向传播；用框架/高质量实现（PyTorch 的 softmax、FlashAttention）并写单元测试（注意力行和为1、无 NaN/Inf、梯度检查）来定位问题。
更新于 2025年12月22日
