在 Masked Multi-Head Attention 中，mask 掩码值为什么通常取-1（或一个较大的负数）？
考察说明
考察对注意力机制中 softmax 数值处理和掩码原理的理解
回答思路
- 说明注意力分数经过 softmax 归一化，需要屏蔽位置的概率趋近于零
- 解释取-1或大负数的原因：单一固定负值无法满足不同数值范围，实际常用-1e9或掩码逻辑
- 说明加性掩码与 softmax 的数值稳定性关系，避免梯度消失或 NaN
- 讨论掩码在自回归解码中防止未来信息泄漏的作用
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。