请解释在线softmax（online softmax）的原理，并说明它在Flash Attention中如何用于避免存储完整注意力矩阵并减少显存占用。
考察说明
考察在线softmax的数值计算原理及其在Flash Attention中的应用
回答思路
- 正确描述在线softmax如何按块更新最大值和exp和
- 说明在线softmax能避免存储完整注意力矩阵
- 说明Flash Attention利用该技术减少显存并维持数值稳定性
- 能指出与标准softmax结果的等价性
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。