BERT中使用的Normalization是Layer Normalization,请说明Layer Normalization(LN)与Batch Normalization(BN)的核心区别是什么?
考察说明
考察对LN与BN在原理、计算范围及适用场景上差异的理解
回答思路
- 准确说出LN在单样本内的特征维度上归一化,BN在batch维度上归一化
- 对比两者在训练和推理时的行为差异(如BN依赖batch统计量)
- 能举出各自适用场景的例子并简要说明原因
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。