如何处理大模型训练过程中的梯度消失或梯度爆炸问题？

Question

Accepted Answer

考察点：考察对梯度不稳定成因及常见解决手段的理解。回答思路：解释梯度消失与梯度爆炸的成因 说明参数初始化、激活函数、归一化等预防手段 说明梯度裁剪、优化器选择等应对手段 结合大模型训练的实际情况说明应用

考察说明