Pre-LN和Post-LN在训练稳定性、梯度传播和最终性能上有什么区别？

Question

Accepted Answer

考察点：考察对两种结构影响机制的理解。回答思路：能解释Pre-LN梯度更稳定、避免梯度消失/爆炸 能指出Post-LN可能训练不稳但表示能力更强 能说明Pre-LN可能带来表征崩溃或性能下降 能结合残差和梯度路径展开

考察说明