请手撕实现一个 CUDA LayerNorm 的 kernel。
考察说明
考察 CUDA 编程基础、并行归约与 LayerNorm 算法的实现能力
回答思路
- 正确理解 LayerNorm 的数学公式与计算步骤
- 正确设计 block 和 thread 的组织方式，处理一维归一化维度
- 实现高效的并行归约（如共享内存、原子操作或线程同步）计算均值和方差
- 处理边界情况和数值稳定性（如使用均方差公式避免溢出）
- 写出可编译运行的 CUDA kernel，包含必要的同步和内存访问优化
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。