阿里巴巴面试题更新 2026-08-05
介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？
阿里巴巴人工智能电商系统设计技术原理LLMTransformer
考察说明
考察对注意力机制原理的理解及多头设计价值的掌握
回答思路
- 清楚解释注意力机制的核心原理（Query/Key/Value 与加权求和）
- 说明多头注意力如何并行捕获不同子空间特征
- 对比单头与多头在表达能力、训练稳定性和信息捕获上的差异
- 能联系实际大模型应用，体现对机制本质的理解
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
