人工智能面试题更新 2026-08-05

请解释GQA(分组查询注意力)和MLA(多头潜在注意力)等注意力机制的结构及其在LLM中的作用。

深圳虾皮信息科技有限公司人工智能互联网/IT技术原理方案权衡LLM

考察说明

考察对前沿注意力机制原理的理解及在LLM中的应用

回答思路

  1. 清晰说明GQA如何分组共享KV,减少KV缓存并提升推理效率
  2. 清晰说明MLA如何通过低秩潜在向量压缩KV,进一步减少缓存
  3. 对比MHA、GQA、MLA的差异与适用场景
  4. 说明这些结构对推理速度、显存占用和模型质量的影响