Transformer的注意力为什么要多个头，多个头为什么能注意到不同信息，为什么一个头不能呢，反正最终输出都是相同维度，难道一起就学不到分开的东西吗

Question

Accepted Answer

考察点：考察多头注意力机制的设计动机与信息多样性。回答思路：解释多头机制如何通过不同投影捕获不同语义子空间 说明单头由于维度限制与参数同质难以并行表达多种关系 指出多个头输出拼接再投影整合信息，保证维度一致但不减少多样性 能结合低秩分解或并行注意力实例说明多头优势

考察说明