腾讯面试题 · 方案权衡 · Transformer
腾讯相关面试题，按最终去重题目聚合。
共 3056 道真题 · 当前筛选命中 9 道 · 更新 2026-08-05
筛选题目已选：方案权衡 · Transformer
考察点
技术栈
第 1 题如果只使用单头注意力,可能会在哪些方面受限? 考察对多头注意力机制价值与局限的理解第 2 题单头注意力在 Transformer 中有什么局限性？ 考察单头注意力的表达瓶颈与多头优势的对比第 3 题Transformer 中为什么使用 Layer Normalization（LN）而不是 Batch Normalization（BN）？ 考察对 LN 与 BN 区别及在序列模型中的适用性的理解第 4 题请介绍Transformer的原理，并说明相比RNN和CNN的主要优势。 考察对Transformer核心机制的理解及其相对于传统序列模型的优势第 5 题针对 Transformer 模型推理过程，您会采用哪些优化手段（如 KV Cache、算子融合等）？请说明原理及收益。 考察对 Transformer 推理加速技术的原理理解与工程实践能力第 6 题Transformer 中为什么要使用多头注意力机制？ 考察多头注意力的设计动机与理论优势第 7 题Transformer 的位置编码是怎么做的？为什么需要它？ 考察对位置信息建模原理及常见实现的理解第 8 题能否解释Transformer使用多头注意力机制的动机？ 考察对多头注意力作用、动机及权衡的理解第 9 题Transformer中Pre-Norm和Post-Norm的设计差异是什么？对模型训练稳定性和性能有何影响？ 考察对Transformer归一化层位置差异及其对训练稳定性和性能影响的理解