百度面试题 · 技术原理 · Transformer
百度相关面试题，按最终去重题目聚合。
共 3071 道真题 · 当前筛选命中 32 道 · 更新 2026-08-05
筛选题目已选：技术原理 · Transformer
考察点
技术栈
第 1 题Transformer的自注意力机制是如何实现的？请说明Q、K、V的计算方式以及相关参数的初始化方法。 考察对Transformer自注意力机制的理解深度，包括QKV计算流程和初始化细节第 2 题这些大模型在结构上有哪些主要差异？ 考察对Transformer架构演化及模型结构差异的理解深度第 3 题请解释 Transformer 中各主要子层的功能，并分析如果去掉前馈网络（FFN）层会对模型产生什么影响。 考察对 Transformer 结构各组件功能的准确理解，以及对组件作用机理的深入分析第 4 题在Transformer框架下，CV、NLP、语音是否可能实现“大一统”？ 考察对Transformer统一架构潜力的理解与跨模态技术判断第 5 题在序列建模任务中，你会从哪些方面考虑效率优化？请结合具体技术手段说明。 考察对序列模型计算瓶颈的认识及工程优化能力第 6 题在Transformer中，掩码注意力的作用是什么？ 考察对Transformer注意力机制中掩码原理的理解第 7 题请介绍一下 TIGER 模型。 考察对用户行为序列建模模型 TIGER 的理解第 8 题请详细介绍Transformer模型的结构和工作原理。 考察对Transformer模型架构、核心机制及工作原理的理解第 9 题计算attention时为什么要除以根号dk，还有哪些scale处理？ 考察对Transformer中注意力机制缩放因子的原理理解及变体知识第 10 题请说明 Self-Attention 的计算过程，并分析其优缺点。 考察对 Transformer 核心机制的理解以及权衡分析能力第 11 题请说明 Transformer 模型参数量主要受哪些因素影响，并给出一个典型的估算公式。 考察对 Transformer 模型结构参数的理解和估算能力第 12 题怎么理解QKV 考察Transformer中QKV的概念理解与作用机制第 13 题大模型训练和推理中常用的位置编码方案有哪些？请分别说明每种编码方式的优势、局限性及适用模型。 考察对位置编码原理、演进和适用场景的深入理解第 14 题Transformer 的基本结构是怎样的？ 考察对Transformer架构核心组件及其作用的理解第 15 题大模型常用的位置编码有哪些？各自的优缺点是什么？ 考察对位置编码机制的理解、对比与适用场景判断第 16 题详细讲讲 Transformer，Self-Attention 中 QKV 的数学公式，以及你如何理解 QKV。 考察对 Transformer 核心架构和自注意力机制数学原理的理解深度第 17 题你之前做CV方向，请谈谈CV和NLP的区别与联系，以及在Transformer大背景下，CV、NLP和语音等多模态能否实现大一统？ 考察跨领域认知、技术趋势理解和多模态统一架构的思考深度第 18 题请解释 Transformer 中因果注意力与双向注意力的核心区别，并说明各自适用的场景。 考察对注意力机制两种形态的理解及场景适配能力第 19 题讲一讲为什么Transformer用LN而不用BN？ 考察对归一化技术原理与Transformer架构特性的理解第 20 题LLaMA中的Transformer与普通Transformer相比有哪些改进？ 考察对LLaMA模型架构改进的深入理解与对比能力