人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 241 题DIN 和 Transformer 的 attention 有什么不同？ 考察对两种 attention 机制的设计动机、计算方式和应用场景差异的理解第 242 题Transformer的encoder和decoder结构有什么区别？ 考察对Transformer核心组件差异的理解第 243 题你针对Transformer特定层（如第二层）是否做过消融实验？结果如何？ 考察候选人是否有针对模型结构某层进行消融实验的经验及分析能力第 244 题Transformer 中 Padding 的策略是什么？ 考察对 Transformer 输入处理中 Padding 机制的理解第 245 题请描述 Qwen2 的模型架构，包括其主要组件和设计特点。 考察对大语言模型基础架构的理解，特别是 Qwen2 的具体设计第 246 题八股:Transformer Encoder 中 FFN 的作用是什么? 考察对 Transformer 前馈网络功能与设计原理的理解第 247 题大模型训练和推理中常用的位置编码方案有哪些？请分别说明每种编码方式的优势、局限性及适用模型。 考察对位置编码原理、演进和适用场景的深入理解第 248 题为什么Transformer用LN不用BN？ 考察对归一化原理、序列建模特性和梯度稳定性的理解第 249 题代码题：实现 Casual mask 的 MHA，并说明其计算复杂度。 考察注意力机制实现细节、因果掩码原理与复杂度分析第 250 题Transformer 的基本结构是怎样的？ 考察对Transformer架构核心组件及其作用的理解第 251 题为什么Transformer使用三角函数位置编码，相比于[1,2,3..]这种硬编码的好处在哪？ 考察位置编码设计动机与相对位置信息建模第 252 题介绍 Self-Attention 和 Cross-Attention 的区别与联系。 考察对注意力机制两种基本形式的理解及其应用场景第 253 题除了 Sparse 和 Linear 注意力之外，你还知道哪些加速 Transformer 的方法？ 考察对加速方法前沿和广度的了解第 254 题请说明Transformer从最初版本到主流变体（如BERT、GPT）的主要演变过程。 考察对Transformer演进脉络及设计动因的理解第 255 题请说明旋转位置编码（RoPE）的实现方式及其优势。 考察对旋转位置编码具体实现和设计动机的理解第 256 题请解释位置编码在Transformer中的作用，并说明正弦位置编码与可学习位置编码的差异及适用场景。 考察对Transformer位置编码原理及其不同实现方式的理解第 257 题自注意力机制是什么，以及它是如何实现的？ 考察对Transformer核心机制的理解及其实现细节第 258 题Transformer 中位置编码有哪些常见实现？各自的优劣是什么？ 考察对位置编码方案的了解、比较与适用场景判断第 259 题在Transformer中，非线性变换主要由哪个部分提供？ 考察对Transformer各组件非线性来源的理解第 260 题单头注意力在 Transformer 中有什么局限性？ 考察单头注意力的表达瓶颈与多头优势的对比