人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 261 题常见的位置编码类型有哪些？ 考察对主流位置编码机制的理解与对比第 262 题Pre-LN和Post-LN在训练稳定性、梯度传播和最终性能上有什么区别？ 考察对两种结构影响机制的理解第 263 题请介绍智驾感知相关的关键知识点，并详细说明你看过的论文以及BEV感知的基础知识与代表性论文的技术细节。 考察对智驾感知知识体系的掌握深度与论文阅读的系统性第 264 题请介绍Transformer架构的整体结构、自注意力机制原理和位置编码方法。 考察对Transformer核心组件的原理性理解与全局把握第 265 题Transformer 的 Encoder 可以去掉 FFN（前馈网络）吗？为什么？是否可行？ 考察对 Transformer 结构各组件作用及权衡的理解第 266 题分析Transformer的空间复杂度 考察Transformer模型空间复杂度分析能力第 267 题请描述注意力机制的计算过程。 考察对注意力机制核心公式和步骤的理解第 268 题请描述BERT模型的预训练目标及其如何利用双向上下文。 考察对BERT预训练机制与双向编码原理的理解第 269 题Qwen与传统的Transformer模型相比,有什么结构上的改进? 考察对大模型架构演进的理解及对比分析能力第 270 题请设计一个基于Transformer的自回归模型，用前三个token（记作abc）预测第四个token。请写出伪代码，并说明特征维度、注意力头数等关键超参数如何选择。 考察Transformer自回归建模、伪代码表达能力与超参数设计第 271 题用BERT做分类时，softmax应该添加在哪个层级，维度如何选择？ 考察BERT分类头的实现细节与输出维度设计第 272 题如何理解多模态技术，并结合实际场景说明它的应用与挑战？ 考察对多模态概念的理解深度、实际应用认知和工程挑战识别第 273 题请介绍BERT的设计结构，以及它与原始Transformer的区别。 考察对预训练语言模型结构与Transformer架构差异的理解第 274 题交叉注意力和自注意力的区别是什么？ 考察对注意力机制两种基本形式的理解与对比能力第 275 题Transformer 为什么在大批量数据上表现更好？ 考察对 Transformer 模型结构、训练动态与数据规模关系的理解第 276 题请解释Transformer的基本架构，并说明其自注意力机制的工作方式。 考察对Transformer核心机制的理解第 277 题FFN(前馈神经网络)为什么要先升维再降维？ 考察对Transformer中前馈网络结构设计的理解及直觉第 278 题问Transformer的优势，为什么效果好？ 考察对Transformer架构原理、优势及效果来源的理解深度第 279 题为什么 Transformer 的注意力分数要除以根号 dk？ 考察注意力机制数学设计的直觉与稳定性理解第 280 题请介绍 HSTU 架构，并说明其核心设计思想和适用场景。 考察对 HSTU 架构的理解、关键技术特点及其适用场景的把握