人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 381 题讲讲Transformer Encoder 考察对Transformer编码器架构、关键组件及工作原理的理解第 382 题位置编码为什么选择正/余弦编码，有什么好处？ 考察对Transformer位置编码原理及其设计意图的理解第 383 题请比较Transformer和Vision Transformer（ViT）在结构上的主要差异，并说明ViT如何处理图像输入。 考察对Transformer和Vision Transformer结构原理的理解与对比能力第 384 题Attention为什么要除以根号dk？ 考察对Transformer中缩放点积注意力机制原理的理解第 385 题自注意力计算中为何除以 √dk？ 考察自注意力机制中缩放因子的数学原理与稳定训练意识第 386 题请分析 Transformer 模型的计算复杂度，并给出其核心机制（如自注意力）的伪代码。 考察对 Transformer 架构计算复杂度的理解和伪代码表达能力第 387 题Transformer 用 BN 了吗？ 考察对 Transformer 结构与 BatchNorm/LayerNorm 区别的理解第 388 题请讲解 RoPE（旋转位置编码）的原理，并比较其他常用的位置编码方式，最后说明 RoPE 的主要优点。 考察对位置编码技术原理的理解、对比分析能力及应用洞察第 389 题请介绍你对大语言模型和多模态大模型发展脉络的了解，并谈谈 Transformer、BERT、GPT、LLaMA、Qwen 系列以及 o1 推理模型各自的关键贡献与联系。 考察对生成式AI技术演进、代表性模型核心贡献及代际关系的理解第 390 题请解释 Transformer 中因果注意力与双向注意力的核心区别，并说明各自适用的场景。 考察对注意力机制两种形态的理解及场景适配能力第 391 题Self attention的公式是什么，为什么要除以sqrt？ 考察Transformer自注意力机制的计算细节与数值稳定性理解第 392 题讲一讲为什么Transformer用LN而不用BN？ 考察对归一化技术原理与Transformer架构特性的理解第 393 题LoRA具体是对模型中的哪些参数做低秩分解？ 考察对LoRA应用对象的具体认知，即注意力层的权重矩阵第 394 题请实现 Self-Attention 并说明各张量的维度变化。 考察对 Transformer Self-Attention 原理的掌握及代码实现中的维度处理能力第 395 题Transformer和LSTM推理的过程有什么差异？ 考察对两种架构推理阶段计算特性与自回归生成机制的理解第 396 题请详细讲解多头注意力机制，以及 Q/K/V 是如何计算的？ 考察对 Transformer 多头注意力机制原理与计算流程的理解第 397 题介绍一下 Multi-Head Attention 的原理？ 考察对 Transformer 核心组件 Multi-Head Attention 的理解第 398 题为什么Tiger模型采用encoder-decoder架构而不是decoder-only架构？ 考察对Transformer架构设计权衡和模型选型的理解第 399 题请说明Transformer的基本结构，包括编码器和解码器的主要组成部分。 考察对Transformer整体架构的掌握。第 400 题解码器的输出形状是什么，如何做自回归过程？ 考察对自回归生成流程和存储结构的理解