人工智能面试题 · 编码实现 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 54 道 · 更新 2026-08-05
筛选题目已选：编码实现 · Transformer
考察点
技术栈
第 1 题请解释Transformer的注意力机制的原理，并说明其在模型中的作用。 考察对Transformer核心机制的理解深度及表达能力第 2 题在 Transformer 的缩放点积注意力中，为什么 Q 和 K 的点积要除以根号下 d_k，能不能用其他数值？请从数学原理上解释。 考察对注意力机制数学原理的理解，特别是方差分析与缩放因子的作用第 3 题请具体说明在Transformer中如何实现多头注意力机制（Multi-Head Attention）。 考察对注意力机制实现细节的理解，包括Q/K/V投影、缩放点积和拼接输出第 4 题请阐述ViT的结构、计算复杂度以及它如何应用于图像分类。 考察对ViT架构原理、复杂度来源和任务适配的理解第 5 题请写出Transformer中自注意力的表达式，并解释为什么要除以√dk。 考察对注意力机制数学原理和数值稳定性设计的理解第 6 题Transformer的mask是如何操作的？ 考察对Transformer中padding mask和attention mask原理及实现的理解第 7 题请实现多头自注意力机制。 考察对Transformer核心组件的理解与编码实现能力第 8 题请手写实现一个 Transformer Encoder 的核心结构。 考察对 Transformer Encoder 的结构理解与代码实现能力第 9 题请用代码实现Transformer中的原始sinusoidal位置编码。 考察对Transformer位置编码公式的理解及编码实现能力第 10 题手写一下Transformer的自注意力计算公式。 考察对自注意力机制数学表达式的准确记忆与理解第 11 题从代码实现上讲，Decoder中的Mask是如何作用在Self-Attention分数上的？ 考察对注意力分数加权与掩码矩阵应用的代码级理解第 12 题请在白板/代码中实现Transformer的Decoder Block（含Masked Self-Attention与Cross-Attention）。 考察对Transformer Decoder结构、子层顺序及掩码细节的掌握与编码能力第 13 题请实现多头注意力机制。 考察对多头注意力机制的理解与代码实现能力第 14 题请手写Transformer的伪代码，重点覆盖Encoder和Decoder的完整流程。 考察对Transformer架构的深入理解与代码实现能力第 15 题Transformer中带Mask的Attention是如何实现的？ 考察掩码机制的原理与实现方式第 16 题多头注意力机制怎么实现？ 考察对多头注意力机制的原理理解和实现细节掌握第 17 题谈谈你对Transformer架构的理解，以及它的实现方式？ 考察对Transformer核心组件、原理及工程实现的掌握程度第 18 题请手写实现多头注意力机制的核心代码，并解释其工作原理。 考察对Transformer中多头注意力机制的理解与编码实现能力第 19 题代码题：实现 Casual mask 的 MHA，并说明其计算复杂度。 考察注意力机制实现细节、因果掩码原理与复杂度分析第 20 题请说明旋转位置编码（RoPE）的实现方式及其优势。 考察对旋转位置编码具体实现和设计动机的理解