人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 161 题介绍一下Transformer的整体结构及其核心组成部分。 考察对Transformer架构的整体理解与关键组件的作用第 162 题为什么要有position embedding？ 考察对位置编码在序列模型中的作用与必要性的理解第 163 题你认为 Transformer 的性能瓶颈主要来源于哪里？ 考察对 Transformer 计算和内存瓶颈的深入分析第 164 题嵌入层(Embedding Layer) 和 输出层(Output Layer) 是参数共享的吗? 考察对神经网络模型嵌入层与输出层参数共享机制的理解第 165 题Transformer的自注意力机制及相比RNN的优势？ 考察对自注意力机制原理的理解及与RNN架构的对比分析能力第 166 题请介绍Transformer模型中的主要计算过程，包括自注意力机制和前馈网络的计算步骤。 考察对Transformer核心计算流程的理解，包括自注意力的矩阵运算、多头机制及前馈网络第 167 题Transformer 编码器中的前馈网络（FFN）起什么作用？为什么需要它？ 考察对 Transformer 编码器结构中 FFN 作用与必要性的理解第 168 题手写一下Transformer的自注意力计算公式。 考察对自注意力机制数学表达式的准确记忆与理解第 169 题请介绍Transformer的整体架构，并说明Self-Attention与Cross-Attention的区别。 考察对Transformer核心组件及其机制差异的理解第 170 题目前的LLM结构和最开始的Transformers有哪些变化? 考察对Transformer架构演进及大模型技术迭代的理解第 171 题详细介绍一下Transformer的结构？ 考察对Transformer核心组件、设计原理和整体架构的理解第 172 题请解释Attention机制和Transformer架构的核心原理。 考察对深度学习核心机制的理解与表达能力第 173 题使用 KV Cache 之后，效果与改进前相比有什么变化？请分析。 考察对 KV Cache 作用、效果与代价的理解第 174 题请说明 Transformer 模型的核心组成机制，并结合你实际使用过 Transformer 的项目，谈谈它如何解决该项目中的具体问题。 考察对 Transformer 内部机制的理解深度，以及将技术原理与项目实践结合的能力第 175 题请解释注意力机制的基本原理。 考察对注意力机制核心概念和计算流程的理解第 176 题MHA（多头注意力机制）的计算复杂度比较高，有哪些改进的方法？ 考察Transformer注意力机制的计算瓶颈分析与优化方案设计第 177 题请介绍Softmax函数的作用及其在Transformer中的应用。 考察对Softmax函数数学含义及其在注意力机制中作用的掌握第 178 题请比较BERT和GPT在模型结构与训练目标上的主要区别。 考察对编码器与解码器、双向与自回归生成差异的理解第 179 题从代码实现上讲，Decoder中的Mask是如何作用在Self-Attention分数上的？ 考察对注意力分数加权与掩码矩阵应用的代码级理解第 180 题为什么注意力机制要除以根号 d_k？如果不缩放会怎样？ 考察对注意力分数缩放动机与数值稳定性的理解