人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 221 题你了解 Transformer 这种网络结构吗？请谈谈它的核心组成和工作原理。 考察对 Transformer 架构的基本理解和表达清晰度第 222 题Transformer的encoder和decoder有什么不同？请从结构和任务两个层面说明。 考察对Transformer模型结构差异和任务定位的理解第 223 题为什么要用Multi-Head Attention? 考察对Transformer中多头注意力机制原理与优势的理解第 224 题在 Masked Multi-Head Attention 中，mask 掩码值为什么通常取-1（或一个较大的负数）？ 考察对注意力机制中 softmax 数值处理和掩码原理的理解第 225 题你了解 Transformer 或 Attention 机制的其他变体或改进吗？ 考察对Attention机制及Transformer架构的深入理解与扩展知识第 226 题请你谈谈对大型语言模型（LLM）内部工作机制的理解，并举例说明其关键组成部分。 考察对大模型核心原理的掌握程度与概念准确性第 227 题Transformer 和 BERT 有什么区别？ 考察对 Transformer 架构与 BERT 预训练模型关系的理解第 228 题Transformer和CNN有什么不同？ 考察对两种主流网络架构的机制理解与适用场景辨析第 229 题请介绍 Transformer 中 Q、K、V 分别的作用是什么？ 考察对注意力机制核心概念的理解第 230 题Transformer 中的位置编码是如何设计的？常见的改进方案有哪些，ROPE 的原理是什么？ 考察位置编码的设计思路、改进方向和旋转位置编码的理解第 231 题Transformer为什么可以感知全局 考察对Transformer自注意力机制原理及全局建模能力的理解第 232 题请介绍多头注意力机制的原理和优势。 考察对多头注意力机制本质理解及Transformer中的应用第 233 题Transformer 中使用 softmax 可能存在哪些问题？应该如何解决？ 考察 Transformer 注意力机制中 softmax 的数值稳定性、梯度与效率问题及解决思路第 234 题请介绍Transformer模型的核心结构及其各部分的作用。 考察对Transformer架构的基本理解与核心机制掌握第 235 题序列中每个token的embedding经过多层self-attention后变得越来越相似，原因是什么？ 考察对Transformer中self-attention各层表征退化和各向异性现象的理解第 236 题在Transformer的自注意力机制中，为什么要将点积结果除以根号dk？ 考察对self-attention缩放因子的数学原理和数值稳定性理解第 237 题请解释Transformer模型的核心组成部分及其各自的作用。 考察对Transformer架构的理解深度和关键机制掌握第 238 题BERT与标准Transformer在编码器结构上有哪些关键区别？ 考察对BERT架构与原始Transformer差异的理解第 239 题什么是 KV Cache？它在 Transformer 推理中扮演什么角色？ 考察对 Transformer 自回归解码中键值缓存机制的理解第 240 题请手写实现多头注意力机制的核心代码，并解释其工作原理。 考察对Transformer中多头注意力机制的理解与编码实现能力