人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 101 题注意力计算的计算复杂度是多少？ 考察对注意力机制计算复杂度的掌握及其扩展性边界第 102 题请讲讲 Transformer 中的自注意力机制是如何工作的？ 考察对自注意力机制原理、计算流程和关键组成部分的理解第 103 题与原始 Transformer 相比，你在自己的工作中做了哪些改进？请说明动机、具体做法和效果。 考察候选人对 Transformer 的深入理解及实际工程中的改进能力第 104 题BatchNorm和LayerNorm在做法和应用上有什么区别？在Transformer中为什么常用LayerNorm？ 考察对归一化方法原理的辨析及其在序列模型中的适用性第 105 题请解释 Transformer 编码器和解码器在注意力机制上的区别。 考察对 Transformer 结构差异的理解第 106 题还了解哪些新的位置编码？ 考察对Transformer位置编码最新进展的了解与理解第 107 题Transformer相比LSTM的核心区别有哪些？请从序列建模方式、并行性和长期依赖处理等方面说明。 考察对Transformer与LSTM差异的理解，以及技术选型意识第 108 题大模型是怎么理解人类语言的意图的？ 考察对大规模语言模型意图理解机制的理解深度第 109 题请比较 Transformer 中 Pre-LayerNorm 与 Post-LayerNorm 的差异及其影响。 考察候选人对 Transformer 归一化结构差异及其训练特性影响的理解第 110 题Attention机制解决了什么问题？它还存在哪些缺点？ 考察对Attention机制原理、价值与局限性的理解深度第 111 题请推导多头注意力中矩阵计算的维度变化，并说明其与单头注意力的计算量关系。 考察对注意力机制矩阵运算维度的精确推导能力第 112 题请解释Transformer中位置编码的公式及其作用。 考察对Transformer位置编码原理及数学公式的理解第 113 题为什么 KV Cache 能极大地提升推理速度？ 考察对计算复杂度和推理性能优化原理的理解第 114 题请解释什么是KV Cache，以及为什么一般只缓存Key和Value矩阵，而不对Query和Key的乘积做缓存？ 考察对Transformer推理优化中KV Cache原理及缓存粒度的理解第 115 题请手写实现一个 Transformer Encoder 的核心结构。 考察对 Transformer Encoder 的结构理解与代码实现能力第 116 题三角函数位置编码有哪些好处？旋转位置编码相比它有什么优势？ 考察位置编码的设计动机与在长序列、相对位置建模上的差异第 117 题Transformer中encoder和decoder中的Attention有什么区别? 考察对Transformer架构中自注意力与交叉注意力机制的理解第 118 题Transformer中Encoder和Decoder的区别和联系，以及如果单独分开使用的话，各自的优缺点是什么？ 考察对Transformer架构的理解、模块职责划分及独立使用的适用场景分析第 119 题请详细介绍Transformer模型的结构和工作原理。 考察对Transformer模型架构、核心机制及工作原理的理解第 120 题Transformer为什么要QKV，你的理解 考察对注意力机制中QKV角色和意义的基本理解