人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 501 题Transformer是encoder-decoder架构，而GPT是decoder-only架构，为什么会演变成这样一种形式？为什么把encoder给舍弃掉了？ 考察对语言模型架构演进逻辑和decoder-only优势的理解第 502 题自然语言理解实现:请描述大模型中自然语言理解模块的具体实现方案,包括语义解析和意图识别的关键技术。 考察大模型在自然语言理解中的语义解析与意图识别技术实现第 503 题Transformer 的位置编码是怎么样的形式？ 考察对 Transformer 位置编码作用、形式与选择的理解第 504 题RNN和Transformer的区别 考察对两种序列建模架构的核心差异及其适用场景的理解第 505 题请介绍DETR目标检测模型的核心原理，说明其与经典两阶段或单阶段检测器的主要区别及优劣。 考察对DETR基于Transformer的端到端目标检测范式的理解第 506 题请谈谈你对Transformer模型结构的理解。 考察对Transformer核心组件、原理及特点的理解深度第 507 题请介绍 Attention 机制的数学原理、直观理解以及计算过程。 考察对 Attention 机制的理论理解与表达能力第 508 题Transformer 中多头注意力为什么要将注意力分数除以 sqrt(dk)？ 考察注意力机制数值稳定性与理论依据第 509 题针对梯度爆炸和消失问题，近年有哪些新的改进方法或研究方向？ 考察对深度学习训练稳定性的前沿了解第 510 题Transformer和LLaMA的Layer Normalization有什么区别？请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力第 511 题如何估算MultiheadAttention在推理时的FLOPs，并说明计算优化的关键点？ 考察对注意力机制计算复杂度的理解与优化意识第 512 题Bert 的参数量是怎么决定的？ 考察对 BERT 模型架构与参数量构成的理解第 513 题Transformer每个结构的作用分别是什么？请分别说明多头注意力、归一化、残差连接和全连接层的作用。 考察对Transformer核心组件的理解深度与原理掌握第 514 题dk是怎么确定的？ 考察对模型维度与注意力头配置关系的理解第 515 题如何降低 KV cache 的内存占用？ 考察对 Transformer 推理中 KV cache 优化技术的理解第 516 题请手写或描述 Transformer 的核心组件实现，并说明其工作原理。 考察对 Transformer 架构关键组件（自注意力、多头、位置编码、FFN）的理解与实现能力第 517 题请说明在 Transformer 训练中，Q、K、V 矩阵计算如何做并行化，并写出伪代码。 考察对 Transformer 注意力机制并行计算原理的理解与表达能力第 518 题请解释Transformer中的自注意力机制是如何计算的，以及它的作用是什么？ 考察对自注意力机制原理及作用的理解第 519 题QKV是什么？ 考察对大型语言模型注意力机制中QKV概念的理解第 520 题八股：多头和单头的情况下有什么区别？ 考察对多头注意力机制原理、计算与效果差异的理解