网易面试题 · 技术原理 · Transformer
网易相关面试题，按最终去重题目聚合。
共 2201 道真题 · 当前筛选命中 14 道 · 更新 2026-08-05
筛选题目已选：技术原理 · Transformer
考察点
技术栈
第 1 题请详细介绍一下Transformer的整体结构及其核心组件的作用。 考察对Transformer架构各组成部分的理解及其设计动机第 2 题Transformer的编码器和解码器的处理过程以及它们的区别是什么？ 考察对Transformer架构核心组件处理流程及其差异的理解第 3 题谈谈你对Transformer架构的理解，以及它的实现方式？ 考察对Transformer核心组件、原理及工程实现的掌握程度第 4 题BERT和Transformer的区别是什么？ 考察对模型架构演进和预训练任务的理解第 5 题请解释Cross Attention（交叉注意力）机制，并说明它与Self Attention的区别及应用场景。 考察对注意力机制变体的理解深度及其在NLP/CV跨模态任务中的应用第 6 题手写自注意力机制，并说明Q、K、V的线性变换矩阵能否共享权重？ 考察自注意力机制的编码实现与对QKV投影空间的理解第 7 题具体讲解Transformer中前馈层的设计 考察对Transformer前馈网络的结构、作用及与注意力机制配合的理解第 8 题请比较MHA（多头注意力）和GQA（分组查询注意力）的异同，并说明GQA的实际应用场景。 考察对Transformer注意力机制变体的理解与工程权衡第 9 题请介绍 Transformer 的核心架构组成，并说明自注意力机制的原理。 考察对 Transformer 架构的理解深度与关键机制掌握第 10 题请介绍Attention机制，并说明在Transformer中Attention的类型。 考察对Attention机制本质和常见类型的理解第 11 题Transformer和传统seq2seq模型有什么区别? 考察对序列建模架构演进的理解及两者核心机制差异第 12 题请详细讲解 Transformer 模型的结构及其核心机制。 考察对 Transformer 架构、自注意力机制及整体流程的理解深度第 13 题请描述一个Transformer模型从输入到输出的完整处理流程。 考察对Transformer架构整体流程和关键组件的理解第 14 题Transformer默认采用哪种位置编码？请说明其思想并介绍相对位置编码。 考察位置编码的实现方式及对位置信息的建模理解