京东面试题 · Transformer
京东相关面试题，按最终去重题目聚合。
共 2550 道真题 · 当前筛选命中 14 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 1 题你如何理解大模型的基本原理，比如 Transformer 架构？ 考察对 Transformer 架构及大模型核心机制的理解深度第 2 题请解释注意力机制的基本原理。 考察对注意力机制核心概念和计算流程的理解第 3 题请介绍多头注意力机制的原理和优势。 考察对多头注意力机制本质理解及Transformer中的应用第 4 题请设计一个基于Transformer的自回归模型，用前三个token（记作abc）预测第四个token。请写出伪代码，并说明特征维度、注意力头数等关键超参数如何选择。 考察Transformer自回归建模、伪代码表达能力与超参数设计第 5 题当前主流大语言模型通常采用什么整体架构？请简要说明其主要组成和关键特性。 考察对主流大模型架构（Transformer）的整体认知第 6 题请分析Transformer架构的核心优势与局限性，并说明你关注过的其他序列建模架构及其与Transformer的对比。 考察对Transformer及替代架构的理解深度和比较分析能力第 7 题请介绍Transformer中常见的几种位置编码方式，并说明各自的优缺点。 考察对Transformer位置编码原理及演进的理解第 8 题Transformer为什么需要位置编码？ 考察对Transformer架构原理及序列位置信息处理的理解第 9 题序列的MHA是怎么做的？ 考察对多头注意力机制在序列建模中原理与实现细节的理解第 10 题Transformer相对于传统模型（如RNN、LSTM、CNN）的主要优势是什么？ 考察对Transformer架构优势的理解，包括并行计算、长距离依赖处理和全局信息捕获第 11 题请解释Transformer中Attention的计算过程，包括为什么除以根号d_k、时间复杂度分析以及为什么要使用多头注意力机制。 考察对Transformer注意力机制原理、数学细节和设计动机的理解第 12 题如何节省 Transformer Block 的计算量？ 考察对 Transformer 结构各组件计算开销来源及常见优化策略的掌握第 13 题请讲解整个Transformer架构的组成和工作原理。 考察对Transformer整体架构、关键组件及其协同机制的理解第 14 题Transformer的时间复杂度是多少？请说明其来源及典型的优化手段。 考察对Transformer复杂度来源的理解及优化方案的掌握