电商行业面试题 · Transformer
电商行业相关面试题，按题目行业基础数据聚合。
共 10617 道真题 · 当前筛选命中 76 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 21 题在多头注意力中，存在哪些常见的变体？如何设计新的变体？ 考察对注意力机制变体的了解与设计思考第 22 题如何节省 Transformer Block 的计算量？ 考察对 Transformer 结构各组件计算开销来源及常见优化策略的掌握第 23 题请概述自注意力机制从原始设计到现代优化的主要发展路线。 考察对Transformer核心机制演进脉络的理解与归纳能力第 24 题请介绍Softmax函数的作用及其在Transformer中的应用。 考察对Softmax函数数学含义及其在注意力机制中作用的掌握第 25 题请分析Transformer架构的核心优势与局限性，并说明你关注过的其他序列建模架构及其与Transformer的对比。 考察对Transformer及替代架构的理解深度和比较分析能力第 26 题encoder-only和decoder-only的对比，纯理解场景哪更优？ 考察对Transformer架构差异及其在理解任务上的适用性第 27 题请介绍Transformer结构。 考察对Transformer核心组件、设计动机和计算流程的理解第 28 题Encoder与Decoder中注意力机制存在哪些差异？ 考察对Transformer编码器和解码器注意力机制结构及功能差异的理解第 29 题Transformer 中为什么需要前馈神经网络（FFN）？ 考察对 FFN 非线性变换作用的理解第 30 题描述一下典型的encoder-only如Bert的结构细节 考察Transformer编码器架构及BERT模型的结构理解第 31 题多头注意力机制相比单头注意力在计算效率上是否有优势？请从矩阵计算角度说明。 考察对多头注意力计算结构的理解和效率分析能力第 32 题为什么注意力机制要除以根号 d_k？如果不缩放会怎样？ 考察对注意力分数缩放动机与数值稳定性的理解第 33 题请介绍Transformer中常见的几种位置编码方式，并说明各自的优缺点。 考察对Transformer位置编码原理及演进的理解第 34 题Multi-Head Attention为什么要切分？为什么要做成多头的？ 考察对Transformer多头注意力机制原理及优势的理解第 35 题Transformer的时间复杂度是多少？请说明其来源及典型的优化手段。 考察对Transformer复杂度来源的理解及优化方案的掌握第 36 题大语言模型的长文本处理能力有限，目前有哪些技术可以缓解这一问题？ 考察对长上下文处理技术的了解、原理理解及权衡意识第 37 题LoRA（低秩适配）可以应用在哪些模型或模块上？ 考察对LoRA适用范围的广度理解第 38 题请推导多头注意力中矩阵计算的维度变化，并说明其与单头注意力的计算量关系。 考察对注意力机制矩阵运算维度的精确推导能力第 39 题多头注意力机制为什么要使用多个头？ 考察对多头注意力机制设计动机和原理的理解第 40 题为什么LoRA作者最初将可训练矩阵施加在注意力层的q、k、v、o权重上？ 考察对注意力层关键作用及原始论文设计动机的理解