字节跳动面试题 · 技术选型 · Transformer
字节跳动相关面试题，按最终去重题目聚合。
共 3252 道真题 · 当前筛选命中 14 道 · 更新 2026-08-05
筛选题目已选：技术选型 · Transformer
考察点
技术栈
第 1 题我们这个岗位对大模型底层和代码等也有一定要求，谈谈你的认识和理解，知道多少？ 考察对大模型底层原理的认知深度与代码实践能力第 2 题请介绍除 DIN 之外的序列建模方法，并对比 Transformer 与 DIN 在推荐场景中的区别。 考察序列建模技术积累与推荐场景下的模型选型能力第 3 题请介绍Transformer模型中的主要计算过程，包括自注意力机制和前馈网络的计算步骤。 考察对Transformer核心计算流程的理解，包括自注意力的矩阵运算、多头机制及前馈网络第 4 题为什么现在 Decoder-only 成为大模型的主流架构？ 考察对 Transformer 架构变体演进及大模型训练/推理权衡的理解第 5 题你了解 Transformer 或 Attention 机制的其他变体或改进吗？ 考察对Attention机制及Transformer架构的深入理解与扩展知识第 6 题Transformer 和 BERT 有什么区别？ 考察对 Transformer 架构与 BERT 预训练模型关系的理解第 7 题主流LLM模型结构设计有什么特点？ 考察对现代大语言模型架构设计的理解与归纳能力第 8 题Linear Attention和Sparse Attention在实际模型中通常如何应用？ 考察对高效注意力机制的理解及实际应用场景第 9 题相比之下，Decoder-only相比Encoder-Decoder架构有哪些具体优势？ 考察对两类架构差异的深入辨析能力第 10 题请介绍大模型主流模型结构的主要演进变化 考察对大模型架构演进、关键技术变革的理解第 11 题请介绍几种常见的稀疏注意力变体，并说明其核心思想与适用场景。 考察对主流稀疏注意力机制的系统性了解与选型判断第 12 题为什么当前主流大型语言模型普遍采用Decoder-only架构？ 考察对LLM架构选型背后工程与理论权衡的理解第 13 题请解释Transformer中的位置编码的作用和实现方式。 考察对Transformer位置编码原理的理解及其在序列建模中的必要性第 14 题介绍Transformer架构 考察对Transformer核心组件、设计动机和整体工作原理的理解