360集团面试题 · 技术原理 · Transformer
360集团相关面试题，按最终去重题目聚合。
共 818 道真题 · 当前筛选命中 15 道 · 更新 2026-08-05
筛选题目已选：技术原理 · Transformer
考察点
技术栈
第 1 题请简要介绍Transformer的基本结构，并说明它相比传统RNN的优势。 考察对Transformer架构和序列建模演进的理解第 2 题在Transformer的训练和推理过程中，如何处理输入序列中的padding？请说明mask的作用及实现方式。 考察对Transformer中padding处理和注意力掩码机制的理解第 3 题请描述Transformer模型中不同模块（如词嵌入、多头注意力、前馈网络）输入输出张量的维度变化过程。 考察对Transformer内部张量维度流转及多头注意力机制的理解第 4 题请解释Transformer模型的核心组成部分及其各自的作用。 考察对Transformer架构的理解深度和关键机制掌握第 5 题请说明Transformer从最初版本到主流变体（如BERT、GPT）的主要演变过程。 考察对Transformer演进脉络及设计动因的理解第 6 题请说明旋转位置编码（RoPE）的实现方式及其优势。 考察对旋转位置编码具体实现和设计动机的理解第 7 题请介绍 Transformer 的核心架构和关键组件。 考察对 Transformer 模型的原理理解和表达能力第 8 题请详细解释BERT模型的结构原理、主要缺点及其改进模型。 考察对BERT预训练模型原理的深入理解、局限性的把握以及相关改进工作的了解第 9 题请详细解释Transformer模型的结构和关键机制，包括自注意力、多头注意力和位置编码。 考察对Transformer核心架构和原理的深入理解第 10 题请解释Transformer中的自注意力机制，并介绍一种常见的注意力变体及其设计动机。 考察对自注意力机制的理解及对注意力变体的掌握第 11 题请说明 BERT 的模型结构，并对比它与传统文本编码器（如 RNN、LSTM）的优势。 考察对 BERT 架构原理的理解及与传统编码器的对比分析能力第 12 题为什么BERT时代没有出现scaling law？ 考察对规模法则前提、历史背景和架构差异的理解第 13 题请介绍Transformer的整体结构及其主要组成部分。 考察对Transformer架构的掌握程度第 14 题请介绍你了解的生成式模型，并重点介绍 GLM 系列模型的整体结构。 考察对生成式模型的基本认知及对 GLM 模型结构的理解第 15 题请介绍 Transformer 的基本结构和核心机制，并说明它如何解决长距离依赖问题。 考察对 Transformer 核心组件和作用机制的理解