人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 621 题请简述 Transformer 的基本架构，并说明其核心组件的功能。 考察对大模型基础架构 Transformer 的理解程度第 622 题在典型Transformer模型中，Attention模块和MLP模块的参数规模通常哪个更大？请说明原因。 考察对Transformer结构参数分布的准确理解第 623 题Llama2 的 transformer block 相比原始 transformer 做了哪些关键改变？ 考察对 Llama2 架构中 RMSNorm、RoPE、SwiGLU、PreNorm 等核心组件的理解第 624 题请说明 T5 模型与 BERT 在架构和预训练目标上的主要区别，并解释为什么在项目中可能选择 T5。 考察对两种主流预训练模型的架构设计与预训练任务差异的理解，以及结合项目背景进行技术选型的能力第 625 题transformer的 attention 中的 QKV 是一样的吗？ 考察注意力机制中 Q、K、V 的角色和来源第 626 题请介绍Transformer模型的基本结构，并对比它与传统RNN在处理长序列时的优势。 考察对Transformer架构组成及与RNN差异的理解第 627 题请解释多头注意力机制的含义，并说明它相比单头注意力的优势。 考察对注意力机制核心原理与多头设计价值的理解第 628 题请说明 Transformer 中 Layer Normalization 的作用、计算过程及其与 Batch Normalization 的区别。 考察对 Transformer 中层归一化原理、计算细节及对比知识的掌握第 629 题请介绍BERT的模型结构及其核心组件。 考察对BERT架构的理解，包括Transformer层、注意力机制和预训练任务第 630 题多头注意力机制为什么要使用多个头？ 考察对多头注意力机制设计动机和原理的理解第 631 题请介绍Transformer的整体结构及其主要组成部分。 考察对Transformer架构的掌握程度第 632 题Transformer的Decoder为什么要用掩码？ 考察对自回归解码与因果掩码原理的理解第 633 题请介绍几种常见的稀疏注意力变体，并说明其核心思想与适用场景。 考察对主流稀疏注意力机制的系统性了解与选型判断第 634 题为什么目前主流的模型都是用的decoder-only结构？ 考察对Transformer架构变体及其权衡的理解第 635 题Transformer 与 DIN 的注意力机制有哪些区别？ 考察对两种注意力机制原理及适用场景的辨析能力第 636 题transformer里使用了什么激活函数？ 考察对Transformer激活函数及其作用的掌握第 637 题如果我更改了输入数据的量级，比如将输入的数据从长度100改成了1000，增加了10倍，Transformer的时间复杂度是会怎么变，参数量会怎么变？ 考察Transformer模型对输入序列长度的计算复杂度与参数量理解第 638 题讲讲BERT和GPT的区别 考察对两类主流预训练语言模型架构与训练目标的理解第 639 题请说明 RoPE 旋转位置编码的核心思想。 考察对 RoPE 原理及相对位置建模的理解第 640 题Transformer中注意力机制为什么要把点积结果除以根号dk？ 考察对Scaled Dot-Product Attention中缩放因子作用的理解