人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 601 题请解释Transformer的结构和DPO的原理。 考察对核心模型架构和训练方法的理解深度第 602 题如何降低 Transformer 的计算复杂度？请列举主要方法。 考察对 Transformer 注意力机制瓶颈的认知及常用优化手段第 603 题请介绍提升 Transformer 模型推理性能的主要方法。 考察对 Transformer 高效推理技术及部署优化的理解第 604 题Transformer中为何在softmax前将点积除以根号d？ 考察对注意力机制缩放因子动机的理解第 605 题请介绍一下 BERT 的模型原理和核心特点。 考察对 BERT 预训练模型架构、训练任务及关键机制的理解第 606 题请解释位置编码的作用及其实现方式。 考察对序列顺序信息处理的理解第 607 题Attention结果为什么最后需要接一个全连接层再进行输出，作用是什么？ 考察对Transformer中Attention输出与全连接层作用的理解第 608 题请介绍 Transformer 的整体架构及其关键设计点。 考察对 Transformer 核心组件、设计动机与计算流程的理解第 609 题请介绍Qwen3系列和bge系列模型的基本原理，并说明Qwen3系列编码模型是如何训练的？ 考察对Qwen3与bge系列模型架构原理及训练机制的理解深度第 610 题长序列建模还有哪些方式？ 考察对长序列建模方法的广度认识与对比能力第 611 题Transformer中Encoder和Decoder的注意力机制分别是什么？Decoder中的注意力机制能否称为Self-Attention？ 考察Transformer架构中注意力机制的类型区分与原理理解第 612 题Transformer中为什么缩放因子要除以根号dk？ 考察对注意力机制数值稳定性和原理的理解第 613 题介绍旋转位置编码（RoPE）的原理及其在 Transformer 中的作用。 考察对 RoPE 原理机制的理解及位置编码在注意力机制中的意义第 614 题Transformer中为什么使用Layer Normalization而不是Batch Normalization？ 考察对Transformer中归一化机制选择的理解及深层原因第 615 题请完整讲解 Transformer 的模型结构，并说明多头注意力机制的运作原理。 考察对 Transformer 核心结构与多头注意力机制的深入理解第 616 题请简述一个将Transformer用于强化学习（RL）项目的基本思想，并结合你的项目经历谈谈其中的关键设计。 考察对Transformer在RL中应用原理的理解及项目实践细节第 617 题请说明自注意力机制的计算步骤。 考察对自注意力机制原理和计算流程的掌握第 618 题介绍不同多头注意力变体（MHA、MQA、GQA）的区别。 考察对Transformer注意力机制不同变体的理解，包括参数共享、计算效率与效果权衡第 619 题Transformer的Attention计算过程中为什么要对QK的点积进行scale？ 考察对Attention机制中数值稳定性和Softmax梯度的理解第 620 题Transformer的Softmax能否去掉，为什么？ 考察自注意力机制中Softmax的作用、数值稳定性及替代方案的理解