人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 421 题Transformer中encoder和decoder的区别是什么？ 考察对Transformer架构核心组件功能与差异的理解第 422 题ViT模型使用的是哪种注意力机制？请简要说明其工作原理。 考察对Vision Transformer核心注意力机制的理解第 423 题请介绍Transformer中常见的几种位置编码方式，并说明各自的优缺点。 考察对Transformer位置编码原理及演进的理解第 424 题Decoder-only模型在推理时，预测第i+1个token时，输入用的是第i个token的one-hot还是概率分布？为什么？ 考察对自回归模型推理输入本质的理解，区分训练与推理阶段第 425 题请解释Transformer中的自注意力机制，并介绍一种常见的注意力变体及其设计动机。 考察对自注意力机制的理解及对注意力变体的掌握第 426 题你知道哪些加速 Transformer 推理或训练的方法？ 考察对 Transformer 加速手段的广度掌握第 427 题介绍Attention的计算,Self-Attention和Cross-Attention区别。 考察注意力机制的计算过程与两种注意力变体的理解第 428 题请讲解MHA、MQA、GQA和MLA的原理与区别，并说明各自的适用场景。 考察对注意力机制变体的理解深度及工程选型考量第 429 题请介绍几个你了解的大语言模型，并说明它们在模型结构上的主要差异。 考察对大模型技术谱系、结构差异与设计取舍的理解第 430 题Transformer相比RNN和LSTM有哪些不同？ 考察对序列建模技术演进的理解与对比分析能力第 431 题请详细介绍 Transformer 中的注意力机制（Attention Mechanism），并说明其如何工作。 深入理解注意力机制的原理、计算流程及在 Transformer 中的作用第 432 题Transformer 中常见的位置编码方式有哪些？ 考察对位置编码技术方案的整体认知第 433 题ViT是如何把图像转换为token序列的？ 考察对Vision Transformer输入处理流程的理解第 434 题请介绍Transformer模型的主要结构和工作原理。 考察对Transformer核心组件、自注意力机制及整体工作原理的理解第 435 题请解释Cross Attention（交叉注意力）机制，并说明它与Self Attention的区别及应用场景。 考察对注意力机制变体的理解深度及其在NLP/CV跨模态任务中的应用第 436 题介绍一下 T5 模型，并说明它与 GPT 系列模型的区别和联系。 考察对预训练语言模型架构、训练目标和任务统一方式的理解第 437 题请对比主流大模型架构（如Transformer、MoE等）的差异，并说明各自适用的业务场景。 考察对大模型架构差异的理解及场景适配能力第 438 题请解释BERT模型的核心工作机制，并说明它相较于传统深度学习模型的主要优势。 考察对预训练语言模型原理的理解及与传统模型的对比能力第 439 题Transformer中LayerNorm放在哪个位置？请说明其计算方式。 考察对Transformer结构细节和LayerNorm计算的掌握程度第 440 题请说明 Transformer 与 RNN 在理论架构上的核心区别，以及这些区别在实际计算效率上的体现。 考察对 Transformer 与 RNN 架构差异及其计算特性的理解