人工智能面试题 · 技术原理 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 794 道 · 更新 2026-08-05
筛选题目已选：技术原理 · Transformer
考察点
技术栈
第 61 题在 Transformer 架构中，MOE（混合专家模型）一般加在哪些位置？ 考察对 MOE 组件在 Transformer 中部署位置的理解第 62 题BERT和Transformer的位置编码及其区别 考察对位置编码原理及两者间差异的理解第 63 题介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？ 考察对注意力机制原理的理解及多头设计价值的掌握第 64 题基于Transformer大模型，怎么处理用户的长行为序列？ 考察在Transformer框架下对超长用户序列的建模与工程处理能力第 65 题后来有哪些比较经典的基于Transformer的语言模型，Qwen相比于原始Transformer有哪些结构上的改动，Qwen2又有哪些改进？ 考察对Transformer架构演进、Qwen系列模型结构差异及版本改进的理解第 66 题请实现多头自注意力机制。 考察对Transformer核心组件的理解与编码实现能力第 67 题请阐述一个你最熟悉的视觉语言（VL）模型，包括其核心架构与典型应用场景。 考察对视觉语言模型架构理解、关键机制掌握及实际应用认知第 68 题请介绍 Transformer 的整体结构，并解释多头注意力、编码器-解码器结构、前馈神经网络以及 KVQ 键值查询机制各自的作用与配合方式。 考察对 Transformer 核心组件及其协作逻辑的理解第 69 题请解释RoPE（旋转位置编码）如何用绝对位置编码实现相对位置感知，并从数学直觉上说明其原理。 考察对旋转位置编码数学原理与设计动机的理解第 70 题请介绍几种常见的位置编码方式及其特点。 考察对Transformer位置编码技术的理解与比较第 71 题Transformer的Position Embedding怎么计算的？ 考察对Transformer位置编码原理与公式的理解第 72 题在Transformer中，掩码注意力的作用是什么？ 考察对Transformer注意力机制中掩码原理的理解第 73 题请讲解Transformer的总体结构及各组成部分的作用。 考察对Transformer核心架构的理解与表达能力第 74 题BERT中，一个batch的输入需要padding，在attention时如何处理padding位置？ 考察Transformer/BERT中padding mask的实现原理及作用第 75 题ViT需要Transformer的encoder和decoder吗？ 考察对ViT架构中Transformer组件的理解，特别是编码器与解码器的角色差异第 76 题encoder-only和decoder-only的对比，纯理解场景哪更优？ 考察对Transformer架构差异及其在理解任务上的适用性第 77 题你对大模型基础原理的了解是？ 考察对大模型核心概念和训练流程的基础认知第 78 题Transformer 中使用 Softmax 有什么问题？该如何解决？ 考察对注意力机制中 Softmax 数值稳定性与表达能力问题的理解及改进方案第 79 题请解释KV Cache在Transformer推理中的原理及其作用。 考察对Transformer推理优化中KV Cache机制的理解第 80 题在Transformer中为什么要使用位置编码？为什么常采用正弦余弦（sin/cos）函数形式？ 考察对Transformer位置信息建模原理及sin/cos编码设计动机的理解