小米集团面试题 · Transformer
小米集团相关面试题，按最终去重题目聚合。
共 2227 道真题 · 当前筛选命中 13 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 1 题请详细介绍一下Transformer的整体结构及其核心组件的作用。 考察对Transformer架构各组成部分的理解及其设计动机第 2 题对 BERT 有了解吗？ 考察对 BERT 模型结构、训练目标及应用场景的理解深度第 3 题请说明Transformer模型中LayerNorm的作用与优势，以及它与残差连接、前馈网络之间的关系。 考察对Transformer核心组件原理的理解及组件间逻辑关联第 4 题请对比Transformer与CNN、RNN的网络结构差异，并讨论各自的适用场景与设计考量。 考察对主流神经网络架构的原理理解、适用场景判断和设计权衡能力第 5 题请解释Transformer模型的核心组成部分及其各自的作用。 考察对Transformer架构的理解深度和关键机制掌握第 6 题请手写实现多头注意力机制的核心代码，并解释其工作原理。 考察对Transformer中多头注意力机制的理解与编码实现能力第 7 题请介绍Transformer架构的整体结构、自注意力机制原理和位置编码方法。 考察对Transformer核心组件的原理性理解与全局把握第 8 题请解释Self-Attention机制的原理。 考察对自注意力机制核心概念和计算过程的理解第 9 题你使用的是什么Embedding模型结构？它的输出向量维度是多少？ 考察候选人对Embedding模型结构与向量维度等基础技术细节的理解第 10 题Transformer更新哪些参数？ 考察对Transformer模型可训练参数构成及梯度更新过程的理解第 11 题在大模型推理过程中，Prefill（预填充）和 Decode（解码）阶段分别做了什么？ 考察对Transformer推理两阶段流程及计算特征的理解第 12 题KV-Cache如何加速推理？ 考察对Transformer推理中KV缓存机制及其加速原理的理解第 13 题请描述Transformer的基本结构，并解释自注意力机制。 考察对Transformer架构核心组件与自注意力机制的理解