人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 701 题DeepSeek 用的 MLA（Multi-head Latent Attention）注意力机制是如何实现的？ 考察对 MLA 压缩注意力机制原理的理解第 702 题Self Attention和Position Embedding通常是直接相加的，如果改成concat会有什么影响？ 考察对Transformer输入融合方式及其对模型语义和参数量的理解第 703 题Transformer的FFN层能不能去掉，为什么？ 考察对Transformer架构中FFN层作用及必要性的深入理解第 704 题讲讲位置编码，为什么需要位置编码？ 考察对Transformer等自注意力模型中位置信息作用的理解第 705 题请手写一个Transformer的Decoder Block核心实现。 考察对Transformer解码器结构、核心算子和实现细节的掌握第 706 题在Transformer中，多头注意力机制相比单头注意力有哪些优势？头数增加会如何影响算法复杂度？ 考察对多头注意力机制原理及其计算复杂度的理解第 707 题Transformer在多头自注意力计算中有什么优化方法？ 考察对自注意力计算瓶颈的理解及常用优化手段第 708 题请写出 self-attention 的计算公式，并解释为什么要除以 sqrt(d_k)（即进行 scaling）。 考察对 Transformer 核心机制的理解及数值稳定性意识第 709 题请解释Transformer中的自注意力机制，包括其计算过程和意义。 考察对自注意力数学原理和功能作用的理解。第 710 题请简述Transformer的架构、注意力机制的公式以及QKV cache的作用。 考察对Transformer核心机制的理解及工程优化意识第 711 题Encoder-Decoder、Decoder-Only 哪种方式更好？ 考察对两类模型架构的适用场景和技术权衡的理解第 712 题Transformer 的位置编码是怎么做的？为什么需要它？ 考察对位置信息建模原理及常见实现的理解第 713 题请比较Transformer和LSTM在结构上的区别和各自优势，并说明Transformer是如何体现时序信息的。 考察对两种序列模型结构差异、优势适用场景及Transformer时序建模机制的理解第 714 题请写出Transformer核心计算公式，并说明各组件的作用。 考察对Transformer核心计算机制的掌握程度第 715 题请详细讲解 Transformer 模型的结构及其核心机制。 考察对 Transformer 架构、自注意力机制及整体流程的理解深度第 716 题请详细说明Transformer中Cross Attention的结构、计算流程以及它与Self-Attention的区别。 考察对Transformer跨注意力机制原理和实现的理解第 717 题BERT使用什么位置编码？为何用正弦余弦函数？请介绍其他常见位置编码方式。 考察对位置编码原理和演进的理解第 718 题请比较BERT和GPT在预训练目标上的区别，并说明这种区别对下游任务的影响。 考察对BERT和GPT架构及预训练方式的深入理解第 719 题请介绍MLP、CNN、RNN和Transformer各自的优缺点。 考察对主流深度学习模型架构的理解与对比能力第 720 题Transformer和传统循环网络的区别和优点 考察对Transformer与RNN架构差异及其优势的理解