人工智能面试题 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 804 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 361 题请实现多头注意力机制的核心代码，并解释其结构。 考察多头注意力的实现细节与理解第 362 题请解释Attention机制的计算公式，并分析其时间复杂度。 考察对Transformer核心注意力机制公式的理解及计算复杂度分析能力第 363 题请手写并讲解 Transformer Encoder 的核心实现，包括多头注意力、前馈网络、残差连接与层归一化。 考察对 Transformer Encoder 结构、注意力计算细节及实现的掌握程度第 364 题请解释多头注意力机制的原理和机制。 考察对多头注意力机制核心原理和实现机制的理解第 365 题请介绍你对大语言模型（LLM）的基本原理和主要技术架构的理解，包括训练、推理和典型应用场景。 考察对大语言模型基础原理、技术栈和实际应用的理解深度第 366 题请解释 Decode-only 与 Encode-only 架构的区别，并说明各自的设计原因。 考察对自回归与编码器架构原理的理解及其设计动机第 367 题介绍Transformer的位置编码,为什么这么设计,为什么可以达到位置编码的效果,编码了相对位置还是绝对位置;介绍RoPE 考察位置编码原理、设计动机及RoPE的理解第 368 题你使用的是什么Embedding模型结构？它的输出向量维度是多少？ 考察候选人对Embedding模型结构与向量维度等基础技术细节的理解第 369 题在具体业务中如何选择LLM架构？请结合场景说明原因。 考察技术选型与业务目标的结合能力第 370 题对比LSTM与Transformer在建模长序列时的差异。 考察对两种序列建模方案的权衡理解第 371 题在长序列时空数据中，如何降低 Transformer 的计算复杂度？ 考察对长序列场景下 Transformer 效率优化的理解第 372 题Linear Attention和Sparse Attention在实际模型中通常如何应用？ 考察对高效注意力机制的理解及实际应用场景第 373 题BERT采用双向注意力机制带来了哪些好处？ 考察对双向上下文建模优势的理解第 374 题大语言模型的长文本处理能力有限，目前有哪些技术可以缓解这一问题？ 考察对长上下文处理技术的了解、原理理解及权衡意识第 375 题请介绍Transformer的整体结构设计，并说明各核心模块的作用。 考察对Transformer架构组成及各组件功能的理解第 376 题请比较GPT和BERT的模型结构，并说明它们的预训练任务有何不同？ 考察对GPT与BERT模型架构及预训练范式的理解第 377 题为什么图像要划分patch，其对应的物理含义是什么？请与NLP中的文本序列处理进行对比联系。 考察对Vision Transformer中patch划分原理的理解及其与NLP序列建模的关联第 378 题计算softmax缩放因子时，假设每个值服从标准正态分布，还是只需均值0方差1即可？ 考察对分布假设与推导关系精确理解第 379 题请介绍一下Vision Transformer（ViT）的基本原理和结构。 考察对ViT架构构成和整体流程的理解第 380 题Transformer 中 QK 为什么除以根号 d？ 考察对注意力机制数值稳定性和softmax梯度问题的理解