人工智能面试题 · 问题拆解 · Transformer
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 180 道 · 更新 2026-08-05
筛选题目已选：问题拆解 · Transformer
考察点
技术栈
第 1 题推导并计算多头注意力机制的时间与空间复杂度 考察对Transformer注意力机制计算复杂度的理解与推导能力第 2 题在标准Transformer架构中，哪个模块的计算量最大？ 考察对Transformer组件计算复杂度的理解第 3 题对于一个BERT模型，假设序列长度为n、隐藏维度为d、层数为l，如何计算其总参数量？请给出估算公式。 考察对Transformer/BERT模型结构的理解及参数量估算能力第 4 题Transformer 中的 mask 是如何实现的？它在模型中的位置在哪里？如何处理掩码位置的无穷小值（-inf）问题？ 考察对 Transformer 掩码机制实现细节、使用位置及数值处理的理解第 5 题请系统介绍 Transformer 的基本原理、关键组件及其相较于传统序列模型的优势，并简要说明其典型应用场景。 考察对 Transformer 架构原理的理解、对比分析能力及知识系统性第 6 题请简要介绍Transformer的基本结构，并说明它相比传统RNN的优势。 考察对Transformer架构和序列建模演进的理解第 7 题请说明Transformer的整体模型结构及其关键组件。 考察对Transformer架构核心组成与设计原理的理解第 8 题在Transformer架构中，编码器（Encoder）和自注意力机制分别起到什么作用？ 考察对Transformer核心组件作用的理解，以及模型内部信息处理机制的整体把握第 9 题了解BERT吗？ 考察对BERT模型结构的理解及其在NLP中的应用第 10 题当输入长度超过模型的最大长度限制时，常见处理方案有哪些（如padding、截断）？ 考察对长序列处理策略的掌握与权衡第 11 题请描述MultiheadAttention的计算流程，并说明其参数量如何计算。 考察对Transformer注意力机制原理及其参数规模的掌握第 12 题请谈谈你对大模型底层原理的了解，包括Transformer架构和注意力机制。 考察对大模型核心技术原理的理解深度第 13 题请解释自注意力机制和交叉注意力的区别，并说明为什么在缩放点积注意力中要对点积结果除以根号d。 考察对注意力机制原理的理解，包括自注意力和交叉注意力的区别，以及缩放因子的作用第 14 题请解释从Embedding到Transformer的核心工作原理。 考察对Transformer基础架构和Embedding机制的理解第 15 题请阐述ViT的结构、计算复杂度以及它如何应用于图像分类。 考察对ViT架构原理、复杂度来源和任务适配的理解第 16 题在 ResNet 或 Transformer 中，残差连接的作用是什么？请展开说明。 考察对残差连接原理、作用及在典型架构中应用的理解深度第 17 题请介绍你在GPT、ViT或Transformer相关项目中的具体工作。 考察对Transformer架构相关项目的理解深度和实际落地能力第 18 题请实现多头自注意力机制。 考察对Transformer核心组件的理解与编码实现能力第 19 题请阐述一个你最熟悉的视觉语言（VL）模型，包括其核心架构与典型应用场景。 考察对视觉语言模型架构理解、关键机制掌握及实际应用认知第 20 题请讲解Transformer的总体结构及各组成部分的作用。 考察对Transformer核心架构的理解与表达能力