金融行业面试题 · tech:transformer
金融行业相关面试题，按题目行业基础数据聚合。
共 8448 道真题 · 当前筛选命中 42 道 · 更新 2026-08-05
筛选题目已选：tech:transformer
考察点
技术栈
第 1 题Pre Norm 与 Post Norm 的区别是什么？ 考察对 Transformer 归一化位置及其对训练稳定性和性能影响的理解第 2 题分析Transformer的空间复杂度 考察Transformer模型空间复杂度分析能力第 3 题对于一个BERT模型，假设序列长度为n、隐藏维度为d、层数为l，如何计算其总参数量？请给出估算公式。 考察对Transformer/BERT模型结构的理解及参数量估算能力第 4 题请描述Transformer的基本结构，并说明其核心特点。 考察对Transformer整体架构和关键设计理念的理解第 5 题位置编码的类别介绍，及其在序列拓长场景下的应用 考察对位置编码原理、类别划分及长序列外推能力的理解第 6 题请解释旋转位置编码（RoPE）的原理。 考察对RoPE位置编码数学原理和实现细节的理解第 7 题你对大模型基础原理的了解是？ 考察对大模型核心概念和训练流程的基础认知第 8 题请说明KV Cache在推理时占用的内存量级，并计算它相比不缓存键值时降低了多少时间复杂度。 考察对KV Cache内存代价与计算复杂度收益的量化理解第 9 题请详细说明Transformer模型的核心结构组成及其各组件的作用。 考察对Transformer架构的深入理解与模块间关系的把握第 10 题请说明 Transformer 模型的核心组成机制，并结合你实际使用过 Transformer 的项目，谈谈它如何解决该项目中的具体问题。 考察对 Transformer 内部机制的理解深度，以及将技术原理与项目实践结合的能力第 11 题自注意力计算中为何除以 √dk？ 考察自注意力机制中缩放因子的数学原理与稳定训练意识第 12 题Transformer在多头自注意力计算中有什么优化方法？ 考察对自注意力计算瓶颈的理解及常用优化手段第 13 题Transformer中的位置编码为什么是必要的？ 考察对Transformer模型结构原理的理解，特别是自注意力机制对顺序信息的处理方式第 14 题请介绍 BERT 的网络结构及其两个预训练任务。 考察对 BERT 模型架构和预训练目标的理解第 15 题为什么目前主流的模型都是用的decoder-only结构？ 考察对Transformer架构变体及其权衡的理解第 16 题在Transformer模型中，哪个部分通常最占用显存（GPU内存）？ 考察对Transformer各组件显存开销来源的理解第 17 题Transformer的mask是如何操作的？ 考察对Transformer中padding mask和attention mask原理及实现的理解第 18 题请介绍你对Transformer模型的理解。 考察Transformer架构核心机制及其应用第 19 题Transformer的自注意力机制及相比RNN的优势？ 考察对自注意力机制原理的理解及与RNN架构的对比分析能力第 20 题请介绍你了解的BERT模型，包括它的核心结构、预训练任务，以及它在实际应用中的适用场景。 考察对BERT模型原理的理解与实际应用意识