百度面试题 · 技术原理 · Transformer
百度相关面试题，按最终去重题目聚合。
共 3071 道真题 · 当前筛选命中 32 道 · 更新 2026-08-05
筛选题目已选：技术原理 · Transformer
考察点
技术栈
第 21 题请介绍几个你了解的大语言模型，并说明它们在模型结构上的主要差异。 考察对大模型技术谱系、结构差异与设计取舍的理解第 22 题ViT是如何把图像转换为token序列的？ 考察对Vision Transformer输入处理流程的理解第 23 题Transformer中自注意力公式除以根号d的作用是什么？是缓解梯度爆炸还是梯度消失？ 理解注意力缩放因子的数学目的及其对梯度的影响第 24 题介绍Multi-Head Attention，为什么要用多头的注意力机制？ 考察对Transformer核心组件原理及设计动机的理解第 25 题说一下大模型常用的位置编码有哪些，各有什么优缺点 考察对Transformer位置编码方案的原理理解与工程取舍第 26 题是否有Attention极化现象，如何应对？ 考察对Transformer中注意力分布极化问题的理解与应对策略第 27 题相比 CNN 和 RNN，Transformer 结构有哪些优势？请说明核心原因。 考察对 Transformer 架构优势及其内在机制的理解第 28 题介绍一下Transformer的结构？ 考察对Transformer核心组件的理解与整体架构掌握第 29 题请介绍 Transformer 的整体架构及其关键设计点。 考察对 Transformer 核心组件、设计动机与计算流程的理解第 30 题Transformer 与 DIN 的注意力机制有哪些区别？ 考察对两种注意力机制原理及适用场景的辨析能力第 31 题Transformer的Encoder-Decoder过程展开讲，Encoder怎么实现？ 考察对Transformer架构中编码器内部机制的理解第 32 题Transformer的结构是什么？ 考察对Transformer核心组件的理解和整体架构的把握