互联网/IT行业面试题 · 持续改进 · Transformer
互联网/IT行业相关面试题，按题目行业基础数据聚合。
共 47588 道真题 · 当前筛选命中 9 道 · 更新 2026-08-05
筛选题目已选：持续改进 · Transformer
考察点
技术栈
第 1 题请梳理大模型发展历程，从 Transformer 到 BERT、GPT、LLaMA、Qwen 以及 o1 推理模型的主要演进脉络。 考察对模型架构演进和技术路线变迁的理解第 2 题后来有哪些比较经典的基于Transformer的语言模型，Qwen相比于原始Transformer有哪些结构上的改动，Qwen2又有哪些改进？ 考察对Transformer架构演进、Qwen系列模型结构差异及版本改进的理解第 3 题请介绍你对Transformer模型的理解，并说明它是如何工作的。 考察对Transformer架构的掌握程度及知识深度第 4 题请介绍大模型主流模型结构的主要演进变化 考察对大模型架构演进、关键技术变革的理解第 5 题针对梯度爆炸和消失问题，近年有哪些新的改进方法或研究方向？ 考察对深度学习训练稳定性的前沿了解第 6 题你在大模型相关的算法背景和理论知识方面是如何构建的？请描述你的学习路径或实践积累。 考察大模型算法与理论知识的来源、深度和构建方式第 7 题如何为多头注意力模块添加正则化或增强策略以提升训练稳定性？ 考察模型训练的工程优化与设计能力第 8 题从技术原理和实际应用角度看，Mamba 未来是否有取代 Transformer 的可能？请结合两者核心机制说明你的判断。 考察对两种模型架构差异的理解及技术趋势判断能力第 9 题有去了解过大语言模型原理吗？ 考察对大型语言模型基础原理的主动学习与理解深度