人工智能面试题 · BERT
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 133 道 · 更新 2026-08-05
筛选题目已选：BERT
考察点
技术栈
第 1 题对于一个BERT模型，假设序列长度为n、隐藏维度为d、层数为l，如何计算其总参数量？请给出估算公式。 考察对Transformer/BERT模型结构的理解及参数量估算能力第 2 题在进行多标签文本分类时，如何选择合适的大模型，并设计损失函数？ 考察多标签分类任务下的模型选型与损失函数设计能力第 3 题请介绍BERT系列模型的训练流程，并说明常见变体（如RoBERTa、ALBERT、DistilBERT）的主要改进。 考察对BERT预训练与微调流程的理解及对常见变体的知识广度第 4 题请列举几种常见的BERT变体，并简要说明它们各自的设计动机或适用场景。 考察对预训练语言模型演进脉络与变体设计差异的理解第 5 题了解BERT吗？ 考察对BERT模型结构的理解及其在NLP中的应用第 6 题BERT 预训练任务中的 Next Sentence Prediction 和 Masked Language Model 分别解决什么问题？ 考察对 BERT 预训练目标原理及各自作用的理解第 7 题BERT和RoBERTa有什么区别？ 考察对预训练语言模型演进与训练细节的理解第 8 题请介绍你对 embedding 的理解，包括它的原理、常见生成方式以及在实际场景中的应用。 考察对 embedding 概念、原理及应用的掌握程度第 9 题如果要做意图识别，可以怎么实现？ 考察对意图识别常见技术路线和工程实现的理解第 10 题描述一下典型的encoder-only如Bert的结构细节 考察Transformer编码器架构及BERT模型的结构理解第 11 题用BERT做分类任务时，输出是怎么处理的？ 考察对BERT分类任务输出层处理方式的理解第 12 题BERT和Transformer的位置编码及其区别 考察对位置编码原理及两者间差异的理解第 13 题请从模型架构、训练方式和使用场景三个方面说明 BERT 和 GPT 的区别。 考察对两种主流预训练模型本质差异的理解第 14 题BERT中，一个batch的输入需要padding，在attention时如何处理padding位置？ 考察Transformer/BERT中padding mask的实现原理及作用第 15 题用过哪些BERT类型的小模型，它们分别用什么预训练任务？ 考察对小型预训练语言模型及其预训练任务的理解与应用经验第 16 题请介绍 BERT 的预训练任务，并说明其输入 embedding 是如何构造的。 考察对 BERT 预训练机制与输入表示的理解第 17 题请说明BERT的预训练任务及其训练过程中的关键组成部分。 考察对BERT预训练机制和训练流程的理解第 18 题请介绍 BERT 的模型结构、位置编码类型、维度设置和词表大小等核心设计。 考察对 BERT 基础架构、关键参数和设计细节的理解第 19 题介绍BERT模型预训练任务，怎么进行mask掩码、比例？ 考察对BERT预训练任务和mask策略的理解第 20 题了解过之前的NLP技术吗？BERT是怎么样的，跟大模型相比的优势是什么？ 考察BERT技术理解及与LLM对比的认知深度