人工智能面试题 · 技术原理 · PyTorch
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 199 道 · 更新 2026-08-05
筛选题目已选：技术原理 · PyTorch
考察点
技术栈
第 121 题PyTorch里的tensor和NumPy的区别 考察对张量数据结构、计算能力和生态差异的理解第 122 题在SFT训练中，如何确保只对指定部分（如响应）计算loss？ 考察对训练实现中loss掩码机制的理解第 123 题你是否会自己手写深度学习训练框架？ 考察对深度学习训练流程的理解深度与实际工程实践能力第 124 题请用 PyTorch 手写实现 softmax 函数，并基于 softmax 的输出分布编写一个采样函数。 考察 softmax 的实现正确性、数值稳定性与基于分布的采样能力第 125 题请用 PyTorch 实现一个 ImageDataset 类，继承自 Dataset 用于加载给定的图像数据集，并实现一个 collate_fn 函数，用于将数据集中的样本打包成批次。 考察对 PyTorch Dataset 和 DataLoader collate_fn 机制的理解及编码实现能力第 126 题如何将 tensor 转到指定 device？ 考察 PyTorch 中张量设备迁移的基本操作与最佳实践第 127 题手撕多头注意力机制的实现，并解释为什么缩放因子是根号下dk。 考察多头注意力机制的实现细节与缩放因子的数学原理第 128 题如何将一个 Tensor 转换为 NumPy 数组？ 考察对张量转回 NumPy 数组操作及设备限制的理解第 129 题请手写并解释多头注意力（Multi-Head Attention）机制的代码实现。 考察多头注意力的实现细节与原理理解第 130 题在不修改数据集的前提下，如何修改PyTorch代码解决多分类中的数据不平衡问题？ 考察在不改动数据时通过代码层面处理不平衡的能力第 131 题Transformer和LLaMA的Layer Normalization有什么区别？请手写RMSNorm。 考察对模型架构中归一化机制的理解及编码实现能力第 132 题请介绍你在分布式训练方面的经验，尤其是使用 PyTorch 的分布式训练相关模块（如 DistributedDataParallel）时，你如何处理模型并行或数据并行，以及遇到了哪些挑战？ 考察分布式训练的实际应用与问题解决能力第 133 题SFT阶段如何避免对padding token计算loss？ 考察大模型微调时对padding token的loss屏蔽处理及其原理第 134 题请介绍几种常用的推荐系统深度学习模型及其适用场景。 考察对推荐系统深度学习模型的掌握程度与场景理解第 135 题训练一个7B模型，在常见的混合精度训练下大约需要多少显存？请简要说明主要消耗来源。 考察对模型训练显存占用的量级估算和构成理解第 136 题介绍下DeepSpeed 考察对DeepSpeed核心机制、应用场景与性能优化原理的理解第 137 题请手写实现Transformer Decoder层，并说明如何实现mask机制以支持自回归生成。 考察对Transformer Decoder结构、自注意力mask和因果掩码的实现能力第 138 题如果不用LoRA，直接全参数微调一个7B模型，需要多少显存？ 考察混合精度下全参数微调的显存估算能力第 139 题请介绍常见的量化方法、原理及适用场景，并分析它们在计算复杂度和精度损失上的差异。 考察对量化方法原理、适用场景及复杂度与精度权衡的理解第 140 题如何使用 PyTorch 实现 Grouped Query Attention（GQA）？ 考察对多头注意力机制的变体理解及 PyTorch 编码实现能力