阿里巴巴面试题更新 2026-08-05

请解释预训练模式(next token prediction)与 SFT 的核心区别,并说明 SFT 的损失计算方式。

阿里巴巴人工智能电商自我呈现技术原理

考察说明

考察对语言模型预训练与监督微调机制的理解

回答思路

  1. 准确描述预训练的目标与自回归建模方式
  2. 清晰解释预训练与SFT在训练目标和数据上的差异
  3. 正确说明SFT的损失计算范围(仅对答案部分计算损失)
  4. 能指出两者在模型行为上的不同影响