有人说“把公司资料发给模型就是训练”,你会怎样区分预训练、推理时上下文、RAG 和微调分别改变了什么?
考察说明
考查对大模型知识来源和四种常见使用方式边界的理解。
回答思路
- 预训练通过大规模数据学习通用语言和知识模式,成本高、更新周期长,并不等同于把当前企业文档随时写进模型。
- 推理时上下文只在当前请求中提供任务材料,适合临时指令和少量证据;除非产品另有存储机制,它不会自动变成长期记忆。
- RAG 在回答前检索外部资料,适合更新频繁、需要引用和权限控制的知识,但正确性取决于索引、召回、排序与文档质量。
- 微调主要改变模型在特定任务中的行为、格式或风格,训练样本必须稳定且高质量,不适合充当经常变化的事实数据库。
- 实际系统可以组合几种方式;应根据目标是补知识、改行为还是提供临时材料,以及更新频率、数据量、成本和风险来选择。