你在比较两个模型的价格时发现它们都按 token 计费,怎么向业务团队说明 token 是什么,以及它会怎样影响成本和效果?
考察说明
考查对 token、上下文用量及其业务影响的基础理解。
回答思路
- Token 是模型处理文本时使用的基本片段,可能是一个汉字、词的一部分或标点,不能简单等同于字符数或字数。
- 一次调用的用量通常包含输入和输出,系统提示、历史对话、检索材料与工具结果都会占用输入额度。
- 材料越长通常费用越高、响应越慢,而且无关内容可能稀释关键证据,因此并非把所有资料都塞进去最好。
- 不同模型和分词方式对同一段文字的 token 数可能不同,采购测算应使用真实业务样本而不是固定字数换算。
- 优化方向包括裁剪无关历史、复用稳定前缀、检索相关片段和限制冗长输出,同时用任务质量防止过度压缩。