教育/培训行业面试题更新 2026-08-05
请解释Transformer解码器中past_key_value（或KV cache）的作用及其对推理性能的影响。
好未来人工智能教育/培训性能优化技术原理Transformer
考察说明
考察对Transformer自回归解码中KV缓存机制的深入理解
回答思路
- 说明past_key_value用于缓存已计算的历史Key和Value向量
- 解释其避免重复计算、加速自回归解码的原理
- 讨论KV cache对显存占用和推理时延的权衡
- 能结合具体实现说明缓存的管理与失效策略
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
