为什么KV Cache对长上下文推理尤其关键？

Question

Accepted Answer

考察点：考察对长上下文推理复杂度与缓存依赖的理解。回答思路：说明长上下文下自注意力计算量随序列长度平方增长 指出KV Cache可避免重复计算历史token的注意力 能讨论显存瓶颈与分页或量化等优化手段

考察说明