大模型推理优化:KV Cache、量化、并发与成本

1. 先把指标量出来

优化前先统一看:

  • 首 token 延迟(TTFT)
  • token/s
  • 显存占用
  • 单次请求成本(与输出长度强相关)

2. KV Cache:为什么它关键

KV Cache 能避免重复计算历史 token 的注意力,尤其在长上下文对话里收益很大。

你要关注:

  • 上下文越长,KV Cache 越占显存
  • 并发越高,总显存压力越大

3. 量化:速度、精度与稳定性的三角

更低比特通常更省显存、更快,但可能造成输出退化(尤其数字/代码)。

建议:量化切换必须过回归集。

4. 并发策略

  • 先限制最大并发与最大输出长度
  • 再考虑 batching
  • 长短请求隔离队列,避免互相拖死