LLM 评测体系:离线基准、线上 A/B 与回归集的组合

为什么必须做评测闭环

没有评测闭环,你永远在“感觉变好了”。模型升级、参数调整、提示词改动,都可能引入退化。

三层评测

  • 离线基准:统一对比模型/参数
  • 回归集:防止改动引入退化
  • 线上 A/B:验证真实用户效果

指标建议(按场景选)

  • 事实正确率
  • 结构化输出通过率(可解析/可执行)
  • 延迟与成本
  • 用户满意度(显式/隐式)

数据要版本化

评测数据必须可回放:你才能回答“到底是模型变了还是数据变了”。