LLM 评测体系:离线基准、线上 A/B 与回归集的组合
发表于|更新于|AI技术
|浏览量:
LLM 评测体系:离线基准、线上 A/B 与回归集的组合
为什么必须做评测闭环
没有评测闭环,你永远在“感觉变好了”。模型升级、参数调整、提示词改动,都可能引入退化。
三层评测
- 离线基准:统一对比模型/参数
- 回归集:防止改动引入退化
- 线上 A/B:验证真实用户效果
指标建议(按场景选)
- 事实正确率
- 结构化输出通过率(可解析/可执行)
- 延迟与成本
- 用户满意度(显式/隐式)
数据要版本化
评测数据必须可回放:你才能回答“到底是模型变了还是数据变了”。
文章作者: 咻咻咻小陈
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 咻咻咻小陈的空间!
相关推荐
2026-02-18
大模型推理优化:KV Cache、量化、并发与成本
大模型推理优化:KV Cache、量化、并发与成本1. 先把指标量出来优化前先统一看: 首 token 延迟(TTFT) token/s 显存占用 单次请求成本(与输出长度强相关) 2. KV Cache:为什么它关键KV Cache 能避免重复计算历史 token 的注意力,尤其在长上下文对话里收益很大。 你要关注: 上下文越长,KV Cache 越占显存 并发越高,总显存压力越大 3. 量化:速度、精度与稳定性的三角更低比特通常更省显存、更快,但可能造成输出退化(尤其数字/代码)。 建议:量化切换必须过回归集。 4. 并发策略 先限制最大并发与最大输出长度 再考虑 batching 长短请求隔离队列,避免互相拖死
2026-07-07
Agent 评测体系从 0 到 1:离线评测、Bad Case 回流与在线归因
Agent 评测体系从 0 到 1:离线评测、Bad Case 回流与在线归因为什么 Agent 评测比 RAG 评测更难做过 RAG 评测的人都知道,核心指标就是命中率 + 生成准确率——输入是 query,输出是 answer,对比 ground truth 就行。 但 Agent 不一样。一个任务可能涉及: 3 轮对话交互 5 次工具调用 2 次知识库检索 条件分支选择 中间状态的正确性 **评测 Agent 不是在评测”回答对不对”,而是在评测”决策过程对不对”**。 举个例子:用户问”帮我查一下上个季度的销售数据,画出趋势图发给团队”。一个正确的 Agent 执行路径可能是: 1231. 调用 BI 工具查询销售数据(正确参数:2026 Q1-Q2)2. 调用图表生成工具(选择折线图)3. 调用飞书 API 发送消息(选择正确的群组) 如果第 1 步查成了今年的数据而不是上个季度,后面再花哨也没用。所以 Agent 评测必须逐环节、分层级地进行。 三层评测体系我们的评测体系分为三层,每层覆盖不同阶段的验证需求: 12345678910111213141516171...
2024-01-15
本地大模型开发环境搭建:Ollama 与 LM Studio 的选择
本地大模型开发环境搭建:Ollama 与 LM Studio 的选择这篇笔记要解决什么如果你想在本地做 LLM 学习与实验,最常见的痛点是: 环境装好了但不好用:模型下载散、参数不知道怎么调、跑起来还慢。 只能对话不能集成:想把推理能力接进脚本、测试工具或 Web 服务,却没有统一入口。 没法复现:今天能跑、明天升级后就跑不了。 本文目标是给你一套“可复现、可扩展”的本地 LLM 工具链选择与落地路径。 选择思路:你更像“用服务”还是“用客户端”Ollama 更适合 你希望有一个稳定的本地推理服务(HTTP API) 你要写脚本、写后端、做小型 RAG/代理工具 你希望模型管理更“工程化”(拉取、启动、查看列表) LM Studio 更适合 你更偏向“先试用再集成” 你需要桌面 UI 来对比不同模型参数、速度、显存占用 你希望快速导入/下载并立刻对话 推荐组合(学习 + 工程两不误) Ollama 做统一推理入口:后续不管你换模型还是换前端,脚本调用不变。 LM Studio 做对比与调参:用 UI 快速试错,找到你机器上性价比最高的模型组合。 最小...
2026-01-20
大模型微调进阶:LoRA/QLoRA 的权衡与排坑
大模型微调进阶:LoRA/QLoRA 的权衡与排坑1. 什么时候该微调微调更适合解决“行为稳定性”问题:例如结构化输出、风格一致、特定任务指令遵循。 如果你的问题是“知识缺失”,通常优先考虑 RAG。 2. LoRA vs QLoRA:选择建议 LoRA:更稳,资源需求更高 QLoRA:更省显存,但训练更敏感,参数不合适更容易发散 实用建议:资源够用优先 LoRA;资源受限再上 QLoRA。 3. 数据准备的三条红线 去重与清洗:重复样本会让模型记忆化 输出规范统一:字段名、单位、格式一致 明确“不知道就说不知道”:减少胡编 4. 上线前回归清单 结构化输出通过率 关键事实正确率 延迟与成本(输出长度是否飙升) 微调要配合评测闭环,否则很容易“这次好了,下次又坏”。
2025-01-15
大语言模型微调实战:从零到一的完整指南
大语言模型微调实战:从零到一的完整指南在大语言模型(LLM)时代,微调(Fine-tuning)已成为让通用模型适应特定任务的关键技术。本文将带你从零开始,掌握LLM微调的完整流程。 1. 为什么需要微调? 通用模型的局限性:预训练模型在通用任务上表现优秀,但在专业领域(如医疗、法律)表现不佳 数据稀缺问题:专业领域标注数据有限,全量训练成本高 快速迭代需求:企业需要快速响应业务变化 2. 微调方法对比 方法 适用场景 成本 效果 全参数微调 高精度要求 高 ★★★★☆ LoRA 中等精度 中 ★★★★ Prompt Tuning 快速验证 低 ★★☆☆☆ QLoRA 资源受限 低 ★★★☆☆ 3. 实战步骤步骤1:准备数据集123456789101112131415# 示例:医疗问答数据预处理import pandas as pdfrom transformers import AutoTokenizerdef prepare_medical_data(): df = pd.read_csv('medical_qa.csv'...
2026-05-25
构建RAG评测体系:让问答准确率稳定在85%+
引言在RAG系统的开发和迭代过程中,如何科学地评测系统效果是一个关键问题。本文分享我们在阿里云百炼平台上构建离线+在线评测体系的经验,以及如何通过Prompt优化让问答准确率稳定在85%+。 评测体系架构整体架构123456789101112131415161718192021┌─────────────────────────────────────────────────────────┐│ RAG评测体系 │├─────────────────────────────────────────────────────────┤│ ││ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ││ │ 离线评测 │ │ 在线评测 │ │ A/B测试 │ ││ └─────────────┘ ...
公告
商务联系 V:K284914351
电话:18670570487
邮箱:284914351@qq.com
电话:18670570487
邮箱:284914351@qq.com