大模型推理优化:KV Cache、量化、并发与成本
发表于|更新于|AI技术
|浏览量:
大模型推理优化:KV Cache、量化、并发与成本
1. 先把指标量出来
优化前先统一看:
- 首 token 延迟(TTFT)
- token/s
- 显存占用
- 单次请求成本(与输出长度强相关)
2. KV Cache:为什么它关键
KV Cache 能避免重复计算历史 token 的注意力,尤其在长上下文对话里收益很大。
你要关注:
- 上下文越长,KV Cache 越占显存
- 并发越高,总显存压力越大
3. 量化:速度、精度与稳定性的三角
更低比特通常更省显存、更快,但可能造成输出退化(尤其数字/代码)。
建议:量化切换必须过回归集。
4. 并发策略
- 先限制最大并发与最大输出长度
- 再考虑 batching
- 长短请求隔离队列,避免互相拖死
文章作者: 咻咻咻小陈
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 咻咻咻小陈的空间!
相关推荐
2025-08-15
LLM 评测体系:离线基准、线上 A/B 与回归集的组合
LLM 评测体系:离线基准、线上 A/B 与回归集的组合为什么必须做评测闭环没有评测闭环,你永远在“感觉变好了”。模型升级、参数调整、提示词改动,都可能引入退化。 三层评测 离线基准:统一对比模型/参数 回归集:防止改动引入退化 线上 A/B:验证真实用户效果 指标建议(按场景选) 事实正确率 结构化输出通过率(可解析/可执行) 延迟与成本 用户满意度(显式/隐式) 数据要版本化评测数据必须可回放:你才能回答“到底是模型变了还是数据变了”。
2026-01-20
大模型微调进阶:LoRA/QLoRA 的权衡与排坑
大模型微调进阶:LoRA/QLoRA 的权衡与排坑1. 什么时候该微调微调更适合解决“行为稳定性”问题:例如结构化输出、风格一致、特定任务指令遵循。 如果你的问题是“知识缺失”,通常优先考虑 RAG。 2. LoRA vs QLoRA:选择建议 LoRA:更稳,资源需求更高 QLoRA:更省显存,但训练更敏感,参数不合适更容易发散 实用建议:资源够用优先 LoRA;资源受限再上 QLoRA。 3. 数据准备的三条红线 去重与清洗:重复样本会让模型记忆化 输出规范统一:字段名、单位、格式一致 明确“不知道就说不知道”:减少胡编 4. 上线前回归清单 结构化输出通过率 关键事实正确率 延迟与成本(输出长度是否飙升) 微调要配合评测闭环,否则很容易“这次好了,下次又坏”。
2025-01-15
大语言模型微调实战:从零到一的完整指南
大语言模型微调实战:从零到一的完整指南在大语言模型(LLM)时代,微调(Fine-tuning)已成为让通用模型适应特定任务的关键技术。本文将带你从零开始,掌握LLM微调的完整流程。 1. 为什么需要微调? 通用模型的局限性:预训练模型在通用任务上表现优秀,但在专业领域(如医疗、法律)表现不佳 数据稀缺问题:专业领域标注数据有限,全量训练成本高 快速迭代需求:企业需要快速响应业务变化 2. 微调方法对比 方法 适用场景 成本 效果 全参数微调 高精度要求 高 ★★★★☆ LoRA 中等精度 中 ★★★★ Prompt Tuning 快速验证 低 ★★☆☆☆ QLoRA 资源受限 低 ★★★☆☆ 3. 实战步骤步骤1:准备数据集123456789101112131415# 示例:医疗问答数据预处理import pandas as pdfrom transformers import AutoTokenizerdef prepare_medical_data(): df = pd.read_csv('medical_qa.csv'...
2024-09-15
数据库索引与查询优化:从 EXPLAIN 读懂性能瓶颈
数据库索引与查询优化:从 EXPLAIN 读懂性能瓶颈先别猜,先看执行计划慢查询优化的第一步不是加索引,而是回答: 是否走索引 扫描了多少行 是否回表 是否排序/临时表 索引设计三条规则 高选择性列更适合做前导列 复合索引遵循最左前缀 避免在索引列上做函数/隐式转换 常见优化手段(按侵入程度从低到高) 覆盖索引减少回表 改写 SQL(OR -> UNION 等) 分页优化(避免深分页) 分表/分区(最后手段) 一个小技巧每次优化只改一件事,并记录前后对比: 耗时 扫描行数 CPU/IO 指标 这样你才知道改动是否真的有效。
2024-01-15
本地大模型开发环境搭建:Ollama 与 LM Studio 的选择
本地大模型开发环境搭建:Ollama 与 LM Studio 的选择这篇笔记要解决什么如果你想在本地做 LLM 学习与实验,最常见的痛点是: 环境装好了但不好用:模型下载散、参数不知道怎么调、跑起来还慢。 只能对话不能集成:想把推理能力接进脚本、测试工具或 Web 服务,却没有统一入口。 没法复现:今天能跑、明天升级后就跑不了。 本文目标是给你一套“可复现、可扩展”的本地 LLM 工具链选择与落地路径。 选择思路:你更像“用服务”还是“用客户端”Ollama 更适合 你希望有一个稳定的本地推理服务(HTTP API) 你要写脚本、写后端、做小型 RAG/代理工具 你希望模型管理更“工程化”(拉取、启动、查看列表) LM Studio 更适合 你更偏向“先试用再集成” 你需要桌面 UI 来对比不同模型参数、速度、显存占用 你希望快速导入/下载并立刻对话 推荐组合(学习 + 工程两不误) Ollama 做统一推理入口:后续不管你换模型还是换前端,脚本调用不变。 LM Studio 做对比与调参:用 UI 快速试错,找到你机器上性价比最高的模型组合。 最小...
2024-05-15
前端构建提速:Vite 项目里最常见的 8 个性能坑
前端构建提速:Vite 项目里最常见的 8 个性能坑先明确你要优化的是哪一段构建慢通常分三类: 本地 dev 启动慢 生产 build 慢 CI 构建慢(缓存缺失/机器慢) 8 个高频坑(对照自查) 依赖预构建没命中(频繁重新 optimize) 大型库全量引入(没按需) sourcemap 全开(产物变大、生成慢) 图片/字体不压缩(产物大、加载慢) chunk 拆分策略缺失(首屏大包) 插件堆叠且无评估(有些插件只在开发期需要) CI 不缓存(npm cache、构建缓存、pnpm store 等) 构建机资源不足(CPU/IO) 最小改动获得最大收益建议顺序: 产物分析(先知道胖在哪里) 依赖按需 + chunk 分组 CI 缓存(npm cache、构建缓存) 一个简单的实践建议每次做性能优化,只改一个变量,并记录: build 时间 产物体积 首屏关键资源大小 否则你很容易“优化了,但不知道为什么变快/变慢”。
公告
商务联系 V:K284914351
电话:18670570487
邮箱:284914351@qq.com
电话:18670570487
邮箱:284914351@qq.com