本地大模型开发环境搭建:Ollama 与 LM Studio 的选择
本地大模型开发环境搭建:Ollama 与 LM Studio 的选择
这篇笔记要解决什么
如果你想在本地做 LLM 学习与实验,最常见的痛点是:
- 环境装好了但不好用:模型下载散、参数不知道怎么调、跑起来还慢。
- 只能对话不能集成:想把推理能力接进脚本、测试工具或 Web 服务,却没有统一入口。
- 没法复现:今天能跑、明天升级后就跑不了。
本文目标是给你一套“可复现、可扩展”的本地 LLM 工具链选择与落地路径。
选择思路:你更像“用服务”还是“用客户端”
Ollama 更适合
- 你希望有一个稳定的本地推理服务(HTTP API)
- 你要写脚本、写后端、做小型 RAG/代理工具
- 你希望模型管理更“工程化”(拉取、启动、查看列表)
LM Studio 更适合
- 你更偏向“先试用再集成”
- 你需要桌面 UI 来对比不同模型参数、速度、显存占用
- 你希望快速导入/下载并立刻对话
推荐组合(学习 + 工程两不误)
- Ollama 做统一推理入口:后续不管你换模型还是换前端,脚本调用不变。
- LM Studio 做对比与调参:用 UI 快速试错,找到你机器上性价比最高的模型组合。
最小可用清单
- Windows Terminal / PowerShell(建议 UTF-8)
- 至少 16GB 内存(更高更稳)
- 若有 NVIDIA GPU:确保驱动与 CUDA 运行环境正常(具体取决于你用的后端)
统一调用的“自检步骤”
- 列出模型(确认服务能响应)
1 | curl http://localhost:11434/api/tags |
- 跑一个短 prompt(确认首 token 延迟与输出正常)
- 观察资源占用(CPU、内存、显存),记录 token/s
常见坑与排查顺序
- 乱码:优先确认终端编码;其次检查文章/文件是否 UTF-8。
- 很慢:先确认是否走到 GPU;再看模型量化等级是否过高/过低。
- 上下文不够:看模型自身上下文限制;不要只调 max_tokens。
- 输出不稳定:降低温度、加结构化约束,再考虑换模型或微调。
建议你把它变成“可复现环境”
把以下内容写进一个 docs/local-llm.md(或你自己的笔记里):
- 使用的模型名与版本
- 推理参数(温度、top_p、最大输出)
- 你的机器配置与大致性能指标(TTFT、token/s)
- 一条固定回归 prompt(用来对比升级是否退化)
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 咻咻咻小陈的空间!