本地大模型开发环境搭建:Ollama 与 LM Studio 的选择

这篇笔记要解决什么

如果你想在本地做 LLM 学习与实验,最常见的痛点是:

  • 环境装好了但不好用:模型下载散、参数不知道怎么调、跑起来还慢。
  • 只能对话不能集成:想把推理能力接进脚本、测试工具或 Web 服务,却没有统一入口。
  • 没法复现:今天能跑、明天升级后就跑不了。

本文目标是给你一套“可复现、可扩展”的本地 LLM 工具链选择与落地路径。

选择思路:你更像“用服务”还是“用客户端”

Ollama 更适合

  • 你希望有一个稳定的本地推理服务(HTTP API)
  • 你要写脚本、写后端、做小型 RAG/代理工具
  • 你希望模型管理更“工程化”(拉取、启动、查看列表)

LM Studio 更适合

  • 你更偏向“先试用再集成”
  • 你需要桌面 UI 来对比不同模型参数、速度、显存占用
  • 你希望快速导入/下载并立刻对话

推荐组合(学习 + 工程两不误)

  1. Ollama 做统一推理入口:后续不管你换模型还是换前端,脚本调用不变。
  2. LM Studio 做对比与调参:用 UI 快速试错,找到你机器上性价比最高的模型组合。

最小可用清单

  • Windows Terminal / PowerShell(建议 UTF-8)
  • 至少 16GB 内存(更高更稳)
  • 若有 NVIDIA GPU:确保驱动与 CUDA 运行环境正常(具体取决于你用的后端)

统一调用的“自检步骤”

  1. 列出模型(确认服务能响应)
1
curl http://localhost:11434/api/tags
  1. 跑一个短 prompt(确认首 token 延迟与输出正常)
  2. 观察资源占用(CPU、内存、显存),记录 token/s

常见坑与排查顺序

  • 乱码:优先确认终端编码;其次检查文章/文件是否 UTF-8。
  • 很慢:先确认是否走到 GPU;再看模型量化等级是否过高/过低。
  • 上下文不够:看模型自身上下文限制;不要只调 max_tokens。
  • 输出不稳定:降低温度、加结构化约束,再考虑换模型或微调。

建议你把它变成“可复现环境”

把以下内容写进一个 docs/local-llm.md(或你自己的笔记里):

  • 使用的模型名与版本
  • 推理参数(温度、top_p、最大输出)
  • 你的机器配置与大致性能指标(TTFT、token/s)
  • 一条固定回归 prompt(用来对比升级是否退化)