本地部署大模型：Ollama 和 LM Studio 分步教程

怎样本地部署大模型？最简单的办法是用 Ollama 或 LM Studio：安装程序，下载一个开放权重（open-weight）模型，就能在没有网络、不用订阅的情况下和它聊天。Ollama 只需在终端里敲一条命令，LM Studio 则是一个带窗口和模型搜索的应用。入门只需要一台显卡空闲显存约 8 GB 的电脑，或者一台 Apple Silicon 芯片的 Mac。

为什么要在本地运行 AI？

新的开放权重模型几乎每周都有发布。其中有些是 Reflection Beam（MoE 501B）这样的庞然大物，家用设备跑不动；但也有更小的版本和“Flash”级别的模型，越来越多地能装进一台普通笔记本。

我们能得到什么：

1. 隐私。 提示词和文件不会离开我们的电脑。
2. 没有限额，没有账单。 只需付电费（以及硬件损耗）。
3. 离线可用。 模型下载完成后，就不再需要网络。
4. 本地 API。 可以把自己的脚本和工具接到 localhost 上的模型，就像接云端 API 一样。

问题只有一个：本地模型的水平取决于我们的硬件。最强的云端模型，家用 GPU 依然够不着。

需要什么硬件？

最关键的是内存：显卡的显存（VRAM），或者 Mac 的统一内存。

• Ollama 在官方快速入门中，为下载体积约 7.2 GB 的示例模型推荐 8 GB 空闲显存（Mac 上则是统一内存）。显存不足时，Ollama 会改用普通内存，但回复会变慢。更大的上下文窗口也会占用更多内存。
• LM Studio 根据其系统要求，在 Mac 上需要 Apple Silicon（M1–M4）和 macOS 14 或更新版本，推荐 16 GB 内存 （8 GB 也能运行，但只能用较小的模型）。在 Windows 上推荐 16 GB 内存和至少 4 GB 显存，x64 处理器必须支持 AVX2。在 Linux 上需要 Ubuntu 20.04 或更新版本。

黄金法则：模型文件要能装进内存，还要给上下文留出余量。模型库会列出大小，例如 Ollama 中的 Gemma 4 有从约 4.6 GB（e2b）到约 20 GB（31b）的多个版本。

如何用 Ollama 本地部署大模型？

Ollama 是一款免费的开源程序（MIT 许可证，GitHub 仓库）。它支持 macOS、Windows 和 Linux，内部有一个在后台管理模型的服务器。

1. 安装。 在 macOS 上，从 Ollama 官网下载应用。在 Linux 上，一条命令就够了：

curl -fsSL https://ollama.com/install.sh | sh

在 Windows 上，打开 PowerShell 运行：

irm https://ollama.com/install.ps1 | iex

2. 第一个模型。 在终端中运行：

ollama run gemma4:e2b

Ollama 会自动下载模型并打开对话。输入 /bye 结束对话。在 Linux 上，如果服务器没有运行，需要先用 ollama serve 启动它。

3. 管理模型。 CLI 文档里的几条命令，从第一天起就用得上：

ollama pull gemma4   # 只下载模型，不运行
ollama ls            # 已下载模型列表
ollama ps            # 当前正在运行的模型
ollama stop gemma4   # 停止模型
ollama rm gemma4     # 从磁盘删除模型

有意思的是，Ollama 还能在本地模型上运行编程工具。命令 ollama launch claude 会启动 Claude Code，而 ollama launch claude --model qwen3.5 则用你选定的模型来启动。在 Mac 上，Ollama 应用还有一个 Apps 标签页，可以把模型接入 Claude 应用或 ChatGPT Desktop（后者仅限 Codex 模式）。

如何用 LM Studio 本地部署大模型？

LM Studio 是一款桌面应用，适合宁愿点鼠标也不想敲终端的人。它有聊天界面、Hugging Face 模型搜索、MCP 支持和本地 API 服务器。根据其许可条款，它可用于个人用途和企业内部用途，不过部分功能可能需要付费。

1. 安装。 从 LM Studio 官网下载安装程序并启动应用。
2. 下载模型。 打开 Discover 标签页（Mac 上按 ⌘ + 2，Windows 和 Linux 上按 Ctrl + 2），输入名称，例如“gemma”或“qwen”。也可以直接粘贴 Hugging Face 链接。
3. 选择版本。 Q4_K_M、Q8 这类名称指的是所谓的量化：模型变小，代价是损失一部分质量。文档建议在硬件允许的情况下选择 4 位或更高的版本。
4. 聊天。 加载模型，像在任何 AI 聊天里一样输入即可。

LM Studio 还有自己的命令行工具 lms，会随应用一起安装（只要启动一次应用即可）。根据 CLI 文档，同样的操作也能在终端里完成：

lms get llama-3.1-8b          # 下载模型
lms ls                        # 磁盘上的模型列表
lms chat my-model             # 在终端里聊天
lms server start              # 启动本地 API 服务器

Ollama 还是 LM Studio？

两款程序本质上做的是同一件事，区别在于使用方式。

	Ollama	LM Studio
操作方式	终端（外加一个简单应用）	窗口化应用（外加 CLI lms）
许可	开源（MIT）	闭源，供个人和企业内部使用
查找模型	ollama.com 上的模型库	应用内的 Hugging Face 搜索
本地 API	http://localhost:11434/v1/	http://localhost:1234/v1

如果喜欢终端，或者想把模型接到脚本和智能体上，从 Ollama 入手更简单。如果更想先看看、比比各种模型，用 LM Studio 会更顺手。

如何把本地模型接入自己的代码？

两款程序都提供与 OpenAI 兼容的 API，所以只要在常用的 openai 库里改一下地址就行。下面是 Ollama 文档中的示例：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # 库要求必填，Ollama 会忽略
)

reply = client.chat.completions.create(
    model="gpt-oss:20b",
    messages=[{"role": "user", "content": "Give me a one-line fun fact."}],
)
print(reply.choices[0].message.content)

在 LM Studio 中，可以用 Developer 标签页里的 Start server 开关，或者 lms server start 命令启动服务器。在文档示例中，服务器运行在 1234 端口（http://localhost:1234/v1），支持 /v1/chat/completions、/v1/responses 和 /v1/embeddings 等接口。

这就为比聊天更有趣的事情打开了大门：本地智能体、搜索自己的笔记，或者在新的开放权重模型发布当天就上手测试，比如 MiniMax M3.1 Flash。想了解这类模型在生产环境中如何提供服务，可以看看关于 DeepSeek DeepInfer 的文章。

常见问题

本地 AI 是免费的吗？

Ollama 免费且开源。LM Studio 可用于个人和企业内部用途，不过根据条款，部分功能可能需要付费。开放权重模型本身可以免费下载，但每个模型都有自己的许可证，值得核实一下。

没有显卡能在本地运行 AI 吗？

可以，但会慢一些。没有显存时，Ollama 会使用普通内存。这种情况下最好选一个小模型，例如 gemma4:e2b。

本地模型需要多少内存？

大致等于模型文件的大小，再加上给上下文留的余量。对于 Ollama 快速入门中的示例模型（约 7.2 GB），推荐 8 GB 空闲显存。

本地模型不联网能用吗？

能。只有下载程序和模型时才需要联网。