Ollama 教程：本地部署前先看这 4 条

发布于 2026-11-09 · 樱桃茶编辑部

手里有不能外传的材料，又能接受小模型的水平，Ollama 值得装；主要想写长文、读几十页的文档，云端模型更省事。Ollama 是一个在自己电脑上下载、运行开源大模型的工具，macOS、Windows、Linux 都有官方安装包，装上并不难，难的是装完才发现模型跑不动，或者跑得动但不够用。下面先给 4 个判断问题，再给安装步骤；已经决定要装的，直接跳到「Ollama 怎么安装」那一节。

在本地跑模型，到底图什么？

图隐私的人最多。Ollama 的 FAQ 写得很直接：本地运行时，他们看不到你的提示词和数据。

也有人是冲着不按次付费来的。Ollama 本身是 MIT 许可的开源软件（见它的 GitHub 仓库），从官方模型库下载模型也不收钱，电费和买硬件的钱另算。顺带的好处是断网也能用，出差路上、公司内网里照样开。

有个容易忽略的地方：Ollama 现在也提供云端模型，名字带 cloud，比如 gemma4:cloud。这类模型跑在 Ollama 自己的服务器上，请求会离开你的电脑。官方 FAQ 说云端的提示词和回答不留存、不记日志、不用于训练，但如果你装 Ollama 就是为了「数据不出门」，最好把云端功能关掉，做法在下面安装步骤的第 5 步。

装之前该问自己哪 4 个问题？

把这 4 个问题过一遍，答案大概就出来了。

  1. 硬件够不够？看「可用内存」：Mac 看统一内存，Windows 电脑看独立显卡的显存。Ollama 快速上手页拿 Gemma 4 E2B 做例子，写的是下载约 7.2 GB，建议有 8 GB 可用显存或统一内存。显存放不下时，一部分会落到 CPU 上跑，回答明显变慢。Ollama 模型库的 gpt-oss 页面写的是，20b 在 16 GB 内存的机器上就能跑。硬盘也要留足，Windows 安装文档提醒模型文件可能要几十到几百 GB。
  2. 隐私要求有多硬？一般的工作文档，选一家隐私条款写清楚的云端服务也许就够了。合同原件、病历这类材料，放在本地跑才最有意义。
  3. 你要它干什么活？改写一段话、翻译几句、给一段代码加注释、整理短笔记，本地小模型能对付。读长文档、问最近发生的事，本地和云端的差距会很明显，后面单独讲。
  4. 愿不愿意花时间维护？Ollama 要更新，模型标签也会更新（2026-11-07 查看时，库里 Gemma 4 的常用标签显示「1 个月前」更新过）。Windows 上还要管显卡驱动，NVIDIA 要 551.61 以上，AMD 要 ROCm v7 或支持 Vulkan 的驱动。再加个 Open WebUI，又多一个要升级的东西。

我们的判断：第 1 条和第 2 条的答案都是「是」，就值得装一个试试。典型的例子是 16 GB 以上内存的 Apple 芯片 Mac，加上确实有几份不想上传的文件。如果你只是想省订阅费，平时主要写长报告，那不建议折腾，省下的钱大概抵不过花掉的周末。

我的电脑能跑哪个模型？

先看系统要求，这几条来自 Ollama 官方文档：

再看模型。下表是 2026-11-07 在 ollama.com/library 查到的几个常见型号。注意「下载大小」只是文件大小，不等于运行时占的内存；上下文开得越长，占的内存越多。

模型标签 下载大小 上下文上限 能输入 官方给的配置说法
gemma4:e2b 4.6–7.5 GB 128K 文字、图片 建议 8 GB 可用显存或统一内存
gemma4:e4b（默认标签） 6.6–9.5 GB 128K 文字、图片 未单独写
gemma4:31b 19–20 GB 256K 文字、图片 未单独写
gpt-oss:20b 14 GB 128K 只有文字 16 GB 内存可运行
gpt-oss:120b 65 GB 128K 只有文字 单张 80 GB 显卡
qwen3.5:4b 3.3–4.0 GB 256K 文字、图片 未单独写
qwen3.5:9b（默认标签） 6.6–7.6 GB 256K 文字、图片 未单独写
qwen3.5:27b 17–20 GB 256K 文字、图片 未单独写

官方给 gemma4:e2b 的建议是 8 GB「可用」内存，总共只有 8 GB 的老笔记本够不上，可以从 qwen3.5:2b（下载 2.7–3.1 GB）或 qwen3.5:4b（3.3–4.0 GB）这种小尺寸试起。想跑 20 GB 上下的型号，得有对应的显存或统一内存；显存不够时一部分会落到 CPU 上，速度掉得很厉害。表里的上限也不是你实际拿到的长度，原因见「本地小模型哪些事做不好？」一节。

Ollama 怎么安装，最短要几步？

一个人自己用，前 3 步就够了。

  1. 打开 ollama.com/download 下载。macOS 官方首选的装法是打开 ollama.dmg，把 Ollama 拖进「应用程序」；Windows 运行 OllamaSetup.exe；Linux 在终端运行：

    curl -fsSL https://ollama.com/install.sh | sh

  2. 打开终端拉一个模型并开始对话。模型会先下载，下完直接进入聊天，输入 /bye 退出：

    ollama run gemma4:e2b

  3. 不想用终端也行。Ollama 官方博客 2025 年 7 月 30 日宣布，macOS 和 Windows 版的 App 自带聊天窗口，能在里面下载模型，也能把文本或 PDF 拖进去问。

  4. 想用浏览器界面，或者家里几个人共用，再加 Open WebUI。官方推荐 Docker，装好 Docker 后运行下面这条（your-secret-key 换成你自己生成的一串随机字符，例如 openssl rand -hex 32 的输出），然后打开 http://localhost:3000：

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    不装 Docker 的话可以用 pip。官方写明只支持 Python 3.11 和 3.12，3.13 还装不上。依次运行 pip install open-webui 和 open-webui serve，打开 http://localhost:8080。Open WebUI 启动后会自动找本机的 Ollama；用 Docker 时，Ollama 地址填 http://host.docker.internal:11434。在模型选择框里直接输入模型名，它会提示你从 Ollama 下载。

  5. 只想纯本地，就关掉云端功能：设置环境变量 OLLAMA_NO_CLOUD=1，或者在 ~/.ollama/server.json 里写 {"disable_ollama_cloud": true}，重启 Ollama 后，日志里会出现 Ollama cloud disabled: true。代价是用不了云端模型和联网搜索。

  6. 要读长一点的材料，先把上下文调大：App 设置里有滑块，命令行可以用 OLLAMA_CONTEXT_LENGTH=64000 ollama serve。调完运行 ollama ps，看 CONTEXT 一列是不是你设的数，PROCESSOR 一列是不是 100% GPU，有一部分落到 CPU 上就会变慢。

LM Studio 适合谁？

LM Studio 适合完全不想碰命令行的人。找模型和下载都在一个窗口里点完，它的文档写明，模型下载好之后聊天、和文档对话、开本地服务器都能离线用，本地服务器走 OpenAI 格式的接口，别的软件也能调。

几条要先知道的：

怎么选：只想点几下就聊起来，选 LM Studio；在意开源，或者想配 Open WebUI、给别的程序调用，Ollama 更合适。两个都装也可以，先各用一周再决定留哪个。

本地小模型哪些事做不好？

最容易踩的坑是上下文。Ollama 文档写的默认值是：显存小于 24 GiB，上下文 4k；24 到 48 GiB，32k；48 GiB 以上才给 256k。大多数个人电脑落在第一档。表里写着 128K、256K，你实际拿到的默认只有 4k token，丢一份几十页的 PDF 进去，模型能看到的只是其中一小部分。手动调大可以，但内存占用跟着涨，8 GB 的机器很快就顶到头。作为对照，樱桃茶上的 GPT-6 Luna 上下文是 1050k，Gemini 3.1 Pro 和 Claude Haiku 5.5 是 1000k，这一项本地很难追上。

再说能力上限。同一家的模型，能塞进 8 GB 的尺寸和大尺寸差得不少。Ollama 模型库的 Gemma 4 页面列出了官方跑分：MMLU Pro 一项，E2B 是 60.0%，31B 是 85.2%；GPQA Diamond 一项，E2B 是 43.4%，31B 是 84.3%。跑分不等于写稿质量，不过能看出方向：8 GB 机器上跑得动的，通常是同系列里最小的那几个尺寸。

还有新消息。关掉云端功能后，Ollama 没有联网搜索，模型只知道训练时的内容。

差距有多大，别听别人说，拿你自己的材料比一次。找一份 3000 字左右、后半段有几个关键数字的材料（会议纪要、项目周报都行），用同一段提示词分别问本地模型和一个云端模型：

下面是一份会议纪要。请按「结论 / 待办（负责人、截止日期）/ 风险」三部分整理，
每条待办后面用括号标出它在原文第几段。原文没有写的信息，写「原文未提及」，不要补。

[粘贴材料]

然后看三件事：后半段的待办有没有漏，数字和日期有没有抄错，括号里的段落号对不对得上。三项都过关，本地模型就够你日常用。

本地和云端能放进同一个客户端吗？

能，不用二选一。像 Chatbox 这样的客户端可以同时挂好几个「模型提供方」：Chatbox 文档写明，在设置里选 Ollama，下拉框里就能看到本机正在跑的模型。云端那一边，再加一个按 OpenAI 接口格式接入的服务就行。

以樱桃茶为例，在 Chatbox 里新增提供方，「API 模式」选「OpenAI API 兼容」，API 主机只填 https://gpt.cherrychat.org，再贴上你的 API Key（不要自己加 Bearer），点「检查」看到连接成功即可。详细的每一步和报错对照见樱桃茶的 Chatbox 接入教程。API Key 可以理解成一把专用钥匙：客户端拿着它去调用云端模型，按用量从积分里扣钱。建 Key 之前要在樱桃茶付过一次款（买过任意卡或充过一次积分）；API 调用只扣积分，订阅卡不抵扣。

樱桃茶不是 OpenAI、Anthropic、Google 这些厂商的官方产品，是通过各家接口接入模型的。接好之后，同一个窗口里就能分工：合同、体检报告这类材料交给本地的 Gemma 或 Qwen；要读整份长报告、写几千字的方案，切到云端模型。喜欢浏览器界面的，可以在 Open WebUI 的管理员设置「Connections」里添加一个 OpenAI 兼容接口，和本地 Ollama 并排用。

想在手机上用家里电脑的 Ollama，Chatbox 的教程给了做法：在电脑上设置 OLLAMA_HOST=0.0.0.0 和 OLLAMA_ORIGINS=*，手机端把地址填成电脑的局域网 IP 加 11434 端口。它同时提醒，别把 Ollama 服务暴露到公网，只在家里的局域网里用。

常见问题

没有显卡能跑吗？

能。没有独显或显存不够时，Ollama 会用系统内存和 CPU，代价是回答慢。先从几 GB 的小尺寸试起，比如 qwen3.5:4b（下载 3.3–4.0 GB）。

Mac 能跑吗？

能。Ollama 要 macOS 14 以上，Apple M 系列芯片 CPU 和 GPU 都用得上；Intel 芯片的 Mac 只能用 CPU，而 LM Studio 干脆不支持 Intel Mac。

Ollama 是免费的吗？

软件本身开源免费，下载本地模型也不要钱。云端模型要登录 Ollama 账号使用，额度和付费档以 ollama.com 的价格页为准。

模型下到哪里了，怎么挪到别的盘？

macOS 在 ~/.ollama/models，Windows 在 C:\Users\%username%\.ollama\models，Linux 在 /usr/share/ollama/.ollama/models。想换位置，设置环境变量 OLLAMA_MODELS 指向新目录，再重启 Ollama。

不想维护本地环境，也可以直接在樱桃茶对话里用云端模型，各模型的上下文长度和价格在樱桃茶的模型广场能查到。

参考来源

  1. Ollama，Quickstart，访问于 2026-11-07，https://docs.ollama.com/quickstart
  2. Ollama，macOS / Windows / Linux 安装文档，访问于 2026-11-07，https://docs.ollama.com/macos 、https://docs.ollama.com/windows 、https://docs.ollama.com/linux
  3. Ollama，Hardware support，访问于 2026-11-07，https://docs.ollama.com/gpu
  4. Ollama，Context length，访问于 2026-11-07，https://docs.ollama.com/context-length
  5. Ollama，FAQ（隐私、关闭云端、模型存放位置），访问于 2026-11-07，https://docs.ollama.com/faq
  6. Ollama，Ollama's new app，2025-07-30，https://ollama.com/blog/new-app
  7. Ollama 模型库：gemma4（页面转载的官方跑分）、gpt-oss（页面上的内存说明）、qwen3.5，访问于 2026-11-07，https://ollama.com/library/gemma4/tags 、https://ollama.com/library/gpt-oss 、https://ollama.com/library/qwen3.5/tags
  8. Open WebUI，Quick Start，访问于 2026-11-07，https://docs.openwebui.com/getting-started/quick-start
  9. Open WebUI，Connect a Provider: Ollama / OpenAI-Compatible，访问于 2026-11-07，https://docs.openwebui.com/getting-started/quick-start/connect-a-provider/starting-with-ollama 、https://docs.openwebui.com/getting-started/quick-start/connect-a-provider/starting-with-openai-compatible
  10. LM Studio，System Requirements 与 Offline Operation，访问于 2026-11-07，https://lmstudio.ai/docs/app/system-requirements 、https://lmstudio.ai/docs/app/offline
  11. LM Studio，价格页与 App Terms，访问于 2026-11-07，https://lmstudio.ai/pricing 、https://lmstudio.ai/app-terms
  12. Chatbox，How to Connect Chatbox to Remote Ollama Service，访问于 2026-11-07，https://docs.chatboxai.app/en/guides/providers/ollama
  13. ollama/ollama GitHub 仓库（MIT 许可），访问于 2026-11-07，https://github.com/ollama/ollama
  14. Ollama，Cloud（登录后使用云端模型），访问于 2026-11-07，https://docs.ollama.com/cloud

关于本文

本文由樱桃茶编辑部撰写，AI 辅助检索和初稿，编辑逐条核对了来源。系统要求、安装命令、默认上下文、模型大小和跑分都来自上面列出的官方文档和模型库页面，查询日期是 2026-11-07，Ollama 和 LM Studio 更新很快，动手前请以官网为准。本篇没有在本机做安装或速度测试，文中的对比方法和提示词留给读者自己跑。

相关阅读

一个 Key 接入常用 AI 工具 · AI 课程

Operated by UK Company CHERRYCHAT LTD · Company Number 16096119 · 客服微信 JsnonoChat · 内容由 AI 生成，请仔细甄别

樱桃茶·智域GPT

网络有点慢，正在努力加载…