Ollama 教程：本地部署前先看這 4 條

釋出於 2026-11-09 · 櫻桃茶編輯部

手裡有不能外傳的材料，又能接受小模型的水平，Ollama 值得裝；主要想寫長文、讀幾十頁的文件，雲端模型更省事。Ollama 是一個在自己電腦上下載、執行開源大模型的工具，macOS、Windows、Linux 都有官方安裝包，裝上並不難，難的是裝完才發現模型跑不動，或者跑得動但不夠用。下面先給 4 個判斷問題，再給安裝步驟；已經決定要裝的，直接跳到「Ollama 怎麼安裝」那一節。

在本地跑模型，到底圖什麼？

圖隱私的人最多。Ollama 的 FAQ 寫得很直接：本地執行時，他們看不到你的提示詞和資料。

也有人是衝著不按次付費來的。Ollama 本身是 MIT 許可的開源軟體（見它的 GitHub 倉庫），從官方模型庫下載模型也不收錢，電費和買硬體的錢另算。順帶的好處是斷網也能用，出差路上、公司內網裡照樣開。

有個容易忽略的地方：Ollama 現在也提供雲端模型，名字帶 cloud，比如 gemma4:cloud。這類模型跑在 Ollama 自己的伺服器上，請求會離開你的電腦。官方 FAQ 說雲端的提示詞和回答不留存、不記日誌、不用於訓練，但如果你裝 Ollama 就是為了「資料不出門」，最好把雲端功能關掉，做法在下面安裝步驟的第 5 步。

裝之前該問自己哪 4 個問題？

把這 4 個問題過一遍，答案大概就出來了。

  1. 硬體夠不夠？看「可用記憶體」：Mac 看統一記憶體，Windows 電腦看獨立顯示卡的視訊記憶體。Ollama 快速上手頁拿 Gemma 4 E2B 做例子，寫的是下載約 7.2 GB，建議有 8 GB 可用視訊記憶體或統一記憶體。視訊記憶體放不下時，一部分會落到 CPU 上跑，回答明顯變慢。Ollama 模型庫的 gpt-oss 頁面寫的是，20b 在 16 GB 記憶體的機器上就能跑。硬碟也要留足，Windows 安裝文件提醒模型檔案可能要幾十到幾百 GB。
  2. 隱私要求有多硬？一般的工作文件，選一家隱私條款寫清楚的雲端服務也許就夠了。合同原件、病歷這類材料，放在本地跑才最有意義。
  3. 你要它幹什麼活？改寫一段話、翻譯幾句、給一段程式碼加註釋、整理短筆記，本地小模型能對付。讀長文件、問最近發生的事，本地和雲端的差距會很明顯，後面單獨講。
  4. 願不願意花時間維護？Ollama 要更新，模型標籤也會更新（2026-11-07 檢視時，庫裡 Gemma 4 的常用標籤顯示「1 個月前」更新過）。Windows 上還要管顯示卡驅動，NVIDIA 要 551.61 以上，AMD 要 ROCm v7 或支援 Vulkan 的驅動。再加個 Open WebUI，又多一個要升級的東西。

我們的判斷：第 1 條和第 2 條的答案都是「是」，就值得裝一個試試。典型的例子是 16 GB 以上記憶體的 Apple 晶片 Mac，加上確實有幾份不想上傳的檔案。如果你只是想省訂閱費，平時主要寫長報告，那不建議折騰，省下的錢大概抵不過花掉的週末。

我的電腦能跑哪個模型？

先看系統要求，這幾條來自 Ollama 官方文件：

再看模型。下表是 2026-11-07 在 ollama.com/library 查到的幾個常見型號。注意「下載大小」只是檔案大小，不等於執行時佔的記憶體；上下文開得越長，佔的記憶體越多。

模型標籤 下載大小 上下文上限 能輸入 官方給的配置說法
gemma4:e2b 4.6–7.5 GB 128K 文字、圖片 建議 8 GB 可用視訊記憶體或統一記憶體
gemma4:e4b（預設標籤） 6.6–9.5 GB 128K 文字、圖片 未單獨寫
gemma4:31b 19–20 GB 256K 文字、圖片 未單獨寫
gpt-oss:20b 14 GB 128K 只有文字 16 GB 記憶體可執行
gpt-oss:120b 65 GB 128K 只有文字 單張 80 GB 顯示卡
qwen3.5:4b 3.3–4.0 GB 256K 文字、圖片 未單獨寫
qwen3.5:9b（預設標籤） 6.6–7.6 GB 256K 文字、圖片 未單獨寫
qwen3.5:27b 17–20 GB 256K 文字、圖片 未單獨寫

官方給 gemma4:e2b 的建議是 8 GB「可用」記憶體，總共只有 8 GB 的老筆記本夠不上，可以從 qwen3.5:2b（下載 2.7–3.1 GB）或 qwen3.5:4b（3.3–4.0 GB）這種小尺寸試起。想跑 20 GB 上下的型號，得有對應的視訊記憶體或統一記憶體；視訊記憶體不夠時一部分會落到 CPU 上，速度掉得很厲害。表裡的上限也不是你實際拿到的長度，原因見「本地小模型哪些事做不好？」一節。

Ollama 怎麼安裝，最短要幾步？

一個人自己用，前 3 步就夠了。

  1. 開啟 ollama.com/download 下載。macOS 官方首選的裝法是開啟 ollama.dmg，把 Ollama 拖進「應用程式」；Windows 執行 OllamaSetup.exe；Linux 在終端執行：

    curl -fsSL https://ollama.com/install.sh | sh

  2. 開啟終端拉一個模型並開始對話。模型會先下載，下完直接進入聊天，輸入 /bye 退出：

    ollama run gemma4:e2b

  3. 不想用終端也行。Ollama 官方部落格 2025 年 7 月 30 日宣佈，macOS 和 Windows 版的 App 自帶聊天視窗，能在裡面下載模型，也能把文本或 PDF 拖進去問。

  4. 想用瀏覽器介面，或者家裡幾個人共用，再加 Open WebUI。官方推薦 Docker，裝好 Docker 後執行下面這條（your-secret-key 換成你自己生成的一串隨機字元，例如 openssl rand -hex 32 的輸出），然後開啟 http://localhost:3000：

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    不裝 Docker 的話可以用 pip。官方寫明只支援 Python 3.11 和 3.12，3.13 還裝不上。依次執行 pip install open-webui 和 open-webui serve，開啟 http://localhost:8080。Open WebUI 啟動後會自動找本機的 Ollama；用 Docker 時，Ollama 地址填 http://host.docker.internal:11434。在模型選擇框裡直接輸入模型名，它會提示你從 Ollama 下載。

  5. 只想純本地，就關掉雲端功能：設定環境變數 OLLAMA_NO_CLOUD=1，或者在 ~/.ollama/server.json 裡寫 {"disable_ollama_cloud": true}，重啟 Ollama 後，日誌裡會出現 Ollama cloud disabled: true。代價是用不了雲端模型和聯網搜尋。

  6. 要讀長一點的材料，先把上下文調大：App 設定裡有滑塊，命令列可以用 OLLAMA_CONTEXT_LENGTH=64000 ollama serve。調完執行 ollama ps，看 CONTEXT 一列是不是你設的數，PROCESSOR 一列是不是 100% GPU，有一部分落到 CPU 上就會變慢。

LM Studio 適合誰？

LM Studio 適合完全不想碰命令列的人。找模型和下載都在一個窗口裡點完，它的文件寫明，模型下載好之後聊天、和文件對話、開本地伺服器都能離線用，本地伺服器走 OpenAI 格式的介面，別的軟體也能調。

幾條要先知道的：

怎麼選：只想點幾下就聊起來，選 LM Studio；在意開源，或者想配 Open WebUI、給別的程式呼叫，Ollama 更合適。兩個都裝也可以，先各用一週再決定留哪個。

本地小模型哪些事做不好？

最容易踩的坑是上下文。Ollama 文件寫的預設值是：視訊記憶體小於 24 GiB，上下文 4k；24 到 48 GiB，32k；48 GiB 以上才給 256k。大多數個人電腦落在第一檔。表裡寫著 128K、256K，你實際拿到的預設只有 4k token，丟一份幾十頁的 PDF 進去，模型能看到的只是其中一小部分。手動調大可以，但記憶體佔用跟著漲，8 GB 的機器很快就頂到頭。作為對照，櫻桃茶上的 GPT-6 Luna 上下文是 1050k，Gemini 3.1 Pro 和 Claude Haiku 5.5 是 1000k，這一項本地很難追上。

再說能力上限。同一家的模型，能塞進 8 GB 的尺寸和大尺寸差得不少。Ollama 模型庫的 Gemma 4 頁面列出了官方跑分：MMLU Pro 一項，E2B 是 60.0%，31B 是 85.2%；GPQA Diamond 一項，E2B 是 43.4%，31B 是 84.3%。跑分不等於寫稿質量，不過能看出方向：8 GB 機器上跑得動的，通常是同系列裡最小的那幾個尺寸。

還有新訊息。關掉雲端功能後，Ollama 沒有聯網搜尋，模型只知道訓練時的內容。

差距有多大，別聽別人說，拿你自己的材料比一次。找一份 3000 字左右、後半段有幾個關鍵數字的材料（會議紀要、專案週報都行），用同一段提示詞分別問本地模型和一個雲端模型：

下面是一份會議紀要。請按「結論 / 待辦（負責人、截止日期）/ 風險」三部分整理，
每條待辦後面用括號標出它在原文第幾段。原文沒有寫的資訊，寫「原文未提及」，不要補。

[貼上材料]

然後看三件事：後半段的待辦有沒有漏，數字和日期有沒有抄錯，括號裡的段落號對不對得上。三項都過關，本地模型就夠你日常用。

本地和雲端能放進同一個客戶端嗎？

能，不用二選一。像 Chatbox 這樣的客戶端可以同時掛好幾個「模型提供方」：Chatbox 文件寫明，在設定裡選 Ollama，下拉框裡就能看到本機正在跑的模型。雲端那一邊，再加一個按 OpenAI 介面格式接入的服務就行。

以櫻桃茶為例，在 Chatbox 裡新增提供方，「API 模式」選「OpenAI API 相容」，API 主機只填 https://gpt.cherrychat.org，再貼上你的 API Key（不要自己加 Bearer），點「檢查」看到連線成功即可。詳細的每一步和報錯對照見櫻桃茶的 Chatbox 接入教程。API Key 可以理解成一把專用鑰匙：客戶端拿著它去呼叫雲端模型，按用量從點數里扣錢。建 Key 之前要在櫻桃茶付過一次款（買過任意卡或充過一次點數）；API 呼叫只扣點數，訂閱卡不抵扣。

櫻桃茶不是 OpenAI、Anthropic、Google 這些廠商的官方產品，是通過各家介面接入模型的。接好之後，同一個窗口裡就能分工：合同、體檢報告這類材料交給本地的 Gemma 或 Qwen；要讀整份長報告、寫幾千字的方案，切到雲端模型。喜歡瀏覽器介面的，可以在 Open WebUI 的管理員設定「Connections」裡新增一個 OpenAI 相容介面，和本地 Ollama 並排用。

想在手機上用家裡電腦的 Ollama，Chatbox 的教程給了做法：在電腦上設定 OLLAMA_HOST=0.0.0.0 和 OLLAMA_ORIGINS=*，手機端把地址填成電腦的區域網 IP 加 11434 埠。它同時提醒，別把 Ollama 服務暴露到公網，只在家裡的區域網裡用。

常見問題

沒有顯示卡能跑嗎？

能。沒有獨顯或視訊記憶體不夠時，Ollama 會用系統記憶體和 CPU，代價是回答慢。先從幾 GB 的小尺寸試起，比如 qwen3.5:4b（下載 3.3–4.0 GB）。

Mac 能跑嗎？

能。Ollama 要 macOS 14 以上，Apple M 系列晶片 CPU 和 GPU 都用得上；Intel 晶片的 Mac 只能用 CPU，而 LM Studio 乾脆不支援 Intel Mac。

Ollama 是免費的嗎？

軟體本身開源免費，下載本地模型也不要錢。雲端模型要登入 Ollama 帳號使用，額度和付費檔以 ollama.com 的價格頁為準。

模型下到哪裡了，怎麼挪到別的盤？

macOS 在 ~/.ollama/models，Windows 在 C:\Users\%username%\.ollama\models，Linux 在 /usr/share/ollama/.ollama/models。想換位置，設定環境變數 OLLAMA_MODELS 指向新目錄，再重啟 Ollama。

不想維護本地環境，也可以直接在櫻桃茶對話裡用雲端模型，各模型的上下文長度和價格在櫻桃茶的模型廣場能查到。

參考來源

  1. Ollama，Quickstart，訪問於 2026-11-07，https://docs.ollama.com/quickstart
  2. Ollama，macOS / Windows / Linux 安裝文件，訪問於 2026-11-07，https://docs.ollama.com/macos 、https://docs.ollama.com/windows 、https://docs.ollama.com/linux
  3. Ollama，Hardware support，訪問於 2026-11-07，https://docs.ollama.com/gpu
  4. Ollama，Context length，訪問於 2026-11-07，https://docs.ollama.com/context-length
  5. Ollama，FAQ（隱私、關閉雲端、模型存放位置），訪問於 2026-11-07，https://docs.ollama.com/faq
  6. Ollama，Ollama's new app，2025-07-30，https://ollama.com/blog/new-app
  7. Ollama 模型庫：gemma4（頁面轉載的官方跑分）、gpt-oss（頁面上的記憶體說明）、qwen3.5，訪問於 2026-11-07，https://ollama.com/library/gemma4/tags 、https://ollama.com/library/gpt-oss 、https://ollama.com/library/qwen3.5/tags
  8. Open WebUI，Quick Start，訪問於 2026-11-07，https://docs.openwebui.com/getting-started/quick-start
  9. Open WebUI，Connect a Provider: Ollama / OpenAI-Compatible，訪問於 2026-11-07，https://docs.openwebui.com/getting-started/quick-start/connect-a-provider/starting-with-ollama 、https://docs.openwebui.com/getting-started/quick-start/connect-a-provider/starting-with-openai-compatible
  10. LM Studio，System Requirements 與 Offline Operation，訪問於 2026-11-07，https://lmstudio.ai/docs/app/system-requirements 、https://lmstudio.ai/docs/app/offline
  11. LM Studio，價格頁與 App Terms，訪問於 2026-11-07，https://lmstudio.ai/pricing 、https://lmstudio.ai/app-terms
  12. Chatbox，How to Connect Chatbox to Remote Ollama Service，訪問於 2026-11-07，https://docs.chatboxai.app/en/guides/providers/ollama
  13. ollama/ollama GitHub 倉庫（MIT 許可），訪問於 2026-11-07，https://github.com/ollama/ollama
  14. Ollama，Cloud（登入後使用雲端模型），訪問於 2026-11-07，https://docs.ollama.com/cloud

關於本文

本文由櫻桃茶編輯部撰寫，AI 輔助檢索和初稿，編輯逐條核對了來源。系統要求、安裝命令、預設上下文、模型大小和跑分都來自上面列出的官方文件和模型庫頁面，查詢日期是 2026-11-07，Ollama 和 LM Studio 更新很快，動手前請以官網為準。本篇沒有在本機做安裝或速度測試，文中的對比方法和提示詞留給讀者自己跑。

相關閱讀

一個 Key 接入常用 AI 工具 · AI 課程

Operated by UK Company CHERRYCHAT LTD · Company Number 16096119 · 客服微信 JsnonoChat · 內容由 AI 生成，請仔細甄別

櫻桃茶·智域GPT

網路有點慢，正在努力載入…