Ollama 是一個輕量級、可擴充套件的大模型框架，這個開源專案能幫助你在本地電腦上玩轉和執行大語言模型。
如果你的電腦沒有 GPU 也是能使用的，只不過大模型會使用 CPU 計算慢一些。
第一步 部署
Ollama 支援 macOS、Windows 預覽版和 Linux 系統。你可以直接去開源專案的主頁去找最新的部署方式：github.com/ollama
或者使用 Docker 來快速啟動 Ollama。此外，Ollama還提供了Python 和 JavaScript 庫，方便開發者整合到自己的專案中。
macOS
下載連結：github.com/ollama/ollama#macos
Windows預覽版
下載連結：github.com/ollama/ollama#windows-preview
Linux
安裝命令：
curl -fsSL https://ollama.com/install.sh | sh
Docker
Ollama 的官方 Docker 映象可在 Docker Hub 上找到，名為`ollama/ollama`。
第二步 下載模型
Ollama支援一系列模型，可以去 ollama.com/library 去下載，例如 Llama 3、Gemma、Mistral和國內的千問等模型都支援，具有不同的引數和大小，使用者可以根據需要下載和執行。
下載完成，你就能在本地電腦上隨意的切換和使用你下載的大模型了。
第三步 執行模型
你可以開啟命令列，使用使用 ollama run 命令執行模型，比如：
$ ollama run gemma:2b
執行這個命令會啟動 Ollama REPL，你可以在其中與 Gemma 2B 模型進行互動。以下是示例：
第四步：Web 介面
如果你不喜歡在命令列的視窗使用大模型，推薦你使用 Ollama WebUI ，啟動後你可以看到一個乾淨、直觀的介面，類似於 ChatGPT 的介面。
開源地址：https://github.com/open-webui/open-webui
