【如何使用ollama】从零开始：安装、运行与管理本地大模型
大型语言模型（LLMs）正以前所未有的速度发展，而能够在本地计算机上运行这些模型，不仅能保护您的数据隐私，还能提供更快的响应速度和离线使用的便利。Ollama 正是这样一个工具，它极大地简化了在本地运行 LLM 的过程。
本文将围绕“如何使用 Ollama”这一核心问题，详细解答您在使用过程中可能遇到的各种疑问，包括：它是什么？为什么选择它？从哪里获取？需要多少费用和硬件？如何安装？以及如何下载、运行和管理模型。我们将提供详细的步骤和实用的信息，帮助您从零开始，轻松玩转本地大模型。
一、Ollama 是什么？ (What is Ollama?)
Ollama 是一个开源项目，它将大型语言模型（LLMs）的复杂性进行了封装，让您可以在自己的电脑上轻松地下载、安装和运行这些模型。您可以将其理解为一个本地的 LLM 服务器和模型库管理器。它提供了一个简单的命令行界面和一个本地 API 接口，让您可以像与在线服务交互一样，与本地运行的模型进行对话或集成到自己的应用程序中。
二、为什么选择 Ollama？ (Why Use Ollama?)
选择 Ollama 的主要原因在于它提供了一种极其简便的方式来利用本地计算资源运行 LLMs，带来了诸多优势：
- 数据隐私与安全： 您的数据无需上传到任何第三方服务，所有交互都在本地完成，极大地保护了个人或敏感信息的安全。
- 离线可用： 一旦模型下载完成，您可以在没有互联网连接的环境下随时使用它们。
- 成本效益： 避免了按使用量付费的云服务高昂费用，长期来看更经济实惠。
- 低延迟： 直接利用本地硬件进行推理，通常比通过网络访问远程服务响应更快。
- 模型多样性： Ollama 模型库提供了众多流行的开源模型供您选择和实验。
- 易用性： 提供跨平台的安装包和简洁的命令行/API 接口，降低了本地部署 LLM 的技术门槛。
三、如何获取 Ollama？以及它需要多少钱？ (Where and How much?)
在哪里下载 Ollama？ (Where to get it?)
Ollama 的官方和推荐下载渠道是其官方网站：
https://ollama.com/
请务必从官方网站下载适合您操作系统的安装包，以确保您获得的是正版且安全的软件。
使用 Ollama 需要花多少钱？ (How much does it cost?)
Ollama 本身是完全免费且开源的。您下载、安装和使用 Ollama 软件不需要支付任何费用。Ollama 模型库中的大多数模型也都是开源且免费使用的。您的“成本”主要在于运行大型模型所需的硬件投资（特别是显卡）以及存储模型文件所需的硬盘空间。
四、如何安装 Ollama？ (How to Install Ollama?)
Ollama 提供了针对主流操作系统的便捷安装程序或脚本：
在 macOS 上安装：
访问 https://ollama.com/
下载 macOS 版本的安装文件（一个 .dmg 文件）。双击下载的文件，然后将 Ollama 应用图标拖拽到“Applications”文件夹中即可完成安装。安装后，启动 Ollama 应用，它会在后台默默运行，并在系统菜单栏显示一个图标。
在 Windows 上安装：
访问 https://ollama.com/
下载 Windows 版本的安装程序（一个 .exe 文件）。运行下载的安装程序，按照向导提示一步步完成安装过程。安装完成后，Ollama 会作为服务在后台自动启动。
在 Linux 上安装：
在 Linux 上，通常推荐使用官方提供的一行命令脚本进行安装。打开您的终端，执行以下命令：
curl -fsSL https://ollama.com/install.sh | sh
这个脚本会自动检测您的系统架构，下载并安装 Ollama，并将其设置为一个系统服务。安装完成后，Ollama 服务应该已经启动并运行。
验证安装：
安装完成后，不论您使用哪种操作系统，打开终端或命令提示符，输入以下命令并按回车：
ollama --version
如果 Ollama 已正确安装并可执行，您将看到当前安装的 Ollama 版本号。这表明您可以开始使用 Ollama 了。
五、如何使用 Ollama 运行大模型？ (How to Use Ollama?)
安装好 Ollama 后，接下来就是下载您感兴趣的模型并开始使用了。所有核心操作都在终端或命令提示符中完成。
查找可用的模型 (How to find models?)
Ollama 维护了一个官方的模型库，您可以在这里查看所有可用的模型列表、它们的简介、大小以及各种版本（如不同量化级别）：
https://ollama.com/library
找到您想要使用的模型名称，例如 llama2、mistral、codeqwen 等。
下载模型 (How to pull a model?)
使用 ollama pull 命令下载模型。例如，要下载 Llama 2 模型，打开终端并输入：
ollama pull llama2
如果您想下载特定版本或量化级别的模型（例如，Llama 2 的 7B 参数模型，通常是默认的；或者 mistral 的 7B 参数模型），命令是相同的，因为它通常会下载默认标签的模型。如果您需要特定标签（例如 mistral:7b-instruct-v0.2-q8_0），则需要指定完整的名称：
ollama pull mistral:7b-instruct-v0.2-q8_0
下载过程可能需要一些时间，具体取决于您的网络速度和模型大小。模型文件通常较大，请确保您的硬盘有足够的剩余空间。
运行模型并开始对话 (How to run and interact?)
模型下载完成后，您可以使用 ollama run 命令启动一个交互式会话，直接与模型进行对话。例如，运行刚才下载的 llama2 模型：
ollama run llama2
第一次运行模型时，Ollama 需要将模型加载到内存中，这可能需要一些时间。加载完成后，您会看到模型给出的提示信息（通常类似于“Send a message (/? for help)”），然后您可以直接输入您的问题或指令，按回车发送。
>>> tell me a joke about computersWhy did the computer cross the road?To get to the data center!>>> /byeBye!
要退出当前的对话会话，输入 /bye 命令并按回车，或者按下 Ctrl + D（在某些系统上可能是 Ctrl + C）。
列出已下载的模型 (How to list installed models?)
如果您忘记了本地已经下载了哪些模型，可以使用 ollama list 命令查看：
ollama list
该命令会列出您本地所有已下载模型的名称、版本（标签）、大小以及最后修改时间。
删除模型 (How to remove a model?)
如果您不再需要某个模型，可以使用 ollama rm 命令将其从本地移除，以释放磁盘空间。例如，删除名为 mistral 的模型：
ollama rm mistral
请注意，删除操作是不可逆的。
通过 API 使用 (Using the API)
除了命令行交互，Ollama 还在本地默认启动一个 REST API 服务，通常在 http://localhost:11434。这允许开发者使用编程语言（如 Python、JavaScript 等）调用 Ollama 的功能，例如生成文本、创建文本嵌入等。这为将本地 LLMs 集成到自定义应用或工作流中提供了极大的便利。详细的 API 文档可以在 Ollama 官方网站找到。
六、运行 Ollama 需要什么样的硬件？ (System Requirements?)
虽然 Ollama 可以在多种硬件上运行，但要获得流畅的体验，特别是运行较大的模型时，对硬件有一定的要求：
- CPU: Ollama 可以在纯 CPU 上运行模型，但对于大多数非最小模型（如 7B 参数以上），CPU 推理速度会非常慢，通常只适用于基本测试。
- RAM (内存): 建议至少 16GB RAM。虽然有些小模型可以在 8GB RAM 上运行，但更大的模型或同时运行多个模型会需要更多内存。内存不足是导致模型无法加载或运行缓慢的常见原因。
- GPU (显卡): 这是影响本地 LLM 推理速度的关键因素。Ollama 支持利用 NVIDIA（通过 CUDA）和 AMD（通过 ROCm）显卡进行加速。模型的大小与所需的显存 (VRAM) 直接相关：
- 7B 参数模型（例如 llama2:7b, mistral:7b）： 建议至少 8GB 显存。
- 13B 参数模型： 建议至少 10GB 显存。
- 30B 参数模型： 建议至少 24GB 显存。
- 70B 参数模型： 需要 48GB 或更多显存。
- 硬盘空间: 模型文件大小各异，从几个 GB 到几十个 GB 不等。例如，一个 7B 参数的模型可能需要 4-8GB 的空间，而一个 70B 参数的模型可能需要 40GB 或更多。下载前请确保您有足够的硬盘空间。
您可以在 Ollama 的 GitHub 页面或社区中找到关于不同模型和硬件配置性能的更多讨论。
七、如何更新 Ollama？ (How to Update?)
定期更新 Ollama 可以获取最新的功能、性能优化以及对新模型格式的支持。更新方法取决于您的安装方式：
- macOS / Windows： 通常最简单的方法是访问 Ollama 官方网站，下载最新版本的安装程序，然后运行它。安装程序通常会提示您升级现有安装，或者您可以直接安装，它会替换旧版本。有时，Ollama 应用本身可能会提供内置的更新提示。
- Linux： 如果您是使用安装脚本安装的，再次运行相同的安装脚本通常就会将 Ollama 更新到最新版本：
curl -fsSL https://ollama.com/install.sh | sh
更新 Ollama 通常不会影响您已经下载的模型文件，但建议在更新前查看官方发布说明，了解是否有重要变更。
八、总结
通过本文的详细介绍，您应该已经全面了解了如何使用 Ollama 在本地运行大型语言模型。从 Ollama 是什么、为什么使用它，到具体的下载、安装步骤，以及如何使用命令行进行模型的拉取、运行、列出和删除，我们覆盖了 Ollama 的核心使用流程。此外，我们也探讨了运行 Ollama 所需的硬件条件以及如何进行更新。
Ollama 为个人用户和开发者打开了本地 LLM 世界的大门，让强大的 AI 能力触手可及，而无需依赖云服务。现在，您可以根据自己的硬件条件，在 Ollama 模型库中选择合适的模型，开始您的本地 AI 探索之旅。
