如何在本地运行 Llama
Llama 的模型权重完全支持下载，你可以在自己的电脑上离线、私密地运行它。本文提供四种本地部署方案，以及中肯实在的硬件配置建议。
为什么要在本地电脑上运行 Llama
Meta 公开发布了 Llama 的权重，因此与封闭式聊天机器人不同，你可以下载 Llama 模型并在自己的设备上运行。下载完成后，它支持完全离线工作，你的提示词绝不会离开本地电脑，并且没有任何消息限制或按 token 计费。相对的代价在于硬件：越大的模型需要越多的内存，而且笔记本电脑的响应速度肯定不如云端服务器。
本指南将介绍三种最常用的工具，从最简单到最极客：Ollama、LM Studio 和 llama.cpp。如果你只是想体验一下，我们的免费 Llama AI 聊天完全无需安装。
选择适合你电脑的模型
最关键的一步是选择合适的模型尺寸。一个粗略的经验法则是：你需要的可用内存（显卡显存，或 Apple 芯片的统一内存）至少要和模型文件一样大，还要为上下文对话预留额外空间。如果内存装不下，模型要么无法加载，要么会调用普通的系统内存缓慢运行。
以下是 Ollama 为各款 Llama 模型默认版本列出的下载体积。它们都是经过压缩（量化）的文件，这也是大多数人在家用电脑上运行模型的方式。
| 模型 | Ollama 名称 | 下载体积 | 适用场景 |
|---|---|---|---|
| Llama 3.2 1B | llama3.2:1b | 1.3 GB | 配置较低的设备、简单任务 |
| Llama 3.2 3B | llama3.2 | 2.0 GB | 绝大多数笔记本、快速文本处理 |
| Llama 3.1 8B | llama3.1 | 4.9 GB | 适合多数电脑作为入门首选 |
| Llama 3.1 70B | llama3.1:70b | 43 GB | 高性能工作站 |
| Llama 4 Scout | llama4:scout | 67 GB | 大内存工作站、图像处理 |
| Llama 4 Maverick | llama4:maverick | 245 GB | 配备多张大显存 GPU 的服务器 |
如果你拿不准，建议从 Llama 3.1 8B 开始。它体积足够小，很多近几年的笔记本都能跑得动，同时能力又足够强大实用。Meta 官方关于 Llama 4 Scout 的模型卡片指出，在采用 Int4 量化时它能装入单张 H100 数据中心 GPU，由此可见 Llama 4 模型的体量规模。
方案 1：Ollama（最简单）
Ollama 是一款极简工具，只需一行命令即可下载并运行模型，并在后台随时待命。
- 从官网下载并安装 Ollama。
- 打开终端，运行
ollama run llama3.1。首次运行时会自动下载模型，之后启动只需几秒钟。 - 在命令行提示符后输入你的问题，然后按回车。
其他 Llama 模型的用法完全一致，例如 ollama run llama3.2 或 ollama run llama4:scout。Ollama 官方库中的 Llama 3.1、Llama 3.2 和 Llama 4 页面列出了所有可用尺寸。在 Llama 4 页面上，Ollama 显示 Scout 拥有 10M 上下文窗口，Maverick 拥有 1M，且两者均支持文本和图像输入。
Ollama 还会在本地运行一个服务器，方便你用自己的脚本调用模型。发送对话请求的示例如下：
curl http://localhost:11434/api/chat -d '{
"model": "llama3.1",
"messages": [{"role": "user", "content": "用两句话解释什么是递归。"}]
}'方案 2：LM Studio（桌面客户端）
LM Studio 是一款带有聊天界面的免费桌面应用，让你完全无需接触终端命令行。
- 下载对应你操作系统的 LM Studio 并打开。
- 进入 Discover（发现）标签页，搜索“Llama”，下载适合你显存/内存的版本。
- 切换到 Chat（聊天）标签页，在顶部的模型加载器中选定该模型，即可开始对话。
LM Studio 还可以充当本地服务器，提供与 OpenAI API 格式兼容的接口，默认地址为 http://localhost:1234/v1。许多现成的开发工具只需把地址指向这里，即可替代云端服务。详情请参考 LM Studio 入门指南 以及 OpenAI 兼容服务器文档。
方案 3：llama.cpp（掌控力最强）
llama.cpp 是许多本地 AI 工具底层的开源引擎。直接使用它能让你对性能参数拥有最大的控制权。它运行 GGUF 格式的模型文件，支持从 1.5-bit 到 8-bit 的多种量化方案以缩减模型体积，并且对 Apple 芯片进行了深度优化。
- 安装工具。项目 README 提供了单行安装命令：在 macOS 和 Linux 上运行
curl -LsSf https://llama.app/install.sh | sh，或在 Windows PowerShell 中运行irm https://llama.app/install.ps1 | iex。 - 在终端中直接与 Hugging Face 上的 GGUF 模型对话：
llama cli -hf <user>/<repo>。 - 或者启动本地的 OpenAI 兼容服务器：
llama serve -hf <user>/<repo>。
只需将占位符替换为你想要的 Llama 模型 GGUF 版本的 Hugging Face 仓库名即可。请查看仓库说明以确认各个文件采用的量化等级；文件越小占用的内存越少，但也会损失少许生成质量。
方案 4：来自 Meta 的原始权重
如果你是开发者并需要全精度权重，可以直接从 Meta 在 Hugging Face 上的主页下载，例如 Llama 3.1 8B Instruct 或 Llama 4 Scout。这些仓库设有访问门槛：你必须登录并在模型页面同意许可协议后才能解锁下载。模型卡片中附带了适用于 Hugging Face Transformers 库的示例代码。全精度权重比上述量化版本需要更多的内存，因此该方案主要适用于服务器部署和模型微调。
新手上手建议
- 从小模型起步。先从 8B 或 3B 模型试起。只有在回答效果不达预期且硬件足以胜任时，再尝试更大尺寸。
- 关闭其他吃内存的应用。打开大量标签页的浏览器和大型游戏都会争抢宝贵的内存与显存。
- 控制上下文长度。过长的对话会占用更多内存并拖慢运行速度。聊新话题时建议开启新对话。
- 善用系统提示词（System Prompt）。明确告知模型其身份和期望的回答风格，这对小模型的提升尤为明显。我们的提示词库提供了许多灵感。
- 留意许可协议。个人在本地运行非常自由，但如果你打算用它开发商业产品，请阅读我们的 Llama 许可协议解读。
- 模型知识库有截止日期。本地模型不会自动联网搜索。Llama 3.x 的知识截止到 2023 年 12 月，Llama 4 截止到 2024 年 8 月。
本地运行还是在线使用：如何选择
如果你极度看重隐私、需要离线使用或每天高频调用，且手头有合适的硬件配置，选择在本地运行 Llama 是绝佳方案。如果你电脑配置有限又想体验超大尺寸的 Llama 4 模型，或者只是想随手尝试一下，直接使用在线对话更合适。你也可以通过云端服务商在代码中调用模型，详情可参阅我们的 Llama API 指南。
常见问题
没有独立显卡能运行 Llama 吗？
可以，像 Llama 3.2 3B 和 Llama 3.1 8B 这样的小模型可以在普通 CPU 上运行，只是生成速度会慢一些。但对于更大的模型，没有强力 GPU 或充裕的统一内存就不太现实了。
在本地运行 Llama 免费吗？
上述软件和 Llama 模型权重均可免费下载使用。你唯一的成本就是硬件设备和电费。
本地运行的 Llama 模型支持识别图片吗？
Llama 4 Scout 和 Maverick 支持图像输入，Llama 3.2 Vision 系列同样支持。而 1B、3B 和 8B 纯文本模型则无法识别图片。
初学者应该选哪个工具？
如果你习惯图形界面的桌面应用，推荐 LM Studio；如果你不介意在终端里输入一行命令，Ollama 是最高效的选择。
