使用云端AI模型虽然方便,但每次调用都会产生费用,而且数据需要发送到第三方服务器。如果你对隐私有较高要求,或者希望零成本运行AI助手,那么通过Ollama在本地运行开源模型是一个绝佳选择。OpenClaw提供的自托管AI助手原生支持Ollama,配置过程非常简单。
Ollama简介
Ollama是一个本地大语言模型运行工具,它将模型的下载、管理和推理封装成简洁的命令行界面和API服务。支持的模型包括Meta的Llama系列、阿里的Qwen系列、Google的Gemma系列等众多开源模型,而且完全免费。
第一步:安装Ollama
根据你的操作系统选择对应的安装方式。
Linux(推荐):
curl -fsSL https://ollama.com/install.sh | sh
macOS:
从 ollama.com 下载安装包,或通过Homebrew安装:
brew install ollama
Windows:
从 ollama.com 下载Windows安装程序并运行。
安装完成后,验证是否安装成功:
ollama --version
第二步:下载AI模型
Ollama通过 pull 命令下载模型。以下是几个推荐的模型选择:
Llama 3.1 8B(通用英文模型,推荐入门):
ollama pull llama3.1
Qwen2.5 7B(中文能力强,推荐中文用户):
ollama pull qwen2.5
Gemma 2 9B(Google出品,均衡性能):
ollama pull gemma2
你可以同时下载多个模型,在OpenClaw中随时切换使用。查看已下载的模型列表:
ollama list
模型下载完成后,先手动测试一下模型是否能正常运行:
ollama run qwen2.5 "你好,请做个自我介绍"
如果模型正常返回回复,说明Ollama已经准备就绪。
第三步:确保Ollama服务运行
Ollama在后台以服务形式运行,默认监听 http://localhost:11434。检查服务状态:
curl http://localhost:11434/api/tags
如果返回了模型列表的JSON数据,说明服务正在运行。在Linux上,Ollama通常作为systemd服务自动启动:
sudo systemctl status ollama
sudo systemctl enable ollama # 设置开机自启
第四步:在OpenClaw中配置Ollama
打开OpenClaw的配置文件:
nano ~/.config/openclaw/openclaw.json5
在 providers 部分添加Ollama配置:
{
providers: {
ollama: {
enabled: true,
baseUrl: "http://localhost:11434",
// Ollama不需要真正的API Key,但字段不能为空
apiKey: "ollama",
}
},
// 设置默认使用的模型
defaultModel: "ollama/qwen2.5",
}
这里的 apiKey 字段填写任意非空字符串即可,Ollama本身不需要认证,但OpenClaw的配置校验要求该字段存在。
保存配置后重启网关:
openclaw gateway restart
第五步:验证和测试
使用诊断工具确认Ollama已正确连接:
openclaw doctor
在输出中查找Ollama相关的条目,确认状态为正常。然后通过你已经配置好的聊天频道(如Telegram、Discord等)发送一条消息测试。
你也可以通过Dashboard查看模型的响应情况:
openclaw dashboard
硬件要求参考
本地运行AI模型对硬件有一定要求,以下是不同规模模型的建议配置:
| 模型规模 | 最低内存 | 推荐内存 | 推荐GPU显存 | 代表模型 |
|---|---|---|---|---|
| 3B参数 | 4GB | 8GB | 4GB | llama3.2:3b |
| 7-8B参数 | 8GB | 16GB | 8GB | qwen2.5, llama3.1 |
| 13B参数 | 16GB | 32GB | 12GB | llama2:13b |
| 70B参数 | 64GB | 128GB | 48GB+ | llama3.1:70b |
几点说明:
- 没有独立GPU也可以运行,Ollama会自动回退到CPU推理,但速度会明显变慢
- NVIDIA GPU用户确保安装了最新的CUDA驱动
- Apple Silicon(M1/M2/M3/M4)设备对Ollama支持良好,可以利用统一内存高效运行
- 对于VPS部署,建议至少选择8GB内存的实例来运行7B模型
多模型切换
OpenClaw支持在配置中设定多个模型,并根据需要切换。你可以同时配置云端和本地模型:
{
providers: {
anthropic: {
enabled: true,
apiKey: "sk-ant-xxxxx",
},
ollama: {
enabled: true,
baseUrl: "http://localhost:11434",
apiKey: "ollama",
}
},
defaultModel: "ollama/qwen2.5",
// 可以在对话中切换到其他模型
}
这样你可以日常使用免费的本地模型,需要更强能力时切换到云端模型。
总结
通过Ollama接入本地模型,你可以在完全不花钱、不泄露数据的前提下享受AI助手的便利。对于中文用户,特别推荐Qwen2.5系列模型,它在中文理解和生成方面表现优异。更多模型选择和进阶配置请参考OpenClaw官方文档,遇到问题可以在OpenClaw GitHub仓库中查找解决方案。