LiteLLM 统一代理接入教程

LiteLLM 简介

LiteLLM 是一个开源的 AI 模型代理层，它将 100+ 个 LLM 供应商的 API 统一成 OpenAI 兼容格式。通过部署 LiteLLM Proxy，你可以在 OpenClaw 中通过单一端点访问所有供应商的模型，同时获得负载均衡、成本追踪和 API Key 管理等功能。

部署 LiteLLM Proxy

使用 Docker 快速部署 LiteLLM：

docker run -d \
  --name litellm \
  -p 4000:4000 \
  -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml

创建 LiteLLM 配置文件 litellm_config.yaml：

model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: sk-your-openai-key

  - model_name: claude-sonnet
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: sk-ant-your-key

  - model_name: llama-3
    litellm_params:
      model: ollama/llama3.1
      api_base: http://localhost:11434

general_settings:
  master_key: sk-litellm-master-key

在 OpenClaw 中配置

将 LiteLLM 作为 OpenClaw 的模型供应商：

{
  "providers": {
    "litellm": {
      "type": "openai",
      "baseUrl": "http://localhost:4000/v1",
      "apiKey": "{{LITELLM_API_KEY}}",
      "models": ["gpt-4o", "claude-sonnet", "llama-3"]
    }
  }
}

设置密钥：

openclaw secrets set LITELLM_API_KEY "sk-litellm-master-key"

负载均衡配置

LiteLLM 支持同一模型的多个部署之间进行负载均衡：

model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: sk-key-1
    model_info:
      id: "openai-primary"

  - model_name: gpt-4o
    litellm_params:
      model: azure/gpt-4o-deployment
      api_key: azure-key-1
      api_base: https://your-resource.openai.azure.com
    model_info:
      id: "azure-backup"

router_settings:
  routing_strategy: least-busy
  num_retries: 3
  timeout: 60

这样当 OpenClaw 请求 gpt-4o 时，LiteLLM 会自动在 OpenAI 和 Azure 之间进行负载均衡。

故障转移

配置自动故障转移，当主模型不可用时自动切换到备用模型：

router_settings:
  routing_strategy: least-busy
  fallbacks: [
    {"gpt-4o": ["claude-sonnet"]},
    {"claude-sonnet": ["llama-3"]}
  ]
  num_retries: 2
  retry_after: 5

成本追踪

LiteLLM 内置了详细的成本追踪功能。启用数据库后可以持久化存储：

general_settings:
  master_key: sk-litellm-master-key
  database_url: postgresql://user:pass@localhost:5432/litellm

litellm_settings:
  success_callback: ["langfuse"]
  max_budget: 100.0
  budget_duration: monthly

通过 LiteLLM 的管理界面可以查看每个模型、每个 Key 的费用明细。

创建虚拟 Key

为 OpenClaw 创建一个独立的虚拟 API Key，方便追踪用量：

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer sk-litellm-master-key" \
  -H "Content-Type: application/json" \
  -d '{
    "models": ["gpt-4o", "claude-sonnet"],
    "max_budget": 50,
    "budget_duration": "monthly",
    "metadata": {"user": "openclaw-prod"}
  }'

将返回的 Key 配置到 OpenClaw 中：

openclaw secrets set LITELLM_API_KEY "sk-generated-virtual-key"

监控与日志

访问 LiteLLM 的管理界面查看请求日志：

http://localhost:4000/ui

可以看到每个请求的详细信息：模型、Token 用量、延迟、费用等。

与 OpenClaw 配合的最佳实践

在 LiteLLM 中管理所有 API Key，OpenClaw 只需一个 LiteLLM Key
利用 LiteLLM 的缓存功能减少重复请求
设置预算上限防止费用失控
使用 Docker Compose 将 LiteLLM 和 OpenClaw 一起管理

Docker Compose 示例：

version: "3"
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    ports:
      - "4000:4000"
    volumes:
      - ./litellm_config.yaml:/app/config.yaml
    command: --config /app/config.yaml

  openclaw:
    image: openclaw/openclaw:latest
    depends_on:
      - litellm
    environment:
      - LITELLM_API_KEY=sk-litellm-master-key

总结

LiteLLM 是 OpenClaw 多模型管理的理想搭档。它将供应商差异统一封装，提供负载均衡、故障转移和成本控制等企业级功能，极大简化了多模型环境下的运维复杂度。