LiteLLM

背景：

在企业级 AI 落地过程中，数据泄露与 API 滥用是两大核心痛点：员工可能无意中将敏感数据上传至外部模型，而缺乏约束的调用更易导致成本失控。与此同时，外部 Skill 生态鱼龙混杂，恶意插件如同”特洛伊木马”，一旦引入便可能危及内网安全。借助 LiteLLM 实现精细化额度与权限管理，并搭建 SkillHub 构建企业内部市场，为企业 AI 应用保驾护航。

安装LiteLLM

拉取LiteLLM镜像

docker pull docker.litellm.ai/berriai/litellm:main-latest

编辑配置文件config.yaml

# 数据库配置（PostgreSQL）
general_settings:
  # 如需虚拟密钥功能，必须有pgsql配置，可选配
  database_url: "postgresql://litellm:litellm123@10.1.0.6:5432/litellm"
  # 用于登陆UI
  master_key: sk-HADISE

# LiteLLM 设置
litellm_settings:
  # 可配置虚拟密钥的限额
  upperbound_key_generate_params:
    max_budget: 100
  # 开启审计日志
  store_audit_logs: true
  drop_params: True
  num_retries: 3

# 模型配置
model_list:
  - model_name: kimi-k2-turbo
    litellm_params:
      model: moonshot/kimi-k2-turbo-preview
      api_base: "https://api.moonshot.cn/v1"
      api_key: sk-HADISE

所有支持的 LLM API 提供商

直接启动并查看日志

docker run     -v $(pwd)/config.yaml:/app/config.yaml     -p 4000:4000    docker.litellm.ai/berriai/litellm:main-latest     --config /app/config.yaml --detailed_debug

后台启动

docker run  -d   -v $(pwd)/config.yaml:/app/config.yaml     -p 4000:4000    docker.litellm.ai/berriai/litellm:main-latest     --config /app/config.yaml

虚拟密钥

如需虚拟密钥功能，需先启动数据库，再启动LiteLLM

docker run -d   --name litellm-db   -e POSTGRES_USER=litellm   -e POSTGRES_PASSWORD=litellm123   -e POSTGRES_DB=litellm   -p 5432:5432   -v litellm_data:/var/lib/postgresql/data   postgres:15-alpine

通过虚拟密钥进行请求LiteLLM，返回正常

接入OpenClaw

编辑OpenClaw配置文件
vi ~/.openclaw/openclaw.json

"models": {
  "mode": "merge",
  "providers": {
    "litellm": {
      "baseUrl": "http://localhost:4000/v1",
      "apiKey": "sk-asd2123",
      "api": "openai-completions",
      "models": [
        {
          "id": "kimi-k2-turbo", #此ID必须与LiteLLM的模型一致
          "name": "kimi-k2-turbo"
        }
      ]
    }
  }
},
"agents": {
  "defaults": {
    "model": {
      "primary": "litellm/kimi-k2-turbo"
    }
  }
},