提供商配置指南

anyllm.json 文件是您的 AnyLLM 应用程序的核心。您可以在此配置与所有大语言模型 (LLM) 的连接，无论是本地模型还是云服务。本指南将帮助您理解每个参数并轻松连接任何提供商。

`anyllm.json` 的结构解析

让我们通过一个例子来分解其结构。假设这是您的配置：

{
  "provider": {
    "openrouter": {
      "name": "OpenRouter",
      "type": "openai_compatible",
      "options": {
        "baseURL": "https://openrouter.ai/api/v1/chat/completions",
        "header": {
          "Authorization": "Bearer 您的OpenRouter密钥"
        }
      },
      "models": {
        "Gemini-Flash": {
          "name": "google/gemini-flash-1.5"
        },
        "Phi-3-Mini": {
          "name": "microsoft/phi-3-mini-128k-instruct"
        }
      }
    },
    "ollama": {
      "name": "Ollama (本地)",
      "type": "openai_compatible",
      "options": {
        "baseURL": "http://localhost:11434/v1"
      },
      "models": {
        "本地-Phi-3": {
          "name": "hf.co/microsoft/Phi-3-mini-4k-instruct-gguf:latest"
        }
      }
    }
  }
}

提供商密钥 (`"openrouter"`, `"ollama"`)

这是一个由您自己创建的唯一标识符。程序内部使用它来区分不同的提供商。建议使用简短明了的名称，例如 google、groq、my_local_llms。

`name` (提供商名称)

它是什么？ 一个用户友好的名称，将显示在应用程序的界面中。
示例： "name": "Ollama (本地)"
为什么需要它？ 方便您轻松识别所选的提供商。

`type` (API 类型)

它是什么？ AnyLLM 与提供商通信时使用的协议类型。
openai_compatible：适用于与 OpenAI API 兼容的模型（例如 OpenRouter 或任何其他聚合器）。他们通常会声明自己与 OpenAI 兼容。
google：仅在您使用直接连接到 Gemini API 时指定。Google 与 OpenAI API 不兼容，并使用不同的连接类型。

`options` (连接选项)

此对象包含连接的技术细节。

baseURL：API 服务的基础 URL。这是您需要在提供商文档中找到的最重要的地址。
header：用于传递 HTTP 标头的对象，最常用于授权。
- Content-Type：通常总是 "application/json"。
- Authorization：您在此处指定您的秘密 API 密钥。Bearer 您的密钥 的格式最为常见。切勿分享此密钥或将其公开发布！
- 您可以指定需要在标头中传递的任何参数。我们仅提供一个基本示例。

`models` (模型)

您在此处列出要从此提供商使用的模型。

模型密钥 ("Gemini-Flash", "本地-Phi-3")：这是您为模型创建的别名或简称。它将显示在界面的模型选择列表中。请使其便于您使用。
name (提供商处的模型名称)：这是提供商 API 所需的官方且完整的模型名称。必须从提供商网站的文档或模型列表中精确复制。AnyLLM 在发送请求时将使用此名称。

实际连接示例

1. Ollama (在本地运行模型)

Ollama 是在您自己的计算机上运行 LLM 的绝佳方式。

从其官网安装 Ollama 并运行任何模型（例如，ollama run hf.co/microsoft/Phi-3-mini-4k-instruct-gguf:latest）。
Ollama 会自动创建一个与 OpenAI 兼容的 API 服务器。

anyllm.json 配置：

"ollama": {
  "name": "Ollama (本地)",
  "type": "openai_compatible",
  "options": {
    "baseURL": "http://localhost:11434/v1"
  },
  "models": {
    "本地 Phi-3": {
      "name": "hf.co/microsoft/Phi-3-mini-4k-instruct-gguf:latest"
    },
    "DeepSeek-R1-0528-Qwen3-8B": {
      "name": "hf.co/unsloth/DeepSeek-R1-0528-Qwen3-8B-GGUF:Q4_K_M"
    }
  }
}

baseURL：对于 Ollama，这几乎总是 http://localhost:11434/v1。
授权：不需要，因为服务在本地运行。
模型名称 (hf.co/...)：这些是您在 ollama run 命令中使用的官方模型名称。您可以使用 ollama list 命令查看所有已安装的模型。

2. OpenRouter (使用一个密钥访问数十个模型)

OpenRouter 是一个聚合器服务，通过单一 API 提供对 Google、Anthropic、Mistral、Microsoft 等模型的访问。

注册：在 openrouter.ai 上注册。
API 密钥：从设置页面复制您的 API 密钥。
查找模型：访问模型页面查看可用模型列表。

anyllm.json 配置：

"openrouter": {
  "name": "OpenRouter",
  "type": "openai_compatible",
  "options": {
    "baseURL": "https://openrouter.ai/api/v1/chat/completions",
    "header": {
      "Authorization": "Bearer sk-or-v1-您的长密钥"
    }
  },
  "models": {
    "Google Gemini Flash": {
      "name": "google/gemini-flash-1.5"
    },
    "Claude 3.5 Sonnet": {
      "name": "anthropic/claude-3.5-sonnet"
    },
    "Phi-3 Mini Instruct": {
      "name": "microsoft/phi-3-mini-128k-instruct"
    }
  }
}

baseURL：https://openrouter.ai/api/v1/chat/completions。您可以在文档中找到此信息，例如用于 shell 或 curl 请求。这可以在任何聚合器的文档中看到；它们都会指定用于访问其服务的端点。
Authorization：在 Bearer 后插入您的密钥。
模型名称：直接从 OpenRouter 网站复制模型标识符（例如，google/gemini-flash-1.5）。这正是您需要放在 name 字段中的内容。

3. Google Gemini (及其他直接 API)

许多服务，如 Google，都有自己的 API，这些 API 不总是 与 OpenAI 兼容。

那么如何使用 Google 模型呢？

最好的方法是通过提供 openai_compatible 接口的代理服务。上述示例中的 OpenRouter 是一个理想的选择。

如果您正在使用其他提供 Gemini 模型访问的服务，原理是相同的：

从该服务获取 baseURL 和 API 密钥。
向他们查询应使用的模型标识符。

一个假设的提供商 anyllm-best-api.tech 的示例：

"anyllm-best-api": {
  "name": "AnyLLMBestAPI",
  "type": "openai_compatible",
  "options": {
    "baseURL": "https://anyllm-best-api.host/api/v1/chat/completions",
    "header": {
      "Content-Type": "application/json",
      "Authorization": "Bearer 您的API密钥"
    }
  },
  "models": {
    "Gemini 2.5 Flash": {
      "name": "gemini-2.5-flash"
    }
  }
}

在这里，gemini-2.5-flash 是 anyllm-best-api.tech 服务期望的名称，而不是 Google 本身。请务必查阅您正在使用的 baseURL 所属服务的文档！

在 GitHub 上编辑此页面

提供商配置指南

anyllm.json 的结构解析

提供商密钥 ("openrouter", "ollama")

name (提供商名称)

type (API 类型)

options (连接选项)

models (模型)