使用小型模型

AnyLLM CLI 支持两种类型的模型，可以在 anyllm.json 中进行配置。这使得您可以更灵活地为您的任务选择合适的工具。

模型类型

  1. 大型模型 (默认): 这些是功能强大的通用模型，支持“函数调用”或“工具”功能。它们能够理解复杂的指令，并通过结构化的 API 与文件系统进行交互。这是默认模式。

  2. 小型模型 (type: "small"): 这些是可能不支持函数调用的轻量级模型。它们通过生成特定的基于文本的命令来编辑代码。这种方法的灵感来源于 Aider 工具，并允许 anyllm-cli 与更广泛的开源模型配合使用。

配置

要使用小型模型，请在您的 anyllm.json 文件中为其配置添加 "type": "small" 参数：

{
  "provider": {
    "ollama_local": {
      "name": "Ollama (本地)",
      "type": "openai_compatible",
      "options": {
        "baseURL": "http://localhost:11434/v1/",
        "headers": {
          "Authorization": "Bearer ollama"
        }
      },
      "models": {
        "phi3": {
          "name": "phi3:mini",
          "type": "small"
        },
        "deepseek": {
            "name": "deepseek-coder"
        }
      }
    }
  }
}

在此示例中，phi3 被配置为小型模型，而 deepseek 将默认用作大型模型。

使用小型模型的重要注意事项

[!WARNING] 请谨慎使用 小型模型提供了灵活性，但也伴随着一些权衡。

  • 它们不保证高质量的代码或对指令的完美理解。
  • 可能需要多次尝试或优化提示才能达到预期效果。请在请求中保持耐心和精确。
  • 与大型通用 LLM 不同，小型模型通常是高度专业化的。一个为编码训练的模型可能不擅长一般性对话，反之亦然。

选择适合您任务的专业化模型至关重要。

推荐模型

以下是一些在特定领域表现出色的专业化模型示例：

在 GitHub 上编辑此页面