Использование малых моделей

AnyLLM CLI поддерживает два типа моделей, которые можно настроить в anyllm.json. Это обеспечивает большую гибкость в выборе правильного инструмента для вашей задачи.

Типы моделей

  1. Большие модели (по умолчанию): Это мощные модели общего назначения, которые поддерживают "Function Calling" или "Tools". Они могут понимать сложные инструкции и взаимодействовать с файловой системой через структурированный API. Это режим по умолчанию.

  2. Малые модели (type: "small"): Это более легкие модели, которые могут не поддерживать вызов функций. Вместо этого они работают, генерируя специальные текстовые команды для редактирования кода. Этот подход вдохновлен инструментом Aider и позволяет anyllm-cli работать с более широким спектром open-source моделей.

Конфигурация

Чтобы использовать малую модель, добавьте параметр "type": "small" в ее конфигурацию в вашем файле anyllm.json:

{
  "provider": {
    "ollama_local": {
      "name": "Ollama (Локальный)",
      "type": "openai_compatible",
      "options": {
        "baseURL": "http://localhost:11434/v1/",
        "headers": {
          "Authorization": "Bearer ollama"
        }
      },
      "models": {
        "phi3": {
          "name": "phi3:mini",
          "type": "small"
        },
        "deepseek": {
            "name": "deepseek-coder"
        }
      }
    }
  }
}

В этом примере phi3 настроена как малая модель, в то время как deepseek будет использоваться как большая модель по умолчанию.

Важные замечания по малым моделям

Используйте с осторожностью Малые модели предлагают гибкость, но имеют свои компромиссы.

  • Они не гарантируют высокое качество кода или идеальное понимание инструкций.
  • Для достижения желаемого результата может потребоваться несколько попыток или уточнений промпта. Будьте терпеливы и точны в своих запросах.
  • В отличие от больших LLM, малые модели часто узкоспециализированы. Модель, обученная для написания кода, может плохо справляться с общими разговорами, и наоборот.

Крайне важно выбирать специализированную модель, соответствующую вашей задаче.

Рекомендуемые модели

Вот несколько примеров специализированных моделей, которые хорошо зарекомендовали себя в определенных областях:

Редактировать эту страницу на GitHub