Подключение своих провайдеров

Выбирайте провайдера в зависимости от ваших нужд. SingularityApp поддерживает несколько AI-провайдеров, каждый из которых имеет свои преимущества:

• Singularity — основной провайдер SingularityApp, используется по умолчанию. Работает на базе OpenAI. Запросы передаются через сервер SingularityApp. Доступен в веб-версии и десктоп-приложении (Windows x64, macOS, Linux);

  Важно! Вы можете управлять доступностью моделей «Singularity», включая и выключая их в настройках. Если вы отключите модель, то не сможете выбрать её в чате. В режиме Auto система автоматически выбирает различные модели в зависимости от типа выполняемой задачи для оптимального результата. Список моделей, которыми оперирует режим Auto определяется провайдером SingularityApp и не регулируется в настройках. Если вы хотите использовать всегда только одну конкретную модель, вам необходимо выбирать её в чате перед отправкой сообщения.

• OpenAI — провайдер с моделями GPT-4, GPT-4o и другими. Требует платных API ключей. Функционал может быть ограничен в зависимости от вашего региона. Доступен в веб-версии и десктоп-приложении;

• Anthropic — провайдер с моделями Claude 3, Claude 3.5 и другими. Требует платного API ключа. Функционал может быть ограничен в зависимости от вашего региона. Доступен в веб-версии и десктоп-приложении;

• GigaChat — провайдер от Сбера. Требует платного API ключа. Доступен только в десктоп-приложении в соответствии с особенностями политики безопасности сервиса;

• YandexGPT — провайдер от Яндекса. Требует платного API ключа. Доступен только в десктоп-приложении в соответствии с особенностями политики безопасности сервиса;

• Ollama — для использования локальных моделей (LLama, Mistral, Phi). Доступен в веб-версии и десктоп-приложении.

Важно! Доступ к некоторым провайдерам регулируется региональными ограничениями. Если у вас возникают проблемы с подключением, убедитесь, что ваше сетевое соединение соответствует требованиям региона провайдера. Подключение по API-ключу будет доступно при тех же условиях, что и при использовании сервиса этого провайдера из браузера.

При выборе провайдера и модели важно понимать их возможности и ограничения, так как разные модели предназначены для разных типов задач. Внимательно изучите характеристики модели в официальных источниках провайдера. Обратите внимание на ключевые характеристики:

• Context Window — максимальный размер контекста, который может обработать модель (измеряется в токенах). Большой контекст позволяет работать с более длинными текстами.
• Reasoning — поддержка расширенных рассуждений. Важна для сложного анализа и логических задач.
• Tool Calling — возможность модели вызывать функции и инструменты для расширения её возможностей.

Подключение провайдера — это несложный процесс, но требует подготовки нескольких важных элементов. Каждый провайдер требует определенные данные для авторизации и настройки подключения. Для подключения внешнего провайдера вам потребуется подготовить:

1. API ключ — ключ доступа к API провайдера. Получите его в личном кабинете вашего провайдера.
2. Base URL — адрес API провайдера. Для большинства провайдеров он предзаполнен по умолчанию в соответствующем поле подключения в SingularityApp.

OpenAI

1. Перейдите на openai.com/index/openai-api/ и авторизуйтесь.
2. В правом верхнем углу выберите «Start building».
3. Создайте организацию и укажите её название.
4. Пропустите добавление других пользователей (или пригласите при необходимости).
5. Укажите имя и создайте API ключ.
6. Скопируйте полученный API ключ и сохраните его.
7. При необходимости пропустите или пополните баланс сразу же.
8. Перейдите в приложение SingularityApp (настройки → AI-ассистент → Собственные модели → OpenAI).
9. Введите полученный API ключ в поле «АРІ Кеу» и сохраните.

Anthropic (Claude)

1. Перейдите на platform.claude.com/dashboard и авторизуйтесь.
2. Выберите «Get API Key».
3. Нажмите «Create Key».
4. Выберите workspace (если нужен другой) и укажите название ключа.
5. Скопируйте полученный API ключ и сохраните его.
6. Перейдите в SingularityApp (настройки → AI-ассистент → Собственные модели → Anthropic).
7. Введите полученный API ключ в поле «АРІ Кеу» и сохраните.

GigaChat

1. Перейдите на developers.sber.ru/studio/login и авторизируйтесь.
2. Выберите «GigaChat API» и создайте проект.
3. Укажите название проекта.
4. Выберите опцию «Настроить API».
5. Нажмите «Получить ключ» и скопируйте полученный ключ.
6. Перейдите в приложение SingularityApp (именно приложение, а не веб-версию). Откройте настройки → AI-ассистент → Собственные модели → GigaChat.
7. Введите полученный API ключ в поле «АРІ Кеу» и сохраните.

YandexGPT

1. Перейдите на https://console.yandex.cloud/ и авторизуйтесь.
2. Создайте платежный аккаунт и пополните баланс нужной суммой денег (это обязательно).
3. Найдите «Identity and Access Management» (или используйте поиск слева вверху).
4. Создайте новый сервисный аккаунт, укажите название (например, «sing-chat-ai») и выберите роль «ai.languageModels.user».
5. Откройте созданный сервисный аккаунт. В правом верхнем углу нажмите «Создать новый ключ» и выберите «Создать АРІ-ключ». При выборе области действия достаточно выбрать ai.foundationModels и ai.languageModels, однако вы можете выбрать и все доступные опции.
6. Скопируйте полученный API ключ.
7. Перейдите в приложение SingularityApp (именно приложение, а не веб-версию). Откройте настройки → AI-ассистент → Собственные модели → YandexGPT.
8. Введите полученный API ключ в поле «АРІ Кеу» и сохраните.

Ollama

Ollama работает как с локальными моделями, так и с ollama-cloud. Инструкция подключения одинаковая для обоих вариантов.

1. Перейдите на https://ollama.com/ и скачайте приложение Ollama.
2. Установите Ollama на свой компьютер.
3. Запустите Ollama либо через интерфейс (через ярлык приложения), либо в терминале введите команду ollama serve.
4. Скачайте интересующую вас модель на сайте https://ollama.com/library. Выберите нужную модель из доступного каталога.
5. Чтобы добавить модель к себе, введите в терминале команду ollama run ИМЯ_МОДЕЛИ (например, ollama run llama2).
6. Перейдите в приложение SingularityApp (настройки → AI-ассистент → Собственные модели → Ollama).
7. Введите полученный URL в поле «Base Url» (если Ollama параллельно запущена (через ollama serve или через приложение), просто нажмите кнопку сохранить).

1. После успешного подключения провайдера, все модели, который провайдер предоставляет для вашего API-ключа, автоматически появятся в списке моделей в разделе Настройки → AI. В список попадают все модели, которые провайдер предоставил по вашему API ключу. Это могут быть модели разных типов — как для работы с текстами, так и для работы с другими типами контента.

2. Включите тумблер в положение активного для моделей провайдера, которые хотите использовать в дальнейшем в чате с ассистентом. После активации модели появятся в списке доступных моделей чате.

   Важно! AI-ассистент предназначен для работы с текстовыми моделями. Если вы включите для обработки запросов модель, которая не предназначена для работы с текстом, запрос не будет корректно обработан.

3. Теперь вы можете выбирать модели провайдера в чате, активированные в настройках модели будут доступны под соответствующим заголовком провайдера в списке моделей при выборе.

• 401 — Не удалось получить список моделей. Неверный, отсутствующий или истёкший API-ключ. Проверьте, что API-ключ актуален и не просрочен. Такая же ошибка может возникнуть, если в вашем регионе действует ограничение на доступ к провайдеру, проверьте свои настройки региональности.
• 403 — Доступ запрещён. У API-ключа нет прав на получение моделей или API-эндпоинт. Проверьте, что у ключа правильно задан скоуп прав на доступ к AI моделям, а на аккаунте есть денежные средства.
• 400 — Неверный запрос. Некорректные параметры. Проверьте настройки API-ключа модели.
• 404 — Не найдено. API-эндпоинт не существует. Проверьте base URL.
• 422 — Невозможно обработать запрос. Превышены лимиты модели или неверная структура данных.
• 429 — Слишком много запросов. Превышен лимит запросов. Уменьшите частоту или обновите тариф.
• 500 — Внутренняя ошибка сервера. Ошибка на стороне провайдера. Повторите позже.
• 503 — Сервис недоступен. Провайдер временно недоступен или перегружен. Повторите запрос позже.
• Timeout — Время ожидания истекло. Сервер провайдера не отвечает. Проверьте сеть или статус сервиса.
• Ошибка соединения — Не удаётся подключиться к API. Проверьте base URL и сетевое подключение.
• SSL/TLS ошибка — Не удалось установить защищённое соединение. Проверьте сертификат и HTTPS.

Если при подключении Ollama вы получаете ошибку 403, необходимо установить переменную окружения OLLAMA_ORIGINS="*".

Linux

Временно (только на текущую сессию терминала):

1. Откройте терминал.
2. Введите: export OLLAMA_ORIGINS="*".
3. Запустите ollama serve.

Постоянно (переменная будет устанавливаться автоматически):

• Для bash:
  1. Откройте терминал.
  2. Введите: echo ’export OLLAMA_ORIGINS="*"’ >> ~/.bashrc.
  3. Введите: source ~/.bashrc.
  4. Запустите ollama serve.
• Для zsh:
  1. Откройте терминал.
  2. Введите: echo ’export OLLAMA_ORIGINS="*"’ >> ~/.zshrc.
  3. Введите: source ~/.zshrc.
  4. Запустите: ollama serve.

macOS

Временно (только на текущую сессию терминала):

1. Откройте терминал.
2. Введите: export OLLAMA_ORIGINS="*".
3. Запустите ollama serve.

Постоянно (по умолчанию macOS использует zsh):

1. Откройте терминал.
2. Введите: echo ’export OLLAMA_ORIGINS="*"’ >> ~/.zshrc.
3. Введите: source ~/.zshrc.
4. Запустите: ollama serve.

Windows (PowerShell)

Временно (только на текущий PowerShell):

1. Откройте PowerShell.
2. Введите: $env:OLLAMA_ORIGINS="*«.
3. Запустите: ollama serve.

Постоянно (сохранение в переменные окружения пользователя):

1. Откройте PowerShell.
2. Введите: setx OLLAMA_ORIGINS «*».
3. Закройте PowerShell.
4. Запустите: ollama serve.