Развёртывание#
Ultralytics Platform предлагает широкий выбор вариантов развёртывания моделей для запуска моделей YOLO в production. Тестируй модели с помощью инференса в браузере, развёртывай их на выделенных конечных точках в 42 регионах мира и отслеживай производительность в реальном времени.
Смотри: Начало работы с платформой Ultralytics — развертывание
Обзор#
Раздел «Развёртывание» позволяет:
- Тестировать модели прямо в браузере на вкладке
Predict - Развёртывать модели на выделенных конечных точках в 42 регионах мира
- Отслеживать метрики запросов, журналы, проверки работоспособности и временные предсказания на каждой выделенной конечной точке
- Выбирать ресурсы: конечные точки с ресурсами по умолчанию масштабируются до нуля; пользовательские конфигурации поддерживают постоянно готовый экземпляр с оплатой за время работы
Варианты развёртывания#
Ultralytics Platform предлагает несколько способов развёртывания:
| Параметр | Описание | Оптимальный вариант для |
|---|---|---|
| Вкладка Predict | Изображение, веб-камера, примеры; IP-камера — на собственных конечных точках | Разработка, валидация |
| Общий инференс | Мультитенантный сервис в 3 регионах обработки данных | Небольшая нагрузка, тестирование |
| Выделенные конечные точки | Сервисы для одного арендатора в 42 регионах | Production, низкая задержка |
| Экспорт | Скачивай веса в 22 форматах для локальной среды выполнения или периферийных устройств | Работа без подключения к сети, на устройстве |
Рабочий процесс#
| Этап | Описание |
|---|---|
| Тест | Проверь модель на вкладке Predict |
| Настройка | Выбери модель, регион, CPU и объём памяти; проверь стоимость и название развёртывания |
| Развёртывание | Создай выделенную конечную точку на вкладке Deploy |
| Мониторинг | Изучай метрики конечной точки и временные предсказания в разделе «Мониторинг» |
Архитектура#
Общий инференс#
Сервис общего инференса работает в 3 ключевых регионах. Запросы к модели направляются в сервис того же региона, где находится эта модель (регион обработки данных), поэтому результаты остаются в регионе хранения модели:
| Регион | Обозначение | Расположение | Оптимальный вариант для |
|---|---|---|---|
| США | Америка | Айова, США | Для пользователей из Америки; минимальная задержка для Америки |
| ЕС | Европа, Ближний Восток и Африка | Бельгия, Европа | Для пользователей из Европы; соответствие GDPR |
| АТ | Азиатско-Тихоокеанский регион | Тайвань, Азиатско-Тихоокеанский регион | Для пользователей из Азиатско-Тихоокеанского региона; минимальная задержка в регионе APAC |
Выделенные конечные точки#
Развёртывай модели в 42 регионах мира на Ultralytics Cloud:
- Америка: 14 регионов
- Европа: 13 регионов
- Азиатско-Тихоокеанский регион: 12 регионов
- Ближний Восток и Африка: 3 региона
Каждая конечная точка — это сервис для одного арендатора со следующими возможностями:
- Настраиваемые CPU и объём памяти; стоимость показывается до развёртывания
- Масштабирование до нуля для ресурсов по умолчанию; пользовательские ресурсы поддерживают постоянно готовый экземпляр с оплатой за время работы
- Уникальный URL конечной точки с собственной интерактивной справкой по API по адресу
/docs - Отдельная привязка ключа API: вызывать конечную точку можно только с этим ключом
- Независимый мониторинг, журналы и проверки работоспособности
Вкладка Deployments#
Все развёртывания перечислены на вкладке Deployments в профиле (/{username}?tab=deployments), рядом с разделами Datasets и Projects. В разделе Deployments боковой панели перечислены развёртывания; каждое ведёт на отдельную страницу развёртывания. Здесь есть кнопка + для создания развёртывания и ссылка на полную вкладку. На вкладке представлены:
- Карта мира с отметками регионов развёртывания; нажми на регион, чтобы открыть диалог
New Deployment - Карточки с обзорной информацией: активные развёртывания, HTTP-запросы (24 ч), доля HTTP-ошибок (24 ч), задержка HTTP P95 (24 ч)
- Список развёртываний с поиском, сортировкой и тремя режимами отображения: карточки, компактный вид и таблица. У каждого развёртывания есть отдельная страница с вкладками
Overview,Monitoring,PredictиLogs - Кнопка New Deployment для создания конечных точек на основе любой завершённой модели
Данные на вкладке обновляются автоматически и чаще, когда состояние развёртывания меняется (creating, deploying или stopping). Подробности смотри в разделе «Мониторинг».
Для каждой готовой выделенной конечной точки доступны графики и примеры изображений, которые хранятся только в памяти обслуживающего экземпляра. При остановке, перезапуске, повторном развёртывании, изменении размера экземпляра или замене модели эти данные могут быть удалены. Чтобы сохранить примеры, добавь их в набор данных и дождись завершения загрузки. Подробнее смотри в разделе «Мониторинг».
Основные особенности#
Глобальное покрытие#
Развёртывай модели ближе к пользователям в 42 регионах:
- Северная и Южная Америка
- Европа, Ближний Восток, Африка
- Азиатско-Тихоокеанский регион, Океания
Масштабирование#
Сейчас конечные точки работают следующим образом:
- Ресурсы по умолчанию: неактивные конечные точки масштабируются до нуля и запускаются с нуля при следующем запросе
- Пользовательские ресурсы: один экземпляр остаётся готовым к работе, а плата за время работы начисляется, пока его не остановят
- Один активный экземпляр: сейчас на всех тарифах каждая конечная точка обслуживает запросы с одного экземпляра
- Сброс нагрузки: если конечная точка временно достигла предельной нагрузки, запросы получают ответы
429— см. раздел «Прямые запросы к конечной точке» - Тайм-аут запроса: прямые запросы к конечной точке могут выполняться не более 1 часа; список поддерживаемых входных данных см. в разделе «Инференс»
Региональное развёртывание#
Используй измеренные задержки в регионах, чтобы разместить конечную точку ближе к её клиентам. Фактическая задержка инференса зависит от модели, размера входных данных, состояния конечной точки и сетевого маршрута.
Проверки работоспособности#
Каждое запущенное развёртывание автоматически проходит проверку работоспособности, которая включает:
- Индикатор текущего статуса (работает/не работает)
- Отображение задержки ответа
- Автоматический повторный запрос при сбое до восстановления работоспособности
- Кнопка ручного повторного запроса
Быстрый старт#
Создай развёртывание:
- Обучи модель или загрузи её в проект
- Перейди на вкладку Deploy модели
- Нажми Deploy для региона в таблице задержек
- Проверь CPU, память, стоимость и имя в диалоговом окне развертывания
- Нажми Create Deployment и дождись, пока статус развертывания не станет Ready
Model → Deploy tab → Deploy in a region → Review configuration → Create DeploymentИмя развертывания формируется из имени модели и города региона; его можно изменить до развертывания. После развертывания используй URL конечной точки и свой API-ключ, чтобы отправлять запросы на инференс из любого приложения.
Полезные ссылки#
- Инференс: тестируй модели в браузере
- Конечные точки: развертывай выделенные конечные точки
- Мониторинг: отслеживай производительность развернутых моделей
Часто задаваемые вопросы#
Пока запускается сервис, развертывание находится в состоянии создания или развертывания. Оно становится доступным, когда статус меняется на Ready; время зависит от модели и региона и обычно составляет несколько минут.
Да, для каждой модели можно создать несколько конечных точек в разных регионах. Количество развертываний ограничено планом: Free
3, Pro10, Enterpriseunlimited. Квота списывается с рабочего пространства, которому принадлежит модель, а конечная точка обслуживает ровно одну модель одновременно — используй замену модели, чтобы заменить её, не меняя URL.Конечные точки с ресурсами по умолчанию при простое масштабируются до нуля:
- Конечная точка уменьшает масштаб после периода бездействия
- Первый запрос запускает холодный старт
- Последующие запросы выполняются быстро
Первые запросы после простоя запускают холодный старт. При открытии страницы развертывания выполняется проверка работоспособности, которая прогревает конечную точку, поэтому тестовый прогноз после этого выполняется быстро.
Конечные точки с пользовательскими ресурсами остаются прогретыми, а плата взимается за время работы, включая простой. Останови конечную точку, чтобы прекратить начисление платы за время работы.