Развёртывание#

Ultralytics Platform предоставляет комплексные варианты развёртывания моделей для запуска твоих моделей YOLO в продакшене. Тестируй модели с помощью инференса в браузере, развёртывай их на выделенных конечных точках в 42 регионах по всему миру и отслеживай производительность в реальном времени.

Обзор#

Раздел развёртывания помогает тебе:

• Тестировать модели напрямую в браузере на вкладке Predict
• Развёртывать модели на выделенных конечных точках в 42 регионах по всему миру
• Отслеживай метрики запросов, логи, проверки работоспособности и временные предсказания на платных эндпоинтах
• Выбирай ресурсы: эндпоинты по умолчанию масштабируются до нуля; пользовательские размеры сохраняют разогретый экземпляр с тарификацией за время работы

Варианты развёртывания#

Ultralytics Platform предлагает несколько способов развёртывания:

Рабочий процесс#

graph LR
    A[✅ Test]:::start --> B[⚙️ Configure]:::proc
    B --> C[🌐 Deploy]:::proc
    C --> D[📊 Monitor]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

Архитектура#

Общий инференс#

Сервис общего инференса работает в 3 ключевых регионах. Запросы к модели направляются в сервис в регионе хранения данных этой модели, поэтому результаты остаются внутри региона, где хранится модель:

graph TB
    User[User Request]:::start --> API[Platform API]:::proc
    API --> Router{Model Data Region}:::decide
    Router -->|US models| US["US Predict Service<br/>Iowa"]:::out
    Router -->|EU models| EU["EU Predict Service<br/>Belgium"]:::out
    Router -->|AP models| AP["AP Predict Service<br/>Taiwan"]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Выделенные конечные точки#

Развёртывай модели в 42 регионах по всему миру через Ultralytics Cloud:

• Северная и Южная Америка: 14 регионов
• Европа: 13 регионов
• Азиатско-Тихоокеанский регион: 12 регионов
• Ближний Восток и Африка: 3 региона

Каждая конечная точка представляет собой однотенантный сервис со следующими характеристиками:

• Настраиваемые CPU и память с ценами, отображаемыми перед деплоем
• Масштабирование до нуля для ресурсов по умолчанию; разогретый экземпляр с оплатой за время работы для пользовательских ресурсов
• Уникальный URL конечной точки с собственной интерактивной справкой по API в /docs
• Собственная привязка ключа API, поэтому вызвать конечную точку может только этот ключ
• Независимый мониторинг, журналы и проверки работоспособности

Страница развёртываний#

Открой глобальную страницу развёртываний через боковую панель в разделе Deploy. На этой странице отображаются:

• Карта мира с метками развёрнутых регионов; нажми на регион, чтобы открыть диалоговое окно New Deployment
• Карточки обзора: HTTP-запросы (24 ч), активные деплои, частота ошибок HTTP (24 ч), P95 задержка HTTP (24 ч)
• Список развёртываний с тремя режимами просмотра: карточки, компактный и таблица
• Кнопка New Deployment для создания конечных точек из любой завершённой модели
• Кнопка Refresh и отметка времени Updated в заголовке страницы

Ключевые особенности#

Глобальное покрытие#

Развёртывай модели ближе к своим пользователям в 42 регионах, охватывающих:

• Северную Америку, Южную Америку
• Европу, Ближний Восток, Африку
• Азиатско-Тихоокеанский регион, Океанию

Поведение при масштабировании#

Сейчас конечные точки работают следующим образом:

• Ресурсы по умолчанию: неактивные эндпоинты масштабируются до нуля и выполняют холодный старт при следующем запросе
• Пользовательские ресурсы: один экземпляр остается разогретым и накапливает плату за время работы до остановки
• Один активный экземпляр: сейчас каждая конечная точка обслуживает запросы одним экземпляром на всех тарифах
• Сброс нагрузки: запросы получают ответы 429, когда конечная точка временно достигла предельной нагрузки — см. раздел Прямые запросы к конечным точкам
• Тайм-аут запроса: прямые запросы к эндпоинту имеют максимальную длительность 1 час; см. Инференс для поддерживаемых входных данных

Региональное развёртывание#

Используй измеренную задержку в регионах, чтобы разместить конечную точку рядом с вызывающими её клиентами. Фактическая задержка инференса зависит от модели, размера входных данных, состояния конечной точки и сетевого маршрута.

Проверки работоспособности#

Каждое работающее развёртывание включает автоматическую проверку работоспособности со следующими возможностями:

• Индикатор текущего состояния (работоспособна/неработоспособна)
• Отображение задержки ответа
• Автоматический повтор при неработоспособности с остановкой после восстановления работоспособности
• Кнопка ручного обновления

Быстрый старт#

Создание развёртывания:

1. Обучи или загрузи модель в проект
2. Перейди на вкладку Deploy модели
3. Нажми Развернуть для региона в таблице задержек
4. Проверь CPU, память, цены и название в диалоговом окне деплоя
5. Нажми Создать деплой и дождись, пока статус деплоя станет Готов

Model → Deploy tab → Deploy in a region → Review configuration → Create Deployment

Быстрые ссылки#

• Инференс: тестируй модели в браузере
• Конечные точки: развёртывай выделенные конечные точки
• Мониторинг: отслеживай производительность развёртывания

Часто задаваемые вопросы#