Развёртывание#

Ultralytics Platform предоставляет комплексные варианты развёртывания моделей для запуска твоих моделей YOLO в продакшене. Тестируй модели с помощью инференса в браузере, развёртывай их на выделенных конечных точках в 42 регионах по всему миру и отслеживай производительность в реальном времени.

Обзор#

Раздел развёртывания помогает тебе:

• Тестировать модели напрямую в браузере на вкладке Predict
• Развёртывать модели на выделенных конечных точках в 42 регионах по всему миру
• Отслеживать метрики запросов, журналы и проверки работоспособности
• Масштабировать до нуля при простое (сейчас развёртывания работают с одним активным экземпляром)

Варианты развёртывания#

Ultralytics Platform предлагает несколько способов развёртывания:

Рабочий процесс#

graph LR
    A[✅ Test]:::start --> B[⚙️ Configure]:::proc
    B --> C[🌐 Deploy]:::proc
    C --> D[📊 Monitor]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

Архитектура#

Общий инференс#

Сервис общего инференса работает в 3 ключевых регионах. Запросы к модели направляются в сервис в регионе хранения данных этой модели, поэтому результаты остаются внутри региона, где хранится модель:

graph TB
    User[User Request]:::start --> API[Platform API]:::proc
    API --> Router{Model Data Region}:::decide
    Router -->|US models| US["US Predict Service<br/>Iowa"]:::out
    Router -->|EU models| EU["EU Predict Service<br/>Belgium"]:::out
    Router -->|AP models| AP["AP Predict Service<br/>Taiwan"]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Выделенные конечные точки#

Развёртывай модели в 42 регионах по всему миру через Ultralytics Cloud:

• Северная и Южная Америка: 14 регионов
• Европа: 13 регионов
• Азиатско-Тихоокеанский регион: 12 регионов
• Ближний Восток и Африка: 3 региона

Каждая конечная точка представляет собой однотенантный сервис со следующими характеристиками:

• Размер ресурсов управляется Platform (сейчас не настраивается)
• Масштабирование до нуля при простое
• Уникальный URL конечной точки с собственной интерактивной справкой по API в /docs
• Собственная привязка ключа API, поэтому вызвать конечную точку может только этот ключ
• Независимый мониторинг, журналы и проверки работоспособности

Страница развёртываний#

Открой глобальную страницу развёртываний через боковую панель в разделе Deploy. На этой странице отображаются:

• Карта мира с метками развёрнутых регионов; нажми на регион, чтобы открыть диалоговое окно New Deployment
• Обзорные карточки: всего запросов (24 ч), активные развёртывания, частота ошибок (24 ч), задержка P95 (24 ч)
• Список развёртываний с тремя режимами просмотра: карточки, компактный и таблица
• Кнопка New Deployment для создания конечных точек из любой завершённой модели
• Кнопка Refresh и отметка времени Updated в заголовке страницы

Ключевые особенности#

Глобальное покрытие#

Развёртывай модели ближе к своим пользователям в 42 регионах, охватывающих:

• Северную Америку, Южную Америку
• Европу, Ближний Восток, Африку
• Азиатско-Тихоокеанский регион, Океанию

Поведение при масштабировании#

Сейчас конечные точки работают следующим образом:

• Масштабирование до нуля: простаивающие конечные точки уменьшаются до нуля и запускаются с нуля при следующем запросе
• Один активный экземпляр: сейчас каждая конечная точка обслуживает запросы одним экземпляром на всех тарифах
• Сброс нагрузки: запросы получают ответы 429, когда конечная точка временно достигла предельной нагрузки — см. раздел Прямые запросы к конечным точкам
• Тайм-аут запроса: каждый запрос может выполняться до 1 часа, чего достаточно для видеоинференса

Региональное развёртывание#

Используй измеренную задержку в регионах, чтобы разместить конечную точку рядом с вызывающими её клиентами. Фактическая задержка инференса зависит от модели, размера входных данных, состояния конечной точки и сетевого маршрута.

Проверки работоспособности#

Каждое работающее развёртывание включает автоматическую проверку работоспособности со следующими возможностями:

• Индикатор текущего состояния (работоспособна/неработоспособна)
• Отображение задержки ответа
• Автоматический повтор при неработоспособности с остановкой после восстановления работоспособности
• Кнопка ручного обновления

Быстрый старт#

Создание развёртывания:

1. Обучи или загрузи модель в проект
2. Перейди на вкладку Deploy модели
3. Выбери регион в таблице задержки
4. Нажми Deploy и дождись, пока статус развёртывания не сменится на Ready

Model → Deploy tab → Select region → Click Deploy → Endpoint URL ready

Быстрые ссылки#

• Инференс: тестируй модели в браузере
• Конечные точки: развёртывай выделенные конечные точки
• Мониторинг: отслеживай производительность развёртывания

Часто задаваемые вопросы#