Выделенные конечные точки#

Платформа Ultralytics позволяет развертывать модели YOLO на выделенных конечных точках в 42 регионах мира. Каждая конечная точка — это сервис для одного клиента с уникальным URL и независимым мониторингом. Ресурсы конфигурации по умолчанию сокращаются до нуля в периоды простоя; пользовательские конфигурации поддерживают экземпляр в готовом состоянии и тарифицируются за время работы.

Создание конечной точки#

На вкладке Deploy#

Разверни модель на её вкладке Deploy:

1. Перейди к своей модели
2. Нажми вкладку Deploy
3. Изучи карту мира и таблицу регионов, отсортированную по измеренной задержке от твоего местоположения
4. Нажми Deploy в строке нужного региона
5. В диалоговом окне проверь CPU, объём памяти, стоимость и название развертывания, затем нажми Create Deployment

Предлагаемое название объединяет название модели и город региона (например, yolo26n-iowa); его можно изменить перед развертыванием. У модели должны быть веса, иначе вместо таблицы регионов на вкладке отобразится пустое состояние.

На вкладке Deployments#

Создай развертывание на вкладке Deployments в своём профиле или на боковой панели:

1. Нажми New Deployment на вкладке Deployments или + рядом с пунктом Deployments на боковой панели
2. Выбери модель в списке моделей — там отображаются завершённые модели
3. Выбери регион на мини-карте или в таблице задержки
4. Выбери CPU и объём памяти, проверь стоимость и при необходимости измени предлагаемое название развертывания
5. Нажми Create Deployment

Жизненный цикл развертывания#

Подключи уведомления Slack, чтобы получать сообщения о готовности развертывания или сбое запуска.

Выбор региона#

Выбирай из 42 регионов по всему миру. На интерактивной карте и в таблице регионов отображаются:

• Метки регионов: цвет зависит от задержки и меняется от зелёного к красному (чем быстрее регион, тем зеленее метка; чем медленнее, тем краснее)
• Развернутые регионы: отмечены в таблице значком «Развернуто»
• Развертываемые регионы: на метке и в строке таблицы отображается анимированный пульсирующий индикатор
• Двусторонняя подсветка: при наведении на регион на карте подсвечивается строка таблицы, и наоборот

В таблице регионов на вкладке модели Deploy указаны:

В таблице можно искать по городу, стране и зоне; по умолчанию она отсортирована по задержке.

Доступные регионы#

Настройка эндпоинта#

Диалоговое окно нового развертывания#

В диалоговом окне New Deployment можно выбрать модель, регион, ресурсы и имя развертывания:

Выбери объем CPU и памяти в настройках ресурсов и проверь отображаемую стоимость перед созданием развертывания. Доступные варианты CPU: 1, 2, 4, 6 или 8 vCPU; объем памяти — от 2 до 32 GiB. Для большего объема памяти требуется больше vCPU (например, для 16 GiB нужно не менее 4 vCPU), а в диалоговом окне объясняется, почему некоторые сочетания недопустимы. Размер по умолчанию (1 vCPU, 2 GiB) бесплатный, а в периоды бездействия ресурсы масштабируются до нуля. При выборе пользовательского размера один экземпляр остается активным, а плата начисляется по отображаемому почасовому тарифу для региона с момента готовности до остановки эндпоинта, включая время бездействия. Для создания, запуска или изменения размера на пользовательский нужны доступные кредиты; эндпоинты с пользовательским размером автоматически останавливаются, когда в рабочей области заканчиваются кредиты. Агенты используют это же диалоговое окно, когда ты выбираешь Новое развертывание….

Вкладка Deploy (быстрое развертывание)#

Если начать развертывание на вкладке Deploy модели, откроется то же диалоговое окно с заранее выбранными моделью и регионом. Перед созданием эндпоинта проверь объем ресурсов, стоимость и автоматически созданное имя. Пока идет создание, развертывание отображается в списке развертываний модели под таблицей регионов.

Управление эндпоинтами#

Режимы просмотра#

В списке развертываний доступны три режима отображения:

Страница развертывания#

У каждого развертывания есть собственная страница по адресу /{username}/deploy/{deployment}, на которой отображаются:

• Заголовок: флаг региона, отображаемое имя (нажми на него, чтобы переименовать; URL страницы и путь API изменятся в соответствии с новым именем, а URL эндпоинта останется прежним), значок статуса, местоположение, объем CPU и памяти
• Действия: Обновить конфигурацию, Заменить модель и Остановить развертывание, если статус — Готово; Запустить развертывание, если статус — Остановлено; меню Другие действия (…) с пунктами Информация, Обновить и Удалить развертывание
• Метрики: число HTTP-запросов, доля ошибок HTTP и задержка HTTP P95 за 24 часа с мини-графиками, а также карточка со ссылкой на развернутую модель
• Вкладки: Overview, Monitoring, Predict и Logs
• Сообщение о статусе: причина сбоя, если развертывание завершилось неудачно

На вкладке Overview показана карта местоположения, карточка Эндпоинт с URL эндпоинта, который можно скопировать, ссылка на Документацию API и проверка работоспособности, а также карточка Информация о развертывании с ценой, регионом, CPU и памятью. На вкладке Logs показаны последние записи журнала с фильтром по серьезности (Все / Ошибки). На вкладке Predict доступна встроенная панель предсказаний для тестирования непосредственно на развертывании; во вкладке результата Документация приведены готовые примеры кода на Python, JavaScript и cURL с URL эндпоинта и, для владельцев рабочей области, привязанным API-ключом (см. Мониторинг). В диалоговом окне Информация перечислены свойства развертывания и можно изменить пользовательские метаданные.

Изменение настроек CPU и памяти#

1. Открой страницу эндпоинта со статусом Готово.
2. Нажми Обновить конфигурацию.
3. Выбери CPU и Память, затем проверь отображаемую почасовую стоимость.
4. Нажми Обновить конфигурацию. Текущая конфигурация продолжит обслуживать запросы, пока новая не будет готова.

Пользовательские ресурсы оплачиваются по времени работы и поддерживают экземпляр в активном состоянии. Благодаря этому IP-камера может работать без дополнительной платы (см. раздел Камера в фоновом режиме). Возврат к ресурсам по умолчанию восстанавливает масштабирование до нуля и удаляет фоновую камеру.

Замена модели#

Замени модель, обслуживающую запросы на готовом эндпоинте, не меняя его URL:

1. Открой страницу развертывания
2. Нажми Заменить модель
3. Выбери другую завершенную модель из той же рабочей области
4. При необходимости измени имя развертывания
5. Нажми Заменить модель

Текущая модель продолжит обслуживать запросы, пока запускается замена. Когда новая модель будет готова, трафик переключится на нее. ID развертывания, URL, регион и API-ключ останутся прежними; отображаемое имя изменится только в том случае, если ты введешь новое. Если замена завершится с ошибкой, предыдущая модель и имя останутся активными.

Для замены должны выполняться все перечисленные условия; в противном случае запрос будет отклонен:

• Развертывание имеет статус Ready, и сейчас не выполняется никаких других операций жизненного цикла
• У заменяющей модели есть веса, и она находится в той же рабочей области, что и развертывание
• Заменяющая модель отличается от уже развернутой

Статусы развертывания#

Для развертывания со статусом Ready на странице отображается значок Starting, пока эндпоинт не ответит на первую проверку работоспособности, и Not responding, если проверка завершится ошибкой.

URL эндпоинта#

У каждого эндпоинта есть уникальный URL, например:

https://predict-<deployment-id>-<hash>-<region>.a.run.app

Нажми кнопку копирования, чтобы скопировать URL. Нажми API documentation, чтобы открыть справочник API для этого эндпоинта. Эндпоинт обслуживает следующие пути:

Управление жизненным циклом#

Управляй состоянием эндпоинта:

Остановить эндпоинт#

Останови эндпоинт, если не хочешь, чтобы он принимал запросы:

1. Нажми Stop deployment на странице развертывания
2. Статус эндпоинта меняется на «Stopping», а затем на «Stopped»

Остановленные эндпоинты:

• Не принимают запросы и не предоставляют актуальные метрики или данные о работоспособности
• Перестают накапливать плату за время работы
• Теряют временную статистику мониторинга и примеры изображений при завершении работы обслуживающего экземпляра
• Сохраняют URL, регион и связанный API-ключ, и их можно перезапустить в любое время
• По-прежнему учитываются в лимите развертываний твоего плана — удали эндпоинт, чтобы освободить место

Удалить эндпоинт#

Удалить эндпоинт без возможности восстановления:

1. Открой More actions (…) на странице развертывания и нажми Delete Deployment или нажми значок корзины рядом с развертыванием на боковой панели
2. Подтверди действие, нажав Delete

Развертывания также удаляются, когда их модель или проект удаляют без возможности восстановления либо когда истекает срок хранения отправленной в корзину модели или проекта.

Использование эндпоинтов#

Аутентификация#

Каждое развертывание связано с одним API-ключом рабочей области, которой принадлежит модель. Добавляй его в запросы:

Authorization: Bearer YOUR_API_KEY

Эндпоинт принимает только ключ, связанный с ним при создании, поэтому никакой другой ключ не откроет доступ к нему — даже другой активный ключ из той же рабочей области. Чтобы выбрать связываемый ключ, разверни модель через API, аутентифицировав запрос ключом владельца рабочей области: именно этот ключ будет связан с эндпоинтом, и он уже у тебя есть. При развертывании любым другим способом (через интерфейс Platform или вызов API, аутентифицированный как участник команды) автоматически связывается один из активных ключей рабочей области-владельца — запроси его у владельца рабочей области, поскольку только владелец может просматривать значения ключей (см. API-ключи). Участники команды без связанного ключа по-прежнему могут запускать инференс в браузере через прокси Platform predict.

Прямые запросы к эндпоинту#

Отправляй производственные запросы напрямую на URL со страницы развертывания. Такие запросы не проходят через ограничитель частоты запросов API Platform, поэтому лимит predict в 20 запросов в минуту не применяется. При этом пропускная способность самого эндпоинта ограничена:

• Каждый эндпоинт обслуживает один экземпляр, который одновременно обрабатывает ограниченное количество запросов
• Запросы, которые невозможно быстро обработать, возвращают 429 с заголовком Retry-After
• Один запрос может выполняться до 1 часа, что позволяет завершить инференс видео
• Размер тела запроса ограничен 32 МБ; более крупные загрузки отклоняются с ответом 413
• Ответы размером более 1 КБ сжимаются с помощью gzip, запросы браузера между разными источниками разрешены

Пример запроса#

import requests

# Эндпоинт развертывания
url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"

# Заголовки с API-ключом развертывания
headers = {"Authorization": "Bearer YOUR_API_KEY"}

# Параметры инференса
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

# Отправка изображения для инференса
with open("image.jpg", "rb") as f:
    response = requests.post(url, headers=headers, data=data, files={"file": f})

print(response.json())

Параметры запроса#

Эндпоинт сохраняет среду выполнения инференса из последнего обновления, поэтому новые настройки, например значение размера обучения по умолчанию imgsz или указанный выше vid_stride, применятся после выхода новой версии, например после замены модели или изменения количества CPU или объема памяти. Чтобы зафиксировать размер входных данных, явно укажи imgsz.

См. раздел Ответы с картой глубины, чтобы узнать, как bits влияет на возвращаемую карту глубины и как ее декодировать.

Формат ответа#

Совпадает с форматом общего инференса, но включает поля, специфичные для задачи.

Часто задаваемые вопросы#