Оценка позы с Ultralytics YOLO#

Оценка позы — это задача, которая заключается в определении положения определённых точек на изображении, обычно называемых ключевыми точками. Ключевые точки могут обозначать различные части объекта, например суставы, ориентиры или другие характерные признаки. Положения ключевых точек обычно представляются в виде набора двумерных координат [x, y], опционально с флагом видимости [x, y, visible].

Результатом работы модели оценки позы является набор точек, обозначающих ключевые точки объекта на изображении, обычно вместе с оценками уверенности для каждой точки. Оценка позы подходит, когда нужно определить конкретные части объекта в сцене и их взаимное расположение.

Модели#

Здесь представлены предварительно обученные модели Pose Ultralytics YOLO26. Модели Detect, Segment и Pose предварительно обучены на наборе данных COCO, модели Semantic — на Cityscapes, а модели Classify — на наборе данных ImageNet.

Модели автоматически скачиваются из последнего релиза Ultralytics при первом использовании.

• Значения mAP^val указаны для одной модели с одним масштабом на наборе данных COCO Keypoints val2017.
  Воспроизвести можно с помощью yolo val pose data=coco-pose.yaml device=0 nms=False
• Значение скорости усреднено по изображениям COCO val с использованием экземпляра Amazon EC2 P4d.
  Воспроизвести можно с помощью yolo val pose data=coco-pose.yaml batch=1 device=0|cpu nms=False
• Значения Params и FLOPs приводятся для слитных моделей после свертки/пакетной нормализации (Conv/BatchNorm folding) и удаления неиспользуемой ветки детекции. Предварительно обученные контрольные точки сохраняют полную архитектуру обучения и могут показывать большие значения.

Смотри предварительный просмотр невыпущенного YOLO27 для получения предварительных результатов по ключевым точкам COCO.

Обучение#

Обучи модель YOLO26-pose на наборе данных COCO8-pose. Набор данных COCO8-pose — это небольшой набор примеров, идеально подходящий для тестирования и отладки моделей оценки позы.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.yaml")  # build a new model from YAML
model = YOLO("yolo26n-pose.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-pose.yaml").load("yolo26n-pose.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-pose.yaml", epochs=100, imgsz=640)

Полное описание режима train смотри на странице Обучение. Модели позы также можно обучать с помощью облачного обучения на платформе Ultralytics.

Формат датасета#

Формат датасета для оценки позы YOLO подробно описан в Dataset Guide. Чтобы конвертировать существующий датасет в формате JSON COCO keypoints в формат YOLO, используй встроенную функцию convert_coco с use_keypoints=True, как описано в COCO to YOLO guide. Разметка платформы Ultralytics также поддерживает разметку поз со встроенными шаблонами скелетов для людей, рук, лиц и пользовательских ключевых точек.

Для пользовательских задач оценки позы можно также изучить специализированные наборы данных, например Tiger-Pose для оценки позы животных, Hand Keypoints для отслеживания кистей или Dog-Pose для анализа позы собак.

Val#

Проверь точность обученной модели YOLO26n-pose на наборе данных COCO8-pose. Аргументы не требуются, поскольку model сохраняет параметры обучения data и аргументы в качестве атрибутов модели.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps  # a list containing mAP50-95 for each category
metrics.box.image_metrics  # per-image metrics dictionary for box with precision, recall, F1, TP, FP, and FN
metrics.pose.map  # map50-95(P)
metrics.pose.map50  # map50(P)
metrics.pose.map75  # map75(P)
metrics.pose.maps  # a list containing mAP50-95(P) for each category
metrics.pose.image_metrics  # per-image metrics dictionary for pose with precision, recall, F1, TP, FP, and FN

Predict#

Используй обученную модель YOLO26n-pose для выполнения предсказаний на изображениях. Режим predict позволяет выполнять инференс на изображениях, видео или потоках в реальном времени.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.keypoints.xy  # x and y coordinates
    xyn = result.keypoints.xyn  # normalized
    kpts = result.keypoints.data  # x, y, visibility (if available)

Полное описание режима predict см. на странице Predict.

Выходные данные результатов#

Оценка позы возвращает по одному объекту Results для каждого изображения. Основные поля предсказания — result.keypoints для координат позы и result.boxes для обнаруженных экземпляров, которым принадлежат эти ключевые точки.

Описание специфичных для задач полей Results для всех задач см. в разделе Результаты предсказаний по задачам.

Экспорт#

Экспортируй модель YOLO26n Pose в другой формат, например ONNX или CoreML. Это позволяет развернуть модель на различных платформах и устройствах для инференса в реальном времени.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта YOLO26-pose приведены в таблице ниже. Экспортировать модель в любой формат можно с помощью аргумента format, например format='onnx' или format='engine'. На экспортированных моделях можно напрямую выполнять предсказания или проверку, например yolo predict model=yolo26n-pose.onnx. После завершения экспорта для твоей модели отображаются примеры использования.

nms=None по умолчанию выдает сырые результаты для внешнего NMS. Установи nms=False, чтобы выбрать доступный головной модуль без NMS; неподдерживаемые форматы возвращаются к своему родному пути вывода. Записи nms выше определяют форматы, которые могут встраивать NMS с помощью nms=True.

Полное описание export см. на странице Экспорт.

Часто задаваемые вопросы#