Оценка позы с помощью Ultralytics YOLO#

Оценка позы — это задача, которая заключается в определении положения определенных точек на изображении, обычно называемых ключевыми точками. Ключевые точки могут представлять различные части объекта, такие как суставы, ориентиры или другие отличительные особенности. Положения ключевых точек обычно представляются в виде набора 2D-координат [x, y], опционально с флагом видимости [x, y, visible].

Результатом работы модели оценки позы является набор точек, представляющих ключевые точки объекта на изображении, обычно вместе с показателями достоверности для каждой точки. Оценка позы — отличный выбор, когда тебе нужно определить специфические части объекта на сцене и их взаимное расположение.

Модели#

Предварительно обученные модели Pose Ultralytics YOLO26 представлены здесь. Модели обнаружения (Detect), сегментации (Segment) и оценки позы (Pose) предварительно обучены на датасете COCO, модели сегментации Semantic предварительно обучены на Cityscapes, а модели классификации (Classify) — на датасете ImageNet.

Модели загружаются автоматически из последнего релиза Ultralytics при первом использовании.

• Значения mAP^val указаны для одной модели в одном масштабе на датасете COCO Keypoints val2017.
  Воспроизведите с помощью yolo val pose data=coco-pose.yaml device=0
• Speed усреднена по изображениям COCO val с использованием инстанса Amazon EC2 P4d.
  Воспроизведите с помощью yolo val pose data=coco-pose.yaml batch=1 device=0|cpu
• Значения Params и FLOPs даны для слитной модели после model.fuse(), которая объединяет слои Conv и BatchNorm и, для моделей end2end, удаляет вспомогательную голову детекции «один ко многим». Предварительно обученные чекпоинты сохраняют полную архитектуру обучения и могут показывать большие значения.

Обучение#

Обучи модель YOLO26-pose на датасете COCO8-pose. Датасет COCO8-pose — это небольшой пример датасета, который идеально подходит для тестирования и отладки твоих моделей оценки позы.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.yaml")  # build a new model from YAML
model = YOLO("yolo26n-pose.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-pose.yaml").load("yolo26n-pose.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-pose.yaml", epochs=100, imgsz=640)

Подробную информацию о режиме train смотри на странице Train. Модели оценки позы также можно обучать с помощью облачного обучения Ultralytics Platform.

Формат набора данных#

Формат датасета позы YOLO подробно описан в руководстве по датасетам. Чтобы конвертировать существующий датасет из других форматов (таких как COCO и др.) в формат YOLO, используй инструмент JSON2YOLO от Ultralytics. Аннотации на Ultralytics Platform также поддерживают разметку поз со встроенными шаблонами скелета для человека, руки, лица и пользовательских макетов ключевых точек.

Для нестандартных задач оценки позы ты также можешь изучить специализированные датасеты, такие как Tiger-Pose для оценки позы животных, Hand Keypoints для трекинга рук или Dog-Pose для анализа позы собак.

Валидация#

Проверь точность обученной модели YOLO26n-pose на датасете COCO8-pose. Никакие аргументы не нужны, так как model сохраняет свои data обучения и аргументы в качестве атрибутов модели.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps  # a list containing mAP50-95 for each category
metrics.box.image_metrics  # per-image metrics dictionary for box with precision, recall, F1, TP, FP, and FN
metrics.pose.map  # map50-95(P)
metrics.pose.map50  # map50(P)
metrics.pose.map75  # map75(P)
metrics.pose.maps  # a list containing mAP50-95(P) for each category
metrics.pose.image_metrics  # per-image metrics dictionary for pose with precision, recall, F1, TP, FP, and FN

Предсказание#

Используй обученную модель YOLO26n-pose для запуска предсказаний на изображениях. Режим predict позволяет выполнять инференс на изображениях, видео или потоках в реальном времени.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.keypoints.xy  # x and y coordinates
    xyn = result.keypoints.xyn  # normalized
    kpts = result.keypoints.data  # x, y, visibility (if available)

Смотри полную информацию о режиме predict на странице Предсказание.

Вывод результатов#

Оценка позы возвращает один объект Results на изображение. Основными полями предсказания являются result.keypoints для координат позы и result.boxes для обнаруженных экземпляров, которым принадлежат эти ключевые точки.

Информацию о специфичных для задач полях Results для каждой задачи см. в разделе Результаты предсказания по задачам.

Экспорт#

Экспортируй модель YOLO26n Pose в другой формат, такой как ONNX, CoreML и т. д. Это позволяет развертывать модель на различных платформах и устройствах для инференса в реальном времени.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Доступные форматы экспорта YOLO26-pose приведены в таблице ниже. Ты можешь экспортировать в любой формат, используя аргумент format, то есть format='onnx' или format='engine'. Ты можешь выполнять предсказание или валидацию непосредственно на экспортированных моделях, т. е. yolo predict model=yolo26n-pose.onnx. Примеры использования отображаются для твоей модели после завершения экспорта.

Смотри полную информацию об export на странице Экспорт.

FAQ#