Оценка позы
Оценка позы - это задача, которая заключается в определении местоположения определенных точек на изображении, обычно называемых ключевыми точками. Ключевые точки могут представлять собой различные части объекта, такие как суставы, ориентиры или другие отличительные особенности. Расположение ключевых точек обычно представляется в виде набора двумерных [x, y]
или 3D [x, y, visible]
Координаты.
Результатом модели оценки позы является набор точек, которые представляют собой ключевые точки объекта на изображении, обычно вместе с оценками достоверности для каждой точки. Оценка позы - хороший выбор, когда тебе нужно определить конкретные части объекта в сцене и их расположение относительно друг друга.
Смотри: Оценка позы с помощью Ultralytics YOLOv8 . |
Смотри: Оценка позы с помощью Ultralytics HUB. |
Наконечник
YOLOv8 Поза В моделях используются -pose
суффикс, то есть yolov8n-pose.pt
. Эти модели обучаются на Ключевые моменты COCO и подходят для различных задач по оценке позы.
В стандартной модели позы YOLOv8 есть 17 ключевых точек, каждая из которых представляет отдельную часть человеческого тела. Вот отображение каждого показателя на соответствующий сустав тела:
0: Нос 1: Левый глаз 2: Правый глаз 3: Левое ухо 4: Правое ухо 5: Левое плечо 6: Правое плечо 7: Левый локоть 8: Правый локоть 9: Левое запястье 10: Правое запястье 11: Левое бедро 12: Правое бедро 13: Левое колено 14: Правое колено 15: Левая лодыжка 16: Правая лодыжка
Модели
YOLOv8 Здесь показаны предварительно обученные модели Pose. Модели Detect, Segment и Pose были предварительно обучены на наборе данных COCO, а модели Classify - на наборе данных ImageNet.
Модели автоматически загружаются с последнегорелиза Ultralytics при первом использовании.
Модель | Размер (пикселей) |
mAPpose 50-95 |
mAPpose 50 |
Скорость CPU ONNX (мс) |
Скорость A100 TensorRT (мс) |
params (M) |
FLOPs (B) |
---|---|---|---|---|---|---|---|
YOLOv8n-pose | 640 | 50.4 | 80.1 | 131.8 | 1.18 | 3.3 | 9.2 |
YOLOv8s-pose | 640 | 60.0 | 86.2 | 233.2 | 1.42 | 11.6 | 30.2 |
YOLOv8m-pose | 640 | 65.0 | 88.8 | 456.3 | 2.00 | 26.4 | 81.0 |
YOLOv8l-pose | 640 | 67.6 | 90.0 | 784.5 | 2.59 | 44.4 | 168.6 |
YOLOv8x-pose | 640 | 69.2 | 90.2 | 1607.1 | 3.73 | 69.4 | 263.2 |
YOLOv8x-pose-p6 | 1280 | 71.6 | 91.2 | 4088.7 | 10.04 | 99.1 | 1066.4 |
- mAPval Значения приведены для одномодельного одномасштабного на COCO Keypoints val2017 Набор данных.
Размножайся с помощьюyolo val pose data=coco-pose.yaml device=0
- Скорость Усреднение изображений COCO val с помощью Amazon EC2 P4d например.
Размножайся с помощьюyolo val pose data=coco8-pose.yaml batch=1 device=0|cpu
Поезд
Обучи модель YOLOv8-pose на наборе данных COCO128-pose.
Пример
from ultralytics import YOLO
# Load a model
model = YOLO("yolov8n-pose.yaml") # build a new model from YAML
model = YOLO("yolov8n-pose.pt") # load a pretrained model (recommended for training)
model = YOLO("yolov8n-pose.yaml").load("yolov8n-pose.pt") # build from YAML and transfer weights
# Train the model
results = model.train(data="coco8-pose.yaml", epochs=100, imgsz=640)
# Build a new model from YAML and start training from scratch
yolo pose train data=coco8-pose.yaml model=yolov8n-pose.yaml epochs=100 imgsz=640
# Start training from a pretrained *.pt model
yolo pose train data=coco8-pose.yaml model=yolov8n-pose.pt epochs=100 imgsz=640
# Build a new model from YAML, transfer pretrained weights to it and start training
yolo pose train data=coco8-pose.yaml model=yolov8n-pose.yaml pretrained=yolov8n-pose.pt epochs=100 imgsz=640
Формат датасета
YOLO Подробно о формате наборов данных можно прочитать в руководстве по набору данных. Чтобы преобразовать существующий набор данных из других форматов (например, COCO и т.д.) в формат YOLO , воспользуйся инструментом JSON2YOLO по адресу Ultralytics.
Вэл
Проверь точность обученной модели YOLOv8n-pose на наборе данных COCO128-pose. Не нужно передавать никаких аргументов в качестве model
сохраняет свою подготовку data
и аргументы в качестве атрибутов модели.
Пример
from ultralytics import YOLO
# Load a model
model = YOLO("yolov8n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Validate the model
metrics = model.val() # no arguments needed, dataset and settings remembered
metrics.box.map # map50-95
metrics.box.map50 # map50
metrics.box.map75 # map75
metrics.box.maps # a list contains map50-95 of each category
Предсказывай
Используй обученную модель YOLOv8n-pose для выполнения предсказаний на изображениях.
Пример
Смотреть полностью predict
Подробности о режиме в Предсказывай Страница.
Экспорт
Экспортируй модель YOLOv8n Pose в другой формат, например ONNX, CoreML, и т. д.
Пример
Доступные форматы экспорта YOLOv8-pose приведены в таблице ниже. Ты можешь экспортировать в любой формат, используя format
аргумент, то есть format='onnx'
или format='engine'
. Ты можешь предсказывать или проверять непосредственно на экспортированных моделях, то есть yolo predict model=yolov8n-pose.onnx
. Примеры использования будут показаны для твоей модели после завершения экспорта.
Формат | format Аргумент |
Модель | Метаданные | Аргументы |
---|---|---|---|---|
PyTorch | - | yolov8n-pose.pt |
✅ | - |
TorchScript | torchscript |
yolov8n-pose.torchscript |
✅ | imgsz , optimize , batch |
ONNX | onnx |
yolov8n-pose.onnx |
✅ | imgsz , half , dynamic , simplify , opset , batch |
OpenVINO | openvino |
yolov8n-pose_openvino_model/ |
✅ | imgsz , half , int8 , batch |
TensorRT | engine |
yolov8n-pose.engine |
✅ | imgsz , half , dynamic , simplify , workspace , int8 , batch |
CoreML | coreml |
yolov8n-pose.mlpackage |
✅ | imgsz , half , int8 , nms , batch |
TF SavedModel | saved_model |
yolov8n-pose_saved_model/ |
✅ | imgsz , keras , int8 , batch |
TF GraphDef | pb |
yolov8n-pose.pb |
❌ | imgsz , batch |
TF Lite | tflite |
yolov8n-pose.tflite |
✅ | imgsz , half , int8 , batch |
TF Край TPU | edgetpu |
yolov8n-pose_edgetpu.tflite |
✅ | imgsz |
TF.js | tfjs |
yolov8n-pose_web_model/ |
✅ | imgsz , half , int8 , batch |
PaddlePaddle | paddle |
yolov8n-pose_paddle_model/ |
✅ | imgsz , batch |
NCNN | ncnn |
yolov8n-pose_ncnn_model/ |
✅ | imgsz , half , batch |
Смотреть полностью export
подробности в Экспорт Страница.
ВОПРОСЫ И ОТВЕТЫ
Что такое Pose Estimation with Ultralytics YOLOv8 и как она работает?
Оценка позы с помощью Ultralytics YOLOv8 включает в себя определение определенных точек, известных как ключевые точки, на изображении. Эти точки обычно представляют собой суставы или другие важные особенности объекта. Выходные данные включают в себя [x, y]
координаты и баллы доверия для каждой точки. YOLOv8 Модели -pose специально разработаны для этой задачи и используют -pose
суффикс, например yolov8n-pose.pt
. Эти модели предварительно обучаются на таких наборах данных, как Ключевые моменты COCO и может использоваться для различных задач по оценке позы. Чтобы узнать больше, посетите Страница оценки позы.
Как обучить модель YOLOv8-pose на пользовательском наборе данных?
Обучение модели YOLOv8-pose на пользовательском наборе данных предполагает загрузку модели - либо новой модели, заданной в YAML-файле, либо предварительно обученной модели. Затем ты можешь запустить процесс обучения, используя указанный тобой набор данных и параметры.
from ultralytics import YOLO
# Load a model
model = YOLO("yolov8n-pose.yaml") # build a new model from YAML
model = YOLO("yolov8n-pose.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="your-dataset.yaml", epochs=100, imgsz=640)
Все подробности о тренировках ты найдешь в разделе "Тренировки".
Как проверить обученную модель YOLOv8-pose?
Валидация модели YOLOv8-pose предполагает оценку ее точности с использованием тех же параметров набора данных, которые были сохранены во время обучения. Вот пример:
from ultralytics import YOLO
# Load a model
model = YOLO("yolov8n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Validate the model
metrics = model.val() # no arguments needed, dataset and settings remembered
Для получения дополнительной информации посети раздел "Вал".
Можно ли экспортировать модель YOLOv8-pose в другие форматы и как?
Да, ты можешь экспортировать YOLOv8-позиционную модель в различные форматы, такие как ONNX, CoreML, TensorRT и другие. Для этого можно использовать либо Python , либо интерфейс командной строки (CLI).
from ultralytics import YOLO
# Load a model
model = YOLO("yolov8n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom trained model
# Export the model
model.export(format="onnx")
Подробнее об этом читай в разделе "Экспорт ".
Какие существуют модели Ultralytics YOLOv8 -pose и каковы их показатели?
Ultralytics YOLOv8 предлагает различные предварительно обученные модели позы, такие как YOLOv8n-pose, YOLOv8s-pose, YOLOv8m-pose и другие. Эти модели различаются по размеру, точности (mAP) и скорости. Например, модель YOLOv8n-pose достигает mAPpose50-9550,4 и mAPpose5080,1. Полный список и подробную информацию о характеристиках можно найти в разделе "Модели".
Создано 2023-11-12, Обновлено 2024-07-08
Авторы: k-2feng@hotmail.com (1), glenn-jocher (20), Burhan-Q (4), RizwanMunawar (1), AyushExel (1), Laughing-q (1)