姿态估计
姿态估计是一项任务,其涉及识别图像中特定点的位置,通常被称为关键点。这些关键点可以代表物体的各种部位,如关节、地标或其他显著特征。关键点的位置通常表示为一组2D [x, y]
或3D [x, y, visible]
坐标。
姿态估计模型的输出是一组点集,这些点代表图像中物体上的关键点,通常还包括每个点的置信度得分。当你需要在场景中识别物体的特定部位及其相互之间的位置时,姿态估计是一个不错的选择。
观看:使用Ultralytics YOLOv8进行姿态估计。
提示
YOLOv8 姿态 模型使用 -pose
后缀,例如 yolov8n-pose.pt
。这些模型在 COCO关键点 数据集上进行了训练,并且适用于各种姿态估计任务。
模型
这里展示了YOLOv8预训练的姿态模型。检测、分割和姿态模型在 COCO 数据集上进行预训练,而分类模型则在 ImageNet 数据集上进行预训练。
模型 在首次使用时将自动从最新的Ultralytics 发布版本中下载。
模型 | 尺寸 (像素) |
mAP姿态 50-95 |
mAP姿态 50 |
速度 CPU ONNX (毫秒) |
速度 A100 TensorRT (毫秒) |
参数 (M) |
浮点数运算 (B) |
---|---|---|---|---|---|---|---|
YOLOv8n-姿态 | 640 | 50.4 | 80.1 | 131.8 | 1.18 | 3.3 | 9.2 |
YOLOv8s-姿态 | 640 | 60.0 | 86.2 | 233.2 | 1.42 | 11.6 | 30.2 |
YOLOv8m-姿态 | 640 | 65.0 | 88.8 | 456.3 | 2.00 | 26.4 | 81.0 |
YOLOv8l-姿态 | 640 | 67.6 | 90.0 | 784.5 | 2.59 | 44.4 | 168.6 |
YOLOv8x-姿态 | 640 | 69.2 | 90.2 | 1607.1 | 3.73 | 69.4 | 263.2 |
YOLOv8x-姿态-p6 | 1280 | 71.6 | 91.2 | 4088.7 | 10.04 | 99.1 | 1066.4 |
- mAPval 值适用于COCO 关键点 val2017数据集上的单模型单尺度。
通过执行yolo val pose data=coco-pose.yaml device=0
来复现。 - 速度 是在 亚马逊EC2 P4d实例上使用COCO val图像的平均值。
通过执行yolo val pose data=coco8-pose.yaml batch=1 device=0|cpu
来复现。
训练
在COCO128姿态数据集上训练一个YOLOv8姿态模型。
示例
# 从YAML构建一个新模型并从头开始训练
yolo pose train data=coco8-pose.yaml model=yolov8n-pose.yaml epochs=100 imgsz=640
# 从一个预训练的*.pt模型开始训练
yolo pose train data=coco8-pose.yaml model=yolov8n-pose.pt epochs=100 imgsz=640
# 从YAML构建一个新模型,传输预训练权重并开始训练
yolo pose train data=coco8-pose.yaml model=yolov8n-pose.yaml pretrained=yolov8n-pose.pt epochs=100 imgsz=640
数据集格式
YOLO姿态数据集格式可详细找到在数据集指南中。若要将您现有的数据集从其他格式(如COCO等)转换为YOLO格式,请使用Ultralytics的 JSON2YOLO 工具。
验证
在COCO128姿态数据集上验证训练好的YOLOv8n姿态模型的准确性。没有参数需要传递,因为模型
保存了其训练数据
和参数作为模型属性。
示例
预测
使用训练好的YOLOv8n姿态模型在图片上运行预测。
示例
在预测页面中查看完整的预测
模式细节。
导出
将YOLOv8n姿态模型导出为ONNX、CoreML等不同格式。
示例
以下表格中有可用的YOLOv8姿态导出格式。您可以直接在导出的模型上进行预测或验证,例如 yolo predict model=yolov8n-pose.onnx
。导出完成后,为您的模型显示用法示例。
格式 | format 参数 |
模型 | 元数据 | 参数 |
---|---|---|---|---|
PyTorch | - | yolov8n-pose.pt |
✅ | - |
TorchScript | torchscript |
yolov8n-pose.torchscript |
✅ | imgsz , optimize |
ONNX | onnx |
yolov8n-pose.onnx |
✅ | imgsz , half , dynamic , simplify , opset |
OpenVINO | openvino |
yolov8n-pose_openvino_model/ |
✅ | imgsz , half |
TensorRT | engine |
yolov8n-pose.engine |
✅ | imgsz , half , dynamic , simplify , workspace |
CoreML | coreml |
yolov8n-pose.mlpackage |
✅ | imgsz , half , int8 , nms |
TF SavedModel | saved_model |
yolov8n-pose_saved_model/ |
✅ | imgsz , keras |
TF GraphDef | pb |
yolov8n-pose.pb |
❌ | imgsz |
TF Lite | tflite |
yolov8n-pose.tflite |
✅ | imgsz , half , int8 |
TF Edge TPU | edgetpu |
yolov8n-pose_edgetpu.tflite |
✅ | imgsz |
TF.js | tfjs |
yolov8n-pose_web_model/ |
✅ | imgsz |
PaddlePaddle | paddle |
yolov8n-pose_paddle_model/ |
✅ | imgsz |
ncnn | ncnn |
yolov8n-pose_ncnn_model/ |
✅ | imgsz , half |
在导出 页面中查看完整的导出
细节。