YOLO Vision 2026:

使用 Ultralytics YOLO 进行姿态估计#

Ultralytics YOLO pose estimation with human body keypoint detection

姿态估计是一项识别图像中特定点位置的任务,通常称为关键点。关键点可以表示对象的各种部件,例如关节、地标或其他独特的特征。关键点的位置通常表示为一组 2D [x, y] 坐标,也可以带有可见性标志 [x, y, visible]

姿态估计模型的输出是一组代表图像中对象关键点的点,通常还包含每个点的置信度分数。当你需要识别场景中对象的特定部分及其相对于彼此的位置时,姿态估计是一个很好的选择。



Watch: How to Run Real-Time Pose Estimation with Ultralytics YOLO26 | Tracking & Keypoints Extraction 🕺
提示

YOLO26 pose 模型使用 -pose 后缀,即 yolo26n-pose.pt。这些模型在 COCO keypoints 数据集上进行训练,适用于各种姿态估计任务。

在默认的 YOLO26 姿态模型中,共有 17 个关键点,每个点代表人体不同的部位。以下是每个索引与其对应的身体关节的映射:

  1. 鼻子
  2. 左眼
  3. 右眼
  4. 左耳
  5. 右耳
  6. 左肩
  7. 右肩
  8. 左肘
  9. 右肘
  10. 左手腕
  11. 右手腕
  12. 左髋
  13. 右髋
  14. 左膝
  15. 右膝
  16. 左脚踝
  17. 右脚踝

模型#

Ultralytics YOLO26 预训练 Pose 模型在此显示。Detect、Segment 和 Pose 模型在 COCO 数据集上预训练,Semantic 模型在 Cityscapes 上预训练,Classify 模型在 ImageNet 数据集上预训练。

模型会在首次使用时从最新的 Ultralytics 发布版本中自动下载。

模型尺寸
(像素)
mAPpose
50-95(e2e)
mAPpose
50(e2e)
速度
CPU ONNX
(ms)
速度
T4 TensorRT10
(ms)
参数量
(M)
FLOPs
(B)
YOLO26n-pose64057.283.340.3 ± 0.51.8 ± 0.02.97.5
YOLO26s-pose64063.086.685.3 ± 0.92.7 ± 0.010.423.9
YOLO26m-pose64068.889.6218.0 ± 1.55.0 ± 0.121.573.1
YOLO26l-pose64070.490.5275.4 ± 2.46.5 ± 0.125.991.3
YOLO26x-pose64071.691.6565.4 ± 3.012.2 ± 0.257.6201.7
  • mAPval 值适用于 COCO Keypoints val2017 数据集上的单模型单尺度。
    通过 yolo val pose data=coco-pose.yaml device=0 复现
  • Speed 是在 Amazon EC2 P4d 实例上对 COCO val 图像取平均计算得出的。
    通过 yolo val pose data=coco-pose.yaml batch=1 device=0|cpu 复现
  • **参数量(Params)**和 FLOPs 值适用于 model.fuse() 之后的融合模型,该模型合并了 Conv 和 BatchNorm 层,并且对于端到端模型,移除了辅助的一对多检测头。预训练检查点保留了完整的训练架构,可能会显示更高的数值。

训练#

在 COCO8-pose 数据集上训练 YOLO26-pose 模型。COCO8-pose dataset 是一个小型样本数据集,非常适合测试和调试你的姿态估计模型。

示例
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.yaml")  # build a new model from YAML
model = YOLO("yolo26n-pose.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-pose.yaml").load("yolo26n-pose.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-pose.yaml", epochs=100, imgsz=640)

Train 页面中查看完整的 train 模式详情。Pose 模型也可以通过 Ultralytics Platform cloud training 进行训练。

数据集格式#

YOLO pose 数据集格式可以在 Dataset Guide 中找到详细说明。要将你现有的其他格式(如 COCO 等)数据集转换为 YOLO 格式,请使用 Ultralytics 的 JSON2YOLO 工具。Ultralytics Platform annotation 还支持带有内置骨架模板的姿态标签,适用于人体、手部、面部和自定义关键点布局。

对于自定义姿态估计任务,你还可以探索专业数据集,例如用于动物姿态估计的 Tiger-Pose、用于手部追踪的 Hand Keypoints 或用于犬类姿态分析的 Dog-Pose

验证#

在 COCO8-pose 数据集上验证已训练的 YOLO26n-pose 模型accuracy。由于 model 将其训练 data 和参数保留为模型属性,因此无需任何参数。

示例
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps  # a list containing mAP50-95 for each category
metrics.box.image_metrics  # per-image metrics dictionary for box with precision, recall, F1, TP, FP, and FN
metrics.pose.map  # map50-95(P)
metrics.pose.map50  # map50(P)
metrics.pose.map75  # map75(P)
metrics.pose.maps  # a list containing mAP50-95(P) for each category
metrics.pose.image_metrics  # per-image metrics dictionary for pose with precision, recall, F1, TP, FP, and FN

预测#

使用已训练的 YOLO26n-pose 模型对图像运行预测。predict mode 允许你对图像、视频或实时流执行推理。

示例
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.keypoints.xy  # x and y coordinates
    xyn = result.keypoints.xyn  # normalized
    kpts = result.keypoints.data  # x, y, visibility (if available)

查看完整的 predict 模式详情,请访问 Predict 页面。

结果输出#

姿态估计为每张图像返回一个 Results 对象。主要的预测字段是用于姿态坐标的 result.keypoints 以及用于这些关键点所属的检测实例的 result.boxes

属性类型形状描述
result.keypointsKeypoints(N)关键点。
result.keypoints.datatorch.float32(N,K,2/3)x,y 外加可选的可见性/置信度。
result.keypoints.xytorch.float32(N,K,2)像素关键点。
result.keypoints.xyntorch.float32(N,K,2)归一化关键点。
result.boxesBoxes(N)实例框。

有关所有任务特定于任务的 Results 字段,请参阅按任务划分的预测结果部分。

导出#

将 YOLO26 Pose 模型导出为不同的格式,如 ONNX、CoreML 等。这使你能够在各种平台和设备上部署模型以进行实时推理

示例
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

可用的 YOLO26-pose 导出格式如下表所示。你可以使用 format 参数(即 format='onnx'format='engine')导出为任何格式。你可以直接在导出的模型上进行预测或验证,即 yolo predict model=yolo26n-pose.onnx。导出完成后,将为你的模型显示使用示例。

格式format 参数模型元数据参数
PyTorch-yolo26n-pose.pt-
TorchScripttorchscriptyolo26n-pose.torchscriptimgsz, quantize, dynamic, nms, batch, device
ONNXonnxyolo26n-pose.onnximgsz, quantize, dynamic, simplify, opset, nms, batch, data, fraction, device
OpenVINOopenvinoyolo26n-pose_openvino_model/imgsz, quantize, dynamic, nms, batch, data, fraction, device
TensorRTengineyolo26n-pose.engineimgsz, quantize, dynamic, simplify, opset, workspace, nms, batch, data, fraction, device
CoreMLcoremlyolo26n-pose.mlpackageimgsz, dynamic, quantize, nms, batch, device
TF SavedModelsaved_modelyolo26n-pose_saved_model/imgsz, keras, quantize, opset, nms, batch, data, fraction, device
TF GraphDefpbyolo26n-pose.pbimgsz, opset, batch, device
TF Edge TPUedgetpuyolo26n-pose_edgetpu.tfliteimgsz, quantize, opset, data, fraction, device
PaddlePaddlepaddleyolo26n-pose_paddle_model/imgsz, batch, device
MNNmnnyolo26n-pose.mnnimgsz, batch, dynamic, quantize, simplify, opset, nms, device
NCNNncnnyolo26n-pose_ncnn_model/imgsz, quantize, batch, device
IMX500imxyolo26n-pose_imx_model/imgsz, quantize, data, fraction, nms, device
RKNNrknnyolo26n-pose_rknn_model/imgsz, batch, name, quantize, simplify, opset, data, fraction, device
ExecuTorchexecutorchyolo26n-pose_executorch_model/imgsz, batch, device
Axeleraaxelerayolo26n-pose_axelera_model/imgsz, batch, quantize, data, fraction, device
DEEPXdeepxyolo26n-pose_deepx_model/imgsz, quantize, simplify, opset, data, optimize, device
Qualcomm QNNqnnyolo26n-pose_qnn.onnximgsz, batch, name, quantize, simplify, opset, data, fraction, device
LiteRTlitertyolo26n-pose.tfliteimgsz, quantize, batch, data, fraction, device
Hailohailoyolo26n-pose_hailo_model/imgsz, name, quantize, data, fraction, simplify, conf, iou
Huawei Ascendascendyolo26n-pose_ascend_model/imgsz, batch, name, quantize, opset, simplify, nms
Apple Core AIcoreaiyolo26n-pose.aimodelimgsz, batch, quantize

查看完整的 export 详情,请访问 Export 页面。

常见问题解答#

  • 使用 Ultralytics YOLO26 进行姿态估计包括识别图像中的特定点(称为关键点)。这些关键点通常代表对象的关节或其他重要特征。输出包括每个点的 [x, y] 坐标和置信度分数。YOLO26-pose 模型专门为此任务设计,并使用 -pose 后缀,例如 yolo26n-pose.pt。这些模型在 COCO keypoints 等数据集上预训练,可用于各种姿态估计任务。有关更多信息,请访问 Pose Estimation Page

  • 在自定义数据集上训练 YOLO26-pose 模型涉及加载模型,可以是 YAML 文件定义的新模型,也可以是预训练模型。然后,你可以使用指定的数据集和参数开始训练过程。

    from ultralytics import YOLO
    
    # Load a model
    model = YOLO("yolo26n-pose.yaml")  # build a new model from YAML
    model = YOLO("yolo26n-pose.pt")  # load a pretrained model (recommended for training)
    
    # Train the model
    results = model.train(data="your-dataset.yaml", epochs=100, imgsz=640)

    有关训练的全面详情,请参考 Train Section。你还可以使用 Ultralytics Platform cloud training 以无代码方式训练自定义姿态估计模型。

  • 验证 YOLO26-pose 模型涉及使用训练期间保留的相同数据集参数来评估其准确度。以下是一个示例:

    from ultralytics import YOLO
    
    # Load a model
    model = YOLO("yolo26n-pose.pt")  # load an official model
    model = YOLO("path/to/best.pt")  # load a custom model
    
    # Validate the model
    metrics = model.val()  # no arguments needed, dataset and settings remembered

    有关更多信息,请访问 Val Section

  • 可以,你可以将 YOLO26-pose 模型导出为 ONNX、CoreML、TensorRT 等多种格式。这可以通过 Python 或命令行界面 (CLI) 完成。

    from ultralytics import YOLO
    
    # Load a model
    model = YOLO("yolo26n-pose.pt")  # load an official model
    model = YOLO("path/to/best.pt")  # load a custom-trained model
    
    # Export the model
    model.export(format="onnx")

    请参考 Export Section 了解更多详情。导出的模型可以部署在边缘设备上,用于健身追踪、运动分析或机器人技术实时应用

  • Ultralytics YOLO26 提供各种预训练姿态模型,例如 YOLO26n-pose、YOLO26s-pose、YOLO26m-pose 等。这些模型在大小、准确率 (mAP) 和速度上有所不同。例如,YOLO26n-pose 模型的 mAPpose50-95 为 57.2,mAPpose50 为 83.3。有关完整列表和性能详情,请访问 Models Section

评论