Link to this section姿态估计#
姿态估计是一项涉及识别图像中特定点(通常称为关键点)位置的任务。关键点可以表示对象的各个部分,例如关节、地标或其他显著特征。关键点的位置通常表示为一组 2D [x, y] 坐标,并可选择包含一个可见性标志 [x, y, visible]。
姿态估计模型的输出是一组代表图像中对象关键点的点,通常还包含每个点的置信度分数。当你需要识别场景中对象的特定部分及其相对于彼此的位置时,姿态估计是一个很好的选择。
Watch: How to Run Real-Time Pose Estimation with Ultralytics YOLO26 | Tracking & Keypoints Extraction 🕺
YOLO26 pose 模型使用 -pose 后缀,例如 yolo26n-pose.pt。这些模型在 COCO keypoints 数据集上进行训练,适用于各种姿态估计任务。
在默认的 YOLO26 姿态模型中,共有 17 个关键点,每个点代表人体不同的部位。以下是每个索引与其对应的身体关节的映射:
- 鼻子
- 左眼
- 右眼
- 左耳
- 右耳
- 左肩
- 右肩
- 左肘
- 右肘
- 左手腕
- 右手腕
- 左髋
- 右髋
- 左膝
- 右膝
- 左脚踝
- 右脚踝
Link to this section模型#
此处展示了 Ultralytics YOLO26 预训练姿态模型。检测、分割和姿态模型在 COCO 数据集上进行预训练,Semantic 模型在 Cityscapes 上预训练,分类模型在 ImageNet 数据集上预训练。
模型在首次使用时会自动从最新的 Ultralytics 发布版本下载。
| 模型 | 尺寸 (像素) | mAPpose 50-95(e2e) | mAPpose 50(e2e) | 速度 CPU ONNX (ms) | 速度 T4 TensorRT10 (ms) | 参数量 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|---|
| YOLO26n-pose | 640 | 57.2 | 83.3 | 40.3 ± 0.5 | 1.8 ± 0.0 | 2.9 | 7.5 |
| YOLO26s-pose | 640 | 63.0 | 86.6 | 85.3 ± 0.9 | 2.7 ± 0.0 | 10.4 | 23.9 |
| YOLO26m-pose | 640 | 68.8 | 89.6 | 218.0 ± 1.5 | 5.0 ± 0.1 | 21.5 | 73.1 |
| YOLO26l-pose | 640 | 70.4 | 90.5 | 275.4 ± 2.4 | 6.5 ± 0.1 | 25.9 | 91.3 |
| YOLO26x-pose | 640 | 71.6 | 91.6 | 565.4 ± 3.0 | 12.2 ± 0.2 | 57.6 | 201.7 |
- mAPval 数值是针对 COCO Keypoints val2017 数据集上的单模型单尺度结果。
通过yolo val pose data=coco-pose.yaml device=0进行复现。 - 速度是使用 Amazon EC2 P4d 实例在 COCO val 图像上平均得出的。
通过yolo val pose data=coco-pose.yaml batch=1 device=0|cpu进行复现。 - 参数量 (Params) 和 FLOPs 数值是针对
model.fuse()之后融合模型的,该模型合并了 Conv 和 BatchNorm 层,并且对于端到端模型,移除了辅助的一对多检测头。预训练检查点保留了完整的训练架构,因此可能会显示更高的数值。
Link to this section训练#
在 COCO8-pose 数据集上训练 YOLO26-pose 模型。COCO8-pose 数据集 是一个小型的样本数据集,非常适合测试和调试你的姿态估计模型。
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-pose.yaml") # build a new model from YAML
model = YOLO("yolo26n-pose.pt") # load a pretrained model (recommended for training)
model = YOLO("yolo26n-pose.yaml").load("yolo26n-pose.pt") # build from YAML and transfer weights
# Train the model
results = model.train(data="coco8-pose.yaml", epochs=100, imgsz=640)See full train mode details in the Train page. Pose models can also be trained on cloud GPUs through Ultralytics Platform.
Link to this section数据集格式#
有关 YOLO 姿态数据集格式的详细信息,请参阅 数据集指南。若要将现有的其他格式数据集(如 COCO 等)转换为 YOLO 格式,请使用 Ultralytics 提供的 JSON2YOLO 工具。Ultralytics Platform 还支持姿态标注,并内置了针对人体、手部、面部及自定义关键点布局的骨架模板。
对于自定义姿态估计任务,你还可以探索专业数据集,例如用于动物姿态估计的 Tiger-Pose、用于手部追踪的 Hand Keypoints,或用于犬类姿态分析的 Dog-Pose。
Link to this section验证#
在 COCO8-pose 数据集上验证训练好的 YOLO26n-pose 模型的准确度。无需参数,因为 model 会保留其训练时的 data 和参数作为模型属性。
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Validate the model
metrics = model.val() # no arguments needed, dataset and settings remembered
metrics.box.map # map50-95
metrics.box.map50 # map50
metrics.box.map75 # map75
metrics.box.maps # a list containing mAP50-95 for each category
metrics.box.image_metrics # per-image metrics dictionary for box with precision, recall, F1, TP, FP, and FN
metrics.pose.map # map50-95(P)
metrics.pose.map50 # map50(P)
metrics.pose.map75 # map75(P)
metrics.pose.maps # a list containing mAP50-95(P) for each category
metrics.pose.image_metrics # per-image metrics dictionary for pose with precision, recall, F1, TP, FP, and FNLink to this section预测#
使用训练好的 YOLO26n-pose 模型对图像进行预测。predict 模式允许你在图像、视频或实时流上执行推理。
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg") # predict on an image
# Access the results
for result in results:
xy = result.keypoints.xy # x and y coordinates
xyn = result.keypoints.xyn # normalized
kpts = result.keypoints.data # x, y, visibility (if available)See full predict mode details in the Predict page.
Link to this section结果输出#
姿态估计为每张图像返回一个 Results 对象。主要的预测字段包括用于姿态坐标的 result.keypoints 和用于关键点所属检测实例的 result.boxes。
| 属性 | 类型 | 形状 (Shape) | 描述 |
|---|---|---|---|
result.keypoints | Keypoints | (N) | 关键点。 |
result.keypoints.data | torch.float32 | (N,K,2/3) | x,y 外加可选的可见性/置信度。 |
result.keypoints.xy | torch.float32 | (N,K,2) | 像素坐标关键点。 |
result.keypoints.xyn | torch.float32 | (N,K,2) | 归一化关键点。 |
result.boxes | Boxes | (N) | 实例边界框。 |
关于各项任务中特定于任务的 Results 字段,请参阅按任务划分的预测结果 (Predict Results by Task) 部分。
Link to this section导出#
将 YOLO26n 姿态模型导出为其他格式(如 ONNX、CoreML 等)。这使你能够在各种平台和设备上部署模型以进行实时推理。
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom-trained model
# Export the model
model.export(format="onnx")可用的 YOLO26-pose 导出格式见下表。你可以使用 format 参数导出为任何格式,例如 format='onnx' 或 format='engine'。你可以在导出的模型上直接进行预测或验证,例如 yolo predict model=yolo26n-pose.onnx。模型导出完成后会展示使用示例。
| 格式 | format 参数 | 模型 | 元数据 | 参数 |
|---|---|---|---|---|
| PyTorch | - | yolo26n-pose.pt | ✅ | - |
| TorchScript | torchscript | yolo26n-pose.torchscript | ✅ | imgsz, half, dynamic, optimize, nms, batch, device |
| ONNX | onnx | yolo26n-pose.onnx | ✅ | imgsz, half, int8, dynamic, simplify, opset, nms, batch, data, fraction, device |
| OpenVINO | openvino | yolo26n-pose_openvino_model/ | ✅ | imgsz, half, dynamic, int8, nms, batch, data, fraction, device |
| TensorRT | engine | yolo26n-pose.engine | ✅ | imgsz, half, dynamic, simplify, workspace, int8, nms, batch, data, fraction, device |
| CoreML | coreml | yolo26n-pose.mlpackage | ✅ | imgsz, dynamic, half, int8, nms, batch, device |
| TF SavedModel | saved_model | yolo26n-pose_saved_model/ | ✅ | imgsz, keras, int8, nms, batch, data, fraction, device |
| TF GraphDef | pb | yolo26n-pose.pb | ❌ | imgsz, batch, device |
| TF Lite | tflite | yolo26n-pose.tflite | ✅ | imgsz, half, int8, nms, batch, data, fraction, device |
| TF Edge TPU | edgetpu | yolo26n-pose_edgetpu.tflite | ✅ | imgsz, int8, data, fraction, device |
| TF.js | tfjs | yolo26n-pose_web_model/ | ✅ | imgsz, half, int8, nms, batch, data, fraction, device |
| PaddlePaddle | paddle | yolo26n-pose_paddle_model/ | ✅ | imgsz, batch, device |
| MNN | mnn | yolo26n-pose.mnn | ✅ | imgsz, batch, int8, half, device |
| NCNN | ncnn | yolo26n-pose_ncnn_model/ | ✅ | imgsz, half, batch, device |
| IMX500 | imx | yolo26n-pose_imx_model/ | ✅ | imgsz, int8, data, fraction, nms, device |
| RKNN | rknn | yolo26n-pose_rknn_model/ | ✅ | imgsz, batch, name, int8, data, fraction, device |
| ExecuTorch | executorch | yolo26n-pose_executorch_model/ | ✅ | imgsz, batch, device |
| Axelera | axelera | yolo26n-pose_axelera_model/ | ✅ | imgsz, batch, int8, data, fraction, device |
| DEEPX | deepx | yolo26n-pose_deepx_model/ | ✅ | imgsz, int8, data, optimize, device |
| Qualcomm QNN | qnn | yolo26n-pose_qnn_model/ | ✅ | imgsz, batch, name, int8, data, fraction, device |
See full export details in the Export page.
Link to this section常见问题解答#
Link to this section什么是使用 Ultralytics YOLO26 进行姿态估计?它是如何工作的?#
使用 Ultralytics YOLO26 进行姿态估计涉及识别图像中的特定点(即关键点)。这些关键点通常表示对象的关节或其他重要特征。输出包括每个点的 [x, y] 坐标和置信度分数。YOLO26-pose 模型是专门为此任务设计的,并使用 -pose 后缀,如 yolo26n-pose.pt。这些模型在 COCO keypoints 等数据集上进行预训练,可用于各种姿态估计任务。欲了解更多信息,请访问姿态估计页面。
Link to this section我如何自定义数据集上训练 YOLO26-pose 模型?#
在自定义数据集上训练 YOLO26-pose 模型涉及加载模型,可以是 YAML 文件定义的新模型,也可以是预训练模型。然后,你可以使用指定的数据集和参数开始训练过程。
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-pose.yaml") # build a new model from YAML
model = YOLO("yolo26n-pose.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="your-dataset.yaml", epochs=100, imgsz=640)有关训练的全面详情,请参阅训练章节。你也可以使用 Ultralytics Platform 采用无代码方式训练自定义姿态估计模型。
Link to this section我如何验证训练好的 YOLO26-pose 模型?#
验证 YOLO26-pose 模型涉及使用训练期间保留的相同数据集参数来评估其准确度。以下是一个示例:
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom model
# Validate the model
metrics = model.val() # no arguments needed, dataset and settings remembered欲了解更多信息,请访问 验证章节。
Link to this section我能将 YOLO26-pose 模型导出为其他格式吗?如何操作?#
可以,你可以将 YOLO26-pose 模型导出为 ONNX、CoreML、TensorRT 等多种格式。这可以通过 Python 或命令行界面 (CLI) 完成。
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n-pose.pt") # load an official model
model = YOLO("path/to/best.pt") # load a custom-trained model
# Export the model
model.export(format="onnx")有关详细信息,请参阅导出章节。导出的模型可以部署在边缘设备上,用于实时应用,如健身追踪、体育分析或机器人技术。
Link to this section有哪些可用的 Ultralytics YOLO26-pose 模型及其性能指标?#
Ultralytics YOLO26 提供多种预训练姿态模型,如 YOLO26n-pose、YOLO26s-pose、YOLO26m-pose 等。这些模型在尺寸、准确度 (mAP) 和速度上各有不同。例如,YOLO26n-pose 模型的 mAPpose50-95 为 57.2,mAPpose50 为 83.3。有关完整列表和性能详细信息,请访问模型章节。