Ước tính tư thế với Ultralytics YOLO#

Ước tính tư thế là tác vụ xác định vị trí của các điểm cụ thể trong ảnh, thường được gọi là keypoint. Keypoint có thể biểu thị nhiều bộ phận khác nhau của đối tượng, chẳng hạn như khớp, điểm mốc hoặc các đặc điểm riêng biệt khác. Vị trí của keypoint thường được biểu diễn dưới dạng tập hợp tọa độ 2D [x, y], tùy chọn kèm theo cờ hiển thị [x, y, visible].

Đầu ra của model ước tính tư thế là tập hợp các điểm biểu thị keypoint trên đối tượng trong ảnh, thường kèm theo điểm tin cậy cho từng điểm. Ước tính tư thế là lựa chọn phù hợp khi bạn cần xác định các bộ phận cụ thể của đối tượng trong một cảnh và vị trí của chúng so với nhau.

Model#

Các model YOLO26 Pose được pretrained trên dataset các keypoint COCO được hiển thị bên dưới.

Model sẽ tự động tải xuống từ bản phát hành Ultralytics mới nhất trong lần sử dụng đầu tiên.

• Các giá trị mAP^val được đo với một model, một scale trên dataset COCO Keypoints val2017.
  Tái lập kết quả bằng yolo pose val data=coco-pose.yaml device=0 nms=False
• Tốc độ là mức trung bình trên các ảnh COCO val, sử dụng ONNX trên CPU và TensorRT10 trên GPU NVIDIA T4.
  Tái tạo kết quả bằng yolo pose val data=coco-pose.yaml batch=1 device=0|cpu nms=False
• Các giá trị Params và FLOPs được tính cho model đã hợp nhất sau khi gộp Conv/BatchNorm và loại bỏ nhánh phát hiện không sử dụng. Checkpoint được huấn luyện trước vẫn giữ nguyên kiến trúc huấn luyện đầy đủ nên có thể hiển thị số liệu cao hơn.

Xem bản preview YOLO27 chưa phát hành để biết kết quả sơ bộ trên keypoint COCO.

Huấn luyện#

Train YOLO26n-pose trên dataset COCO8-pose trong 100 epoch với kích thước ảnh 640. Xem trang Configuration để biết danh sách đầy đủ các đối số hiện có.

from ultralytics import YOLO

# Tải model
model = YOLO("yolo26n-pose.yaml")  # tạo model mới từ YAML
model = YOLO("yolo26n-pose.pt")  # tải model đã huấn luyện trước (được khuyến nghị khi huấn luyện)
model = YOLO("yolo26n-pose.yaml").load("yolo26n-pose.pt")  # tạo từ YAML và chuyển trọng số

# Huấn luyện model
results = model.train(data="coco8-pose.yaml", epochs=100, imgsz=640)

Xem chi tiết đầy đủ về chế độ train trên trang Train. Bạn cũng có thể train model pose bằng dịch vụ training đám mây của Ultralytics Platform.

Định dạng dataset#

Bạn có thể xem chi tiết định dạng dataset pose YOLO trong Hướng dẫn về dataset. Để chuyển dataset JSON keypoint COCO hiện có sang định dạng YOLO, hãy sử dụng hàm tích hợp sẵn convert_coco với use_keypoints=True, như mô tả trong hướng dẫn chuyển đổi COCO sang YOLO. Tính năng gán nhãn của Ultralytics Platform cũng hỗ trợ nhãn pose với các template skeleton tích hợp sẵn dành cho người, bàn tay, khuôn mặt và bố cục keypoint tùy chỉnh.

Với các tác vụ ước tính tư thế tùy chỉnh, bạn cũng có thể khám phá các dataset chuyên biệt như Tiger-Pose để ước tính tư thế động vật, Hand Keypoints để theo dõi bàn tay hoặc Dog-Pose để phân tích tư thế chó.

Đánh giá#

Validate độ chính xác của model YOLO26n-pose đã train. Không cần đối số vì model lưu data và các đối số dùng khi training dưới dạng thuộc tính của model: path/to/best.pt trong ví dụ Train sẽ validate trên COCO8-pose. Các weight chính thức ghi lại đường dẫn dataset dùng khi training, nhưng đường dẫn này không tồn tại trên máy của bạn, vì vậy chúng sẽ dùng giá trị mặc định của tác vụ coco8-pose.yaml và đưa ra cảnh báo. Truyền data để validate trên dataset khác.

from ultralytics import YOLO

# Tải model
model = YOLO("yolo26n-pose.pt")  # tải model chính thức
model = YOLO("path/to/best.pt")  # tải model tùy chỉnh

# Xác thực model
metrics = model.val()  # không cần đối số, dataset và cài đặt đã được ghi nhớ
metrics.box.map  # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps  # danh sách chứa mAP50-95 cho từng danh mục
metrics.box.image_metrics  # từ điển metric theo từng ảnh cho box, gồm precision, recall, F1, TP, FP và FN
metrics.pose.map  # map50-95(P)
metrics.pose.map50  # map50(P)
metrics.pose.map75  # map75(P)
metrics.pose.maps  # danh sách chứa mAP50-95(P) cho từng danh mục
metrics.pose.image_metrics  # từ điển metric theo từng ảnh cho pose, gồm precision, recall, F1, TP, FP và FN

Dự đoán#

Sử dụng model YOLO26n-pose đã train để chạy dự đoán trên ảnh.

from ultralytics import YOLO

# Tải model
model = YOLO("yolo26n-pose.pt")  # tải model chính thức
model = YOLO("path/to/best.pt")  # tải model tùy chỉnh

# Dự đoán bằng model
results = model("https://ultralytics.com/images/bus.jpg")  # dự đoán trên một ảnh

# Truy cập kết quả
for result in results:
    xy = result.keypoints.xy  # tọa độ x và y
    xyn = result.keypoints.xyn  # normalized
    kpts = result.keypoints.data  # x, y, độ hiển thị (nếu có)

Xem chi tiết đầy đủ về chế độ predict trên trang Dự đoán.

Đầu ra kết quả#

Ước tính tư thế trả về một đối tượng Results cho mỗi ảnh. Các trường dự đoán chính là result.keypoints cho tọa độ pose và result.boxes cho các instance được phát hiện mà những keypoint đó thuộc về.

Để xem các trường Results dành riêng cho từng tác vụ trên tất cả tác vụ, hãy tham khảo mục Kết quả dự đoán theo tác vụ.

Bản đồ chỉ mục keypoint#

Các model YOLO26 Pose mặc định dự đoán 17 keypoint COCO, vì vậy chỉ mục k trong result.keypoints.xy[:, k] là:

0. Mũi
1. Mắt trái
2. Mắt phải
3. Tai trái
4. Tai phải
5. Vai trái
6. Vai phải
7. Khuỷu tay trái
8. Khuỷu tay phải
9. Cổ tay trái
10. Cổ tay phải
11. Hông trái
12. Hông phải
13. Đầu gối trái
14. Đầu gối phải
15. Mắt cá chân trái
16. Mắt cá chân phải

Export#

Export model YOLO26n-pose sang định dạng khác như ONNX, CoreML, v.v.

from ultralytics import YOLO

# Tải model
model = YOLO("yolo26n-pose.pt")  # tải model chính thức
model = YOLO("path/to/best.pt")  # tải model tùy chỉnh

# # Xuất model
model.export(format="onnx")

Các định dạng export hiện có cho YOLO26-pose được liệt kê trong bảng bên dưới. Bạn có thể export sang bất kỳ định dạng nào bằng đối số format, chẳng hạn format='onnx' hoặc format='engine'. Bạn có thể predict hoặc validate trực tiếp trên các model đã export, chẳng hạn yolo predict model=yolo26n-pose.onnx. Sau khi hoàn tất quá trình export, các ví dụ sử dụng sẽ được hiển thị cho model của bạn.

nms=None mặc định xuất đầu ra thô cho NMS bên ngoài. Đặt nms=False để chọn một head không dùng NMS hiện có; các định dạng không được hỗ trợ sẽ chuyển về luồng đầu ra gốc. Các mục nms ở trên xác định những định dạng có thể tích hợp NMS với nms=True.

Xem chi tiết đầy đủ về export trên trang Export.

Câu hỏi thường gặp#