Ước lượng Tư thế với Ultralytics YOLO#

Ước lượng tư thế (pose estimation) là tác vụ bao gồm việc xác định vị trí của các điểm cụ thể trong một hình ảnh, thường được gọi là các điểm khóa (keypoints). Các điểm khóa có thể đại diện cho các bộ phận khác nhau của đối tượng như khớp, mốc, hoặc các đặc điểm nổi bật khác. Vị trí của các điểm khóa thường được biểu diễn dưới dạng tập hợp các tọa độ 2D [x, y], tùy chọn kèm theo cờ hiển thị [x, y, visible].

Đầu ra của một model ước lượng tư thế là một tập hợp các điểm đại diện cho các keypoints trên một đối tượng trong hình ảnh, thường đi kèm với các điểm số tin cậy cho mỗi điểm. Ước lượng tư thế là lựa chọn tối ưu khi bạn cần xác định các bộ phận cụ thể của một đối tượng trong khung hình và vị trí tương đối của chúng với nhau.

Models#

Các model Pose pretrained của Ultralytics YOLO26 được hiển thị ở đây. Các model Detect, Segment và Pose được pretrained trên tập dữ liệu COCO, các model Semantic được pretrained trên Cityscapes, và các model Classify được pretrained trên tập dữ liệu ImageNet.

Models được tải xuống tự động từ bản release Ultralytics mới nhất trong lần sử dụng đầu tiên.

• Giá trị mAP^val dành cho một mô hình đơn lẻ trên một thang đo duy nhất trên tập dữ liệu COCO Keypoints val2017.
  Tái tạo bằng yolo val pose data=coco-pose.yaml device=0
• Tốc độ được tính trung bình trên các hình ảnh COCO val bằng cách sử dụng một instance Amazon EC2 P4d.
  Tái tạo bằng yolo val pose data=coco-pose.yaml batch=1 device=0|cpu
• Giá trị Params và FLOPs dành cho model đã hợp nhất sau model.fuse(), thao tác này gộp các lớp Conv và BatchNorm lại và, đối với các model end2end, loại bỏ phần đầu phát hiện một-sang-nhiều phụ trợ. Các checkpoint đã huấn luyện trước giữ nguyên kiến trúc huấn luyện đầy đủ và có thể hiển thị số lượng cao hơn.

Huấn luyện (Train)#

Huấn luyện mô hình YOLO26-pose trên tập dữ liệu COCO8-pose. Tập dữ liệu COCO8-pose là một tập dữ liệu mẫu nhỏ hoàn hảo để kiểm thử và gỡ lỗi cho các mô hình ước lượng tư thế của bạn.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.yaml")  # build a new model from YAML
model = YOLO("yolo26n-pose.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-pose.yaml").load("yolo26n-pose.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="coco8-pose.yaml", epochs=100, imgsz=640)

Xem chi tiết chế độ train đầy đủ trong trang Train. Các mô hình Pose cũng có thể được huấn luyện bằng Ultralytics Platform cloud training.

Định dạng tập dữ liệu#

Định dạng tập dữ liệu pose YOLO có thể được tìm thấy chi tiết trong Dataset Guide. Để chuyển đổi tập dữ liệu hiện có của bạn từ các định dạng khác (như COCO v.v.) sang định dạng YOLO, vui lòng sử dụng công cụ JSON2YOLO của Ultralytics. Ultralytics Platform annotation cũng hỗ trợ nhãn tư thế với các mẫu khung xương có sẵn cho người, tay, khuôn mặt và bố cục điểm khóa tùy chỉnh.

Đối với các tác vụ ước lượng tư thế tùy chỉnh, bạn cũng có thể khám phá các tập dữ liệu chuyên biệt như Tiger-Pose để ước lượng tư thế động vật, Hand Keypoints để theo dõi bàn tay, hoặc Dog-Pose để phân tích tư thế chó.

Val#

Đánh giá độ chính xác của mô hình YOLO26n-pose đã huấn luyện trên tập dữ liệu COCO8-pose. Không cần đối số nào vì model giữ lại data và các đối số huấn luyện của nó dưới dạng các thuộc tính của mô hình.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val()  # no arguments needed, dataset and settings remembered
metrics.box.map  # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps  # a list containing mAP50-95 for each category
metrics.box.image_metrics  # per-image metrics dictionary for box with precision, recall, F1, TP, FP, and FN
metrics.pose.map  # map50-95(P)
metrics.pose.map50  # map50(P)
metrics.pose.map75  # map75(P)
metrics.pose.maps  # a list containing mAP50-95(P) for each category
metrics.pose.image_metrics  # per-image metrics dictionary for pose with precision, recall, F1, TP, FP, and FN

Dự đoán (Predict)#

Sử dụng mô hình YOLO26n-pose đã huấn luyện để chạy dự đoán trên hình ảnh. predict mode cho phép bạn thực hiện suy luận trên hình ảnh, video hoặc luồng thời gian thực.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    xy = result.keypoints.xy  # x and y coordinates
    xyn = result.keypoints.xyn  # normalized
    kpts = result.keypoints.data  # x, y, visibility (if available)

Xem chi tiết đầy đủ về chế độ predict tại trang Predict.

Đầu ra kết quả#

Ước lượng tư thế trả về một đối tượng Results cho mỗi hình ảnh. Các trường dự đoán chính là result.keypoints cho tọa độ tư thế và result.boxes cho các thực thể được phát hiện mà các điểm khóa đó thuộc về.

Đối với các trường Results dành riêng cho từng tác vụ trên mọi tác vụ, hãy xem phần Predict Results by Task.

Xuất (Export)#

Xuất mô hình YOLO26n Pose sang một định dạng khác như ONNX, CoreML, v.v. Điều này cho phép bạn triển khai mô hình của mình trên nhiều nền tảng và thiết bị khác nhau để thực hiện suy luận thời gian thực.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Các định dạng xuất YOLO26-pose khả dụng nằm trong bảng dưới đây. Bạn có thể xuất sang bất kỳ định dạng nào bằng cách sử dụng đối số format, tức là format='onnx' hoặc format='engine'. Bạn có thể dự đoán hoặc xác thực trực tiếp trên các mô hình đã xuất, tức là yolo predict model=yolo26n-pose.onnx. Các ví dụ sử dụng được hiển thị cho mô hình của bạn sau khi quá trình xuất hoàn tất.

Xem chi tiết đầy đủ về export tại trang Export.

Câu hỏi thường gặp#