YOLOv10: Phát hiện đối tượng end-to-end theo thời gian thực#

YOLOv10, được phát hành vào tháng 5 năm 2024 và xây dựng trên Ultralytics Python package bởi các nhà nghiên cứu tại Tsinghua University, giới thiệu phương pháp mới cho phát hiện đối tượng thời gian thực, khắc phục những hạn chế trong hậu xử lý và kiến trúc model ở các phiên bản YOLO trước. Bằng cách loại bỏ suppression phi cực đại (NMS) và tối ưu hóa nhiều thành phần của model, YOLOv10 đạt hiệu năng vượt trội với chi phí tính toán giảm đáng kể tại thời điểm ra mắt. Thiết kế end-to-end không cần NMS tiên phong cho một phương pháp tiếp tục được phát triển trong YOLO26.

Tổng quan#

Phát hiện đối tượng thời gian thực hướng đến việc dự đoán chính xác các lớp đối tượng và vị trí của chúng trong ảnh với độ trễ thấp. Dòng YOLO luôn dẫn đầu trong lĩnh vực nghiên cứu này nhờ sự cân bằng giữa hiệu năng và hiệu quả. Tuy nhiên, việc phụ thuộc vào NMS và những điểm kém hiệu quả trong kiến trúc đã cản trở hiệu năng tối ưu. YOLOv10 giải quyết các vấn đề này bằng cách đưa vào cơ chế gán cặp nhất quán để huấn luyện không cần NMS và chiến lược thiết kế model toàn diện, định hướng theo hiệu quả và độ chính xác.

Kiến trúc#

Kiến trúc YOLOv10 kế thừa thế mạnh của các model YOLO trước đó, đồng thời giới thiệu một số cải tiến then chốt. Kiến trúc model bao gồm các thành phần sau:

1. Backbone: Đảm nhiệm trích xuất đặc trưng, backbone trong YOLOv10 sử dụng phiên bản cải tiến của CSPNet (Mạng phân đoạn một phần qua các giai đoạn) để cải thiện luồng gradient và giảm dư thừa tính toán.
2. Neck: Neck được thiết kế để tổng hợp đặc trưng từ nhiều tỷ lệ khác nhau rồi truyền chúng đến head. Thành phần này bao gồm các lớp PAN (Mạng tổng hợp đường dẫn) để hợp nhất đặc trưng đa tỷ lệ hiệu quả.
3. Head một-nhiều: Tạo nhiều dự đoán cho mỗi đối tượng trong quá trình huấn luyện nhằm cung cấp tín hiệu giám sát phong phú và cải thiện độ chính xác học tập.
4. Đầu ra One-to-One: Tạo một dự đoán tốt nhất duy nhất cho mỗi đối tượng trong quá trình suy luận, loại bỏ nhu cầu sử dụng NMS, nhờ đó giảm độ trễ và cải thiện hiệu quả.

Tính năng chính#

1. Huấn luyện không cần NMS: Sử dụng các phép gán kép nhất quán để loại bỏ nhu cầu sử dụng NMS, giảm độ trễ suy luận.
2. Thiết kế model toàn diện: Tối ưu hóa toàn diện nhiều thành phần xét trên cả khía cạnh hiệu quả và độ chính xác, bao gồm các đầu phân loại nhẹ, giảm kích thước tách biệt không gian-kênh và thiết kế khối được định hướng bằng thứ hạng.
3. Năng lực của model được nâng cao: Tích hợp các phép tích chập với kernel lớn và các module self-attention một phần để cải thiện hiệu năng mà không làm phát sinh chi phí tính toán đáng kể.

Các biến thể model#

YOLOv10 có nhiều kích cỡ model để đáp ứng các nhu cầu ứng dụng khác nhau:

• YOLOv10n: Phiên bản Nano dành cho môi trường có tài nguyên cực kỳ hạn chế.
• YOLOv10s: Phiên bản Small cân bằng giữa tốc độ và độ chính xác.
• YOLOv10m: Phiên bản Medium dành cho mục đích sử dụng tổng quát.
• YOLOv10b: Phiên bản cân bằng, có chiều rộng tăng lên để đạt độ chính xác cao hơn.
• YOLOv10l: Phiên bản Large cho độ chính xác cao hơn, đổi lại cần nhiều tài nguyên tính toán hơn.
• YOLOv10x: Phiên bản Extra-large cho độ chính xác và hiệu năng tối đa.

Hiệu năng#

YOLOv10 vượt trội hơn các phiên bản YOLO trước đây và các model tiên tiến nhất khác về độ chính xác và hiệu quả. Ví dụ, YOLOv10s nhanh hơn RT-DETR-R18 1.8 lần với AP tương đương trên tập dữ liệu COCO, còn YOLOv10b có độ trễ thấp hơn 46% và ít tham số hơn 25% so với YOLOv9-C trong khi đạt hiệu năng tương đương.

Phương pháp#

Gán kép nhất quán để huấn luyện không cần NMS#

YOLOv10 sử dụng phương pháp gán nhãn kép, kết hợp chiến lược one-to-many và one-to-one trong quá trình huấn luyện để đảm bảo giám sát phong phú và triển khai end-to-end hiệu quả. Theo mặc định, Ultralytics prediction và validation sử dụng đầu one-to-many cùng NMS; đặt nms=False để chọn đầu không cần NMS. Metric ghép cặp nhất quán giúp đồng bộ hóa việc giám sát giữa hai chiến lược, nâng cao chất lượng dự đoán trong quá trình suy luận.

Thiết kế model toàn diện dựa trên Hiệu quả-Độ chính xác#

Cải thiện hiệu quả#

1. Đầu phân loại nhẹ: Giảm chi phí tính toán của đầu phân loại bằng cách sử dụng các phép tích chập phân tách theo chiều sâu.
2. Giảm kích thước tách biệt không gian-kênh: Tách biệt việc giảm kích thước không gian và điều biến kênh để giảm thiểu mất mát thông tin và chi phí tính toán.
3. Thiết kế khối được định hướng bằng thứ hạng: Điều chỉnh thiết kế khối dựa trên mức độ dư thừa nội tại của từng stage, đảm bảo sử dụng tham số tối ưu.

Cải thiện độ chính xác#

1. Tích chập kernel lớn: Mở rộng trường tiếp nhận để tăng cường khả năng trích xuất đặc trưng.
2. Self-Attention một phần (PSA): Tích hợp các module self-attention để cải thiện khả năng học biểu diễn toàn cục với chi phí tối thiểu.

Thử nghiệm và kết quả#

YOLOv10 đã được kiểm thử rộng rãi trên các benchmark tiêu chuẩn như COCO, cho thấy hiệu năng và hiệu quả vượt trội. Model đạt kết quả tiên tiến nhất trên nhiều biến thể khác nhau, thể hiện những cải thiện đáng kể về độ trễ và độ chính xác so với các phiên bản trước cũng như các bộ phát hiện hiện đại khác.

So sánh#

So với các bộ phát hiện tiên tiến nhất khác:

• YOLOv10s / x nhanh hơn RT-DETR-R18 / R101 lần lượt 1.8× / 1.3× với độ chính xác tương đương
• YOLOv10b có ít hơn 25% tham số và độ trễ thấp hơn 46% so với YOLOv9-C ở cùng độ chính xác
• YOLOv10l / x vượt trội hơn YOLOv8l / x lần lượt 0.3 AP / 0.5 AP, đồng thời có ít hơn 1.8× / 2.3× tham số

Các giá trị Params và FLOPs áp dụng cho model đã hợp nhất sau model.fuse(), thao tác này gộp các lớp Conv và BatchNorm, đồng thời loại bỏ đầu phát hiện one-to-many phụ trợ. Các checkpoint pretrained giữ nguyên kiến trúc huấn luyện đầy đủ và có thể hiển thị số liệu cao hơn.

Ví dụ sử dụng#

Model cũng có thể được huấn luyện trên GPU đám mây thông qua Ultralytics Platform. Để dự đoán trên hình ảnh mới bằng YOLOv10:

from ultralytics import YOLO

# Tải model YOLOv10n pretrained
model = YOLO("yolov10n.pt")

# Thực hiện phát hiện đối tượng trên hình ảnh
results = model("image.jpg")

# Hiển thị kết quả
results[0].show()

Để huấn luyện YOLOv10 trên tập dữ liệu tùy chỉnh:

from ultralytics import YOLO

# Tải model YOLOv10n từ đầu
model = YOLO("yolov10n.yaml")

# Huấn luyện model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Các tác vụ và chế độ được hỗ trợ#

Dòng model YOLOv10 cung cấp nhiều model khác nhau, mỗi model được tối ưu hóa để đạt hiệu năng cao trong Phát hiện đối tượng. Các model này đáp ứng nhu cầu tính toán và yêu cầu độ chính xác đa dạng, phù hợp với nhiều ứng dụng.

Xuất YOLOv10#

Do các toán tử mới được giới thiệu trong YOLOv10, hiện chưa hỗ trợ tất cả các định dạng xuất do Ultralytics cung cấp. Bảng sau liệt kê những định dạng đã được chuyển đổi thành công bằng Ultralytics cho YOLOv10. Bạn có thể tạo pull request nếu có thể đóng góp thay đổi để bổ sung hỗ trợ xuất YOLOv10 sang các định dạng khác.

Kết luận#

Khi ra mắt, YOLOv10 thiết lập một tiêu chuẩn mới cho phát hiện đối tượng thời gian thực bằng cách khắc phục những hạn chế của các phiên bản YOLO trước và tích hợp các chiến lược thiết kế đổi mới. Phương pháp không cần NMS của model tiên phong cho phát hiện đối tượng end-to-end trong dòng YOLO. Để xem model Ultralytics mới nhất với hiệu năng được cải thiện và suy luận không cần NMS, hãy xem YOLO26.

Trích dẫn và lời cảm ơn#

Chúng tôi xin ghi nhận các tác giả YOLOv10 tại Đại học Thanh Hoa vì những nghiên cứu chuyên sâu và đóng góp đáng kể cho framework Ultralytics:

@inproceedings{wang2024yolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  booktitle={Advances in Neural Information Processing Systems},
  doi = {10.52202/079017-3429},
  url = {https://proceedings.neurips.cc/paper_files/paper/2024/file/c34ddd05eb089991f06f3c5dc36836e0-Paper-Conference.pdf},
  volume={37},
  pages={107984--108011},
  year={2024}
}

Để biết chi tiết về triển khai, các đổi mới trong kiến trúc và kết quả thực nghiệm, vui lòng tham khảo bài báo nghiên cứu YOLOv10 và kho GitHub của nhóm Đại học Thanh Hoa.

Câu hỏi thường gặp#