Bắt đầu

RTDETRv2 và PP-YOLOE+

Nghiên cứu thị giác máy tính đã tạo ra nhiều phương pháp kiến trúc cho phát hiện đối tượng thời gian thực. RTDETRv2 và PP-YOLOE+ theo đuổi những hướng tiếp cận khác biệt căn bản: một bên là Transformer phát hiện, bên kia là bộ phát hiện tích chập. Cả hai đều hướng đến khả năng phát hiện hiệu năng cao, nhưng cơ chế, phương pháp huấn luyện và kịch bản triển khai lý tưởng khác nhau.

Hướng dẫn này so sánh kiến trúc, chỉ số hiệu năng và hỗ trợ hệ sinh thái của chúng để giúp nhà phát triển và nhà nghiên cứu chọn model phù hợp với nhu cầu triển khai.

Tổng quan về model#

Trước khi phân tích dữ liệu hiệu năng, cần hiểu nguồn gốc và mục tiêu kiến trúc của từng model. Cả hai đều bắt nguồn từ các nhóm nghiên cứu tại Baidu, nhưng đại diện cho những nhánh khác nhau trong hệ phân loại model phát hiện đối tượng.

RTDETRv2#

RTDETRv2 kế thừa Real-Time Detection Transformer ban đầu và kết hợp backbone CNN với encoder lai hiệu quả cùng decoder Transformer. Đặc điểm nổi bật là dự đoán đầu cuối, loại bỏ nhu cầu Ức chế phi cực đại (NMS) trong bước hậu xử lý.

  • Tác giả: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang và Yi Liu
  • Tổ chức: Baidu
  • Ngày: 2024-07-24
  • arXiv: 2407.17140
  • GitHub: Repository RT-DETR

Tìm hiểu thêm về RTDETRv2

PP-YOLOE+#

PP-YOLOE+ là phiên bản cải tiến của PP-YOLOE do nhóm PaddleDetection phát triển, được tối ưu hóa cho ứng dụng công nghiệp. Model sử dụng kiến trúc CNN có khả năng mở rộng với head phát hiện không anchor. Được thiết kế để cân bằng tốt giữa tốc độ và độ chính xác, model đưa vào các kỹ thuật như Head căn chỉnh tác vụ hiệu quả (ET-head) và hàm mất mát tiêu cự phân phối nhằm cải thiện phát hiện đối tượng nhỏ.

Tìm hiểu thêm về PP-YOLOE+

Tích hợp hệ sinh thái

Dù cả hai model đều có kho mã nghiên cứu độc lập, bạn có thể thử nghiệm RT-DETR nguyên bản trực tiếp trong gói Python Ultralytics, nơi cung cấp API thống nhất và các tùy chọn xuất tích hợp sẵn.

Khác biệt về kiến trúc#

Khác biệt cơ bản giữa hai model này nằm ở cách xử lý ngữ cảnh hình ảnh và tạo dự đoán.

PP-YOLOE+ sử dụng backbone mạng nơ-ron tích chập (CNN) truyền thống nhưng được tối ưu hóa cao. Model dựa vào các trường tiếp nhận cục bộ để trích xuất đặc trưng, nhờ đó nhanh và hiệu quả khi triển khai tiêu chuẩn. Tuy nhiên, model vẫn cần hậu xử lý NMS để lọc các hộp giới hạn chồng lấp, có thể làm tăng độ trễ trong các cảnh dày đặc.

Ngược lại, RTDETRv2 sử dụng Encoder lai và Decoder Transformer. Nhờ đó, model có thể nắm bắt ngữ cảnh toàn cục trên toàn bộ ảnh. Cơ chế attention mô hình hóa mối quan hệ giữa các đối tượng, vì vậy model xuất trực tiếp các hộp giới hạn cuối cùng mà không cần NMS. Phương pháp đầu cuối này giữ độ trễ suy luận ổn định bất kể số lượng đối tượng được phát hiện.

Chỉ số hiệu năng và so sánh#

Khi đánh giá các chỉ số hiệu năng YOLO, cần cân bằng độ chính xác (mAP) với chi phí tính toán (FLOPs) và tốc độ suy luận. Bảng dưới đây cho thấy hiệu năng của hai model theo từng kích thước.

Modelkích thước
(pixel)
mAPval50-95Tốc độ
CPU ONNX
(ms)
Tốc độ
T4 TensorRT10
(ms)
params
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
PP-YOLOE+t64039.9-2.844.8519.15
PP-YOLOE+s64043.7-2.627.9317.36
PP-YOLOE+m64049.8-5.5623.4349.91
PP-YOLOE+l64052.9-8.3652.2110.07
PP-YOLOE+x64054.7-14.398.42206.59

PP-YOLOE+x đạt mAPval50-95 cao nhất trên bộ dữ liệu COCO ở mức 54,7%, cao hơn RTDETRv2-x 0,4 điểm, có độ trễ TensorRT thấp hơn một chút (14,3 ms so với 15,03 ms) nhưng sử dụng nhiều tham số hơn (98,42M so với 76M). Ở quy mô large, RTDETRv2-l chính xác hơn PP-YOLOE+l (53,4% so với 52,9%) và dùng ít tham số hơn, trong khi PP-YOLOE+l chạy nhanh hơn (8,36 ms so với 9,76 ms). PP-YOLOE+ cũng có các biến thể tiny và small với dưới 8M tham số, thuộc phân khúc kích thước mà RTDETRv2 không hỗ trợ, phù hợp cho triển khai ở thiết bị biên.

Lợi thế Ultralytics: Giới thiệu YOLO26#

RTDETRv2 và PP-YOLOE+ đều là các bộ phát hiện có năng lực, nhưng lĩnh vực này vẫn tiếp tục phát triển. Với nhà phát triển cần cân bằng giữa tốc độ, độ chính xác và hỗ trợ hệ sinh thái, Ultralytics YOLO26 là model được khuyến nghị cho các dự án mới.

YOLO26 đưa khả năng suy luận đầu cuối của Transformer phát hiện vào CNN. Model cung cấp chế độ suy luận đầu cuối không cần NMS tùy chọn (nms=False), bỏ qua bước hậu xử lý NMS khi được bật. Model cũng giới thiệu Optimizer MuSGD, sự kết hợp giữa SGD và Muon lấy cảm hứng từ quá trình huấn luyện mô hình ngôn ngữ lớn (LLM), giúp huấn luyện ổn định hơn và hội tụ nhanh hơn.

Tối ưu cho thiết bị biên

Không giống các model Transformer nặng đòi hỏi nhiều bộ nhớ CUDA, YOLO26 có tính năng Loại bỏ DFL (Distribution Focal Loss) và được tối ưu hóa cho điện toán biên, giúp YOLO26n suy luận trên CPU nhanh hơn đến 43% so với YOLO11n.

YOLO26 còn vượt xa tác vụ phát hiện đối tượng khi hỗ trợ sẵn phân đoạn đối tượng, phân đoạn ngữ nghĩa, ước lượng độ sâu, phân loại ảnh, ước lượng tư thế và hộp giới hạn định hướng (OBB), trong khi PP-YOLOE+ tập trung vào phát hiện hộp giới hạn.

Phương pháp huấn luyện và hệ sinh thái#

Hiệu quả huấn luyện và tính dễ sử dụng là những điểm khác biệt lớn nhất giữa hệ sinh thái Ultralytics với các kho mã nghiên cứu độc lập. PP-YOLOE+ dựa trên framework PaddlePaddle, còn RTDETRv2 thường đòi hỏi thiết lập môi trường phức tạp; trong khi đó, các model Ultralytics dùng chung một gói có thể cài đặt và một API.

API Ultralytics cung cấp khả năng xử lý dataset tự động và tinh chỉnh siêu tham số tích hợp sẵn; các model YOLO được huấn luyện với yêu cầu bộ nhớ thấp hơn các bộ phát hiện Transformer. Có thể xuất model sang định dạng production như ONNX hoặc TensorRT chỉ bằng một lệnh.

Ví dụ code: Suy luận tinh gọn#

Ví dụ dưới đây chạy RT-DETR cùng model YOLO26 được khuyến nghị bằng gói Python Ultralytics:

from ultralytics import RTDETR, YOLO

# Khởi tạo model RT-DETR (Ultralytics hỗ trợ RT-DETR-L và RT-DETR-X gốc)
model_rtdetr = RTDETR("rtdetr-l.pt")

# Thực hiện suy luận không cần NMS trên ảnh kiểm thử
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_rtdetr[0].show()

# Khởi tạo model YOLO26 mới nhất
model_yolo26 = YOLO("yolo26n.pt")

# Huấn luyện model YOLO26 với mức sử dụng bộ nhớ được tối ưu hóa
model_yolo26.train(data="coco8.yaml", epochs=50, imgsz=640)

# Xuất sang TensorRT để triển khai trên thiết bị biên
model_yolo26.export(format="engine")

Ứng dụng và trường hợp sử dụng trong thực tế#

Việc lựa chọn giữa các kiến trúc này thường phụ thuộc vào phần cứng cụ thể và yêu cầu của ứng dụng.

  • RTDETRv2 hoạt động xuất sắc trong môi trường phía máy chủ và các tác vụ hiểu cảnh phức tạp. Attention toàn cục giúp model xử lý hiệu quả quản lý đám đông và phân tích ảnh y tế dày đặc, nơi các đối tượng chồng lấp nhiều có thể khiến NMS loại bỏ các phát hiện hợp lệ.
  • PP-YOLOE+ phù hợp với hoạt động kiểm tra công nghiệp tốc độ cao và các nhóm đã đầu tư vào hệ sinh thái PaddlePaddle. Số lượng tham số thấp ở các kích thước nhỏ giúp model khả thi trong một số ứng dụng robotics.
  • Ultralytics YOLO26 là lựa chọn được khuyến nghị cho phần lớn các triển khai thương mại. Hàm mất mát tiến triển và Gán nhãn nhận biết đối tượng nhỏ (STAL) cải thiện khả năng nhận diện đối tượng nhỏ, yếu tố quan trọng đối với hoạt động drone trên không và giám sát giao thông đô thị thông minh.

Trường hợp sử dụng và khuyến nghị#

Việc lựa chọn giữa RT-DETR và PP-YOLOE+ phụ thuộc vào yêu cầu cụ thể của dự án, các ràng buộc triển khai và lựa chọn hệ sinh thái của bạn.

Khi nào nên chọn RT-DETR#

RT-DETR là lựa chọn phù hợp cho:

  • Nghiên cứu phát hiện dựa trên Transformer: Các dự án nghiên cứu cơ chế attention và kiến trúc Transformer để phát hiện vật thể đầu cuối mà không cần NMS.
  • Tình huống cần độ chính xác cao với độ trễ linh hoạt: Các ứng dụng đặt độ chính xác phát hiện lên hàng đầu và chấp nhận độ trễ suy luận cao hơn đôi chút.
  • Phát hiện vật thể lớn: Các cảnh chủ yếu có vật thể cỡ trung bình đến lớn, trong đó cơ chế attention toàn cục của Transformer mang lại lợi thế tự nhiên.

Khi nào nên chọn PP-YOLOE+#

PP-YOLOE+ được khuyến nghị trong các trường hợp:

  • Tích hợp hệ sinh thái PaddlePaddle: Các tổ chức có hạ tầng hiện hữu được xây dựng trên framework và bộ công cụ PaddlePaddle của Baidu.
  • Triển khai biên bằng Paddle Lite: Triển khai lên phần cứng có kernel suy luận được tối ưu hóa cao, dành riêng cho Paddle Lite hoặc inference engine Paddle.
  • Phát hiện độ chính xác cao phía máy chủ: Các kịch bản ưu tiên độ chính xác phát hiện tối đa trên máy chủ GPU mạnh, nơi sự phụ thuộc vào framework không phải vấn đề đáng lo ngại.

Khi nào nên chọn Ultralytics (YOLO26)#

Với hầu hết dự án mới, Ultralytics YOLO26 mang lại sự kết hợp tốt nhất giữa hiệu năng và trải nghiệm developer:

  • Triển khai trên thiết bị biên không cần NMS: Các ứng dụng cần inference có độ trễ thấp và ổn định mà không phải xử lý hậu kỳ Non-Maximum Suppression phức tạp.
  • Môi trường chỉ có CPU: Các thiết bị không có tăng tốc GPU chuyên dụng, nơi tốc độ inference CPU nhanh hơn tới 43% của YOLO26 (YOLO26n so với YOLO11n) mang lại lợi thế đáng kể.
  • Phát hiện vật thể nhỏ: Các tình huống khó như ảnh chụp từ drone trên không hoặc phân tích cảm biến IoT, trong đó ProgLoss và STAL cải thiện độ chính xác khi phát hiện vật thể nhỏ.

Kết luận#

RTDETRv2 và PP-YOLOE+ cho thấy cả kiến trúc Transformer lẫn CNN được tối ưu hóa đều khả thi cho phát hiện thời gian thực. Tuy nhiên, triển khai model từ các codebase nghiên cứu riêng biệt có thể làm chậm tiến độ đưa vào production.

Ultralytics Platform kết hợp gán nhãn, huấn luyện và triển khai trong một quy trình làm việc. Khi chuyển sang các model tích hợp như YOLO11 hoặc YOLO26 mới hơn, các nhóm có được sự cân bằng tốt giữa độ chính xác và tốc độ, yêu cầu bộ nhớ thấp hơn và giảm khối lượng công việc phát triển.

Người đóng góp

Bình luận

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.