RT-DETR của Baidu: Bộ phát hiện đối tượng thời gian thực dựa trên Transformer thị giác#

Tổng quan#

Real-Time Detection Transformer (RT-DETR), do Baidu phát triển, là bộ phát hiện đối tượng end-to-end tiên tiến, mang lại hiệu năng thời gian thực đồng thời duy trì độ chính xác cao. Model dựa trên ý tưởng của DETR (framework không cần NMS), đồng thời giới thiệu backbone dựa trên tích chập và bộ mã hóa lai hiệu quả để đạt tốc độ thời gian thực. RT-DETR xử lý hiệu quả các đặc trưng đa tỷ lệ bằng cách tách biệt tương tác trong cùng tỷ lệ với hợp nhất xuyên tỷ lệ. Model có khả năng thích ứng cao, hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp decoder khác nhau mà không cần huấn luyện lại. RT-DETR hoạt động xuất sắc trên các backend tăng tốc như CUDA với TensorRT, vượt trội hơn nhiều bộ phát hiện đối tượng thời gian thực khác.

Tổng quan về RT-DETR của Baidu. Sơ đồ kiến trúc model RT-DETR cho thấy ba giai đoạn cuối của backbone {S3, S4, S5} là đầu vào của encoder. Bộ mã hóa lai hiệu quả chuyển đổi các đặc trưng đa tỷ lệ thành chuỗi đặc trưng ảnh thông qua tương tác đặc trưng trong cùng tỷ lệ (AIFI) và module hợp nhất đặc trưng xuyên tỷ lệ (CCFM). Cơ chế chọn query nhận biết IoU được dùng để chọn một số lượng cố định đặc trưng ảnh làm query đối tượng ban đầu cho decoder. Cuối cùng, decoder cùng các đầu dự đoán phụ tối ưu lặp lại query đối tượng để tạo ra các box và điểm tin cậy (nguồn).

Tính năng chính#

• Bộ mã hóa lai hiệu quả: RT-DETR của Baidu sử dụng bộ mã hóa lai hiệu quả để xử lý các đặc trưng đa tỷ lệ bằng cách tách biệt tương tác trong cùng tỷ lệ với hợp nhất xuyên tỷ lệ. Thiết kế độc đáo dựa trên Vision Transformer này giúp giảm chi phí tính toán và cho phép phát hiện đối tượng theo thời gian thực.
• Chọn query nhận biết IoU: RT-DETR của Baidu cải thiện quá trình khởi tạo query đối tượng bằng cách sử dụng cơ chế chọn query nhận biết IoU. Nhờ đó, model tập trung vào những đối tượng phù hợp nhất trong cảnh, tăng độ chính xác phát hiện.
• Tốc độ suy luận có thể điều chỉnh: RT-DETR của Baidu hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp decoder khác nhau mà không cần huấn luyện lại. Khả năng thích ứng này hỗ trợ triển khai thực tế trong nhiều tình huống phát hiện đối tượng thời gian thực.
• Framework không cần NMS: Dựa trên DETR, RT-DETR loại bỏ nhu cầu hậu xử lý ức chế phi cực đại, giúp đơn giản hóa pipeline phát hiện và có khả năng cải thiện hiệu quả.
• Phát hiện không cần anchor: Là một bộ phát hiện không cần anchor, RT-DETR đơn giản hóa quy trình phát hiện và có thể cải thiện khả năng tổng quát hóa trên các bộ dữ liệu khác nhau.

Model được tiền huấn luyện#

Ultralytics Python API cung cấp các model RT-DETR PaddlePaddle được huấn luyện trước với nhiều kích thước khác nhau:

• RT-DETR-L: 53.0% AP trên COCO val2017, 114 FPS trên GPU T4
• RT-DETR-X: 54.8% AP trên COCO val2017, 74 FPS trên GPU T4

Ngoài ra, Baidu đã phát hành RTDETRv2 vào tháng 7 năm 2024, tiếp tục cải tiến kiến trúc ban đầu với các chỉ số hiệu năng tốt hơn.

Ví dụ sử dụng#

Ví dụ này cung cấp các ví dụ đơn giản về huấn luyện và suy luận RT-DETR. Để xem tài liệu đầy đủ về các chế độ này và các chế độ khác, hãy xem các trang tài liệu Dự đoán, Huấn luyện, Đánh giá và Xuất. Các model cũng có thể được huấn luyện trên GPU đám mây thông qua Ultralytics Platform.

from ultralytics import RTDETR

# Tải model RT-DETR-l được huấn luyện trước trên COCO
model = RTDETR("rtdetr-l.pt")

# Hiển thị thông tin model (không bắt buộc)
model.info()

# Huấn luyện model trên dataset mẫu COCO8 trong 100 epoch
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Chạy suy luận bằng model RT-DETR-l trên ảnh 'bus.jpg'
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Chọn một hoặc cả hai thiết lập sau khi đánh giá sự đánh đổi giữa tốc độ và độ chính xác.
head.decoder.eval_idx = 3  # Sử dụng 4 trong 6 lớp decoder.
head.num_queries = 100  # Sử dụng ít query đối tượng hơn.

results = rtdetr("path/to/image.jpg")

# Quá trình export sử dụng cùng thiết lập decoder và query, bao gồm cả khi export sang TensorRT.
rtdetr.export(format="engine", device=0, quantize=16)

Các tác vụ và chế độ được hỗ trợ#

Bảng này trình bày các loại model, trọng số được huấn luyện trước cụ thể, những tác vụ mà từng model hỗ trợ và các chế độ được hỗ trợ (Huấn luyện, Validation, Dự đoán, Export), được đánh dấu bằng emoji ✅.

Các trường hợp sử dụng phù hợp nhất#

RT-DETR đặc biệt phù hợp với các ứng dụng đòi hỏi cả độ chính xác cao và hiệu năng thời gian thực:

• Xe tự hành: Dùng để nhận biết môi trường đáng tin cậy trong các hệ thống xe tự lái, nơi tốc độ và độ chính xác đều đóng vai trò quan trọng. Tìm hiểu thêm về AI trong xe tự lái.
• Robot tiên tiến: Giúp robot thực hiện các tác vụ phức tạp đòi hỏi nhận dạng và tương tác chính xác với đối tượng trong môi trường biến động. Khám phá vai trò của AI trong robot.
• Chẩn đoán hình ảnh y tế: Dùng trong các ứng dụng y tế, nơi độ chính xác của việc phát hiện đối tượng có thể đóng vai trò thiết yếu trong chẩn đoán. Khám phá AI trong chăm sóc sức khỏe.
• Hệ thống giám sát: Dùng cho các ứng dụng an ninh cần giám sát thời gian thực với độ chính xác phát hiện cao. Tìm hiểu về hệ thống báo động an ninh.
• Phân tích ảnh vệ tinh: Dùng để phân tích chi tiết ảnh độ phân giải cao, nơi khả năng hiểu ngữ cảnh toàn cục rất quan trọng. Đọc về thị giác máy tính trong ảnh vệ tinh.

Trích dẫn và lời cảm ơn#

Nếu sử dụng RT-DETR của Baidu trong nghiên cứu hoặc phát triển, vui lòng trích dẫn bài báo gốc:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Đối với RTDETRv2, bạn có thể trích dẫn bài báo năm 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Chúng tôi xin ghi nhận đóng góp của Baidu và nhóm PaddlePaddle trong việc tạo và duy trì tài nguyên giá trị này cho cộng đồng thị giác máy tính. Chúng tôi vô cùng trân trọng đóng góp của họ cho lĩnh vực này thông qua việc phát triển bộ phát hiện đối tượng thời gian thực dựa trên Vision Transformer, RT-DETR.

Câu hỏi thường gặp#