RT-DETR của Baidu: Bộ phát hiện đối tượng thời gian thực dựa trên Transformer thị giác#

Tổng quan#

Real-Time Detection Transformer (RT-DETR), do Baidu phát triển, là một bộ phát hiện đối tượng end-to-end tiên tiến, cung cấp hiệu năng thời gian thực đồng thời duy trì độ chính xác cao. Model này dựa trên ý tưởng của DETR (framework không cần NMS), đồng thời tích hợp backbone dựa trên convolution và một encoder lai hiệu quả để đạt tốc độ thời gian thực. RT-DETR xử lý hiệu quả các đặc trưng đa tỷ lệ bằng cách tách biệt tương tác trong cùng tỷ lệ và hợp nhất giữa các tỷ lệ. Model có khả năng thích ứng cao, hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp decoder khác nhau mà không cần huấn luyện lại. RT-DETR đạt hiệu năng vượt trội trên các backend tăng tốc như CUDA với TensorRT, vượt qua nhiều bộ phát hiện đối tượng thời gian thực khác.

Tổng quan về RT-DETR của Baidu. Sơ đồ kiến trúc model RT-DETR cho thấy ba stage cuối của backbone {S3, S4, S5} là đầu vào của encoder. Encoder lai hiệu quả chuyển đổi các đặc trưng đa tỷ lệ thành một chuỗi đặc trưng ảnh thông qua tương tác đặc trưng trong cùng tỷ lệ (AIFI) và module hợp nhất đặc trưng giữa các tỷ lệ (CCFM). Cơ chế lựa chọn query nhận biết IoU được sử dụng để chọn một số lượng cố định các đặc trưng ảnh làm object query ban đầu cho decoder. Cuối cùng, decoder với các head dự đoán phụ tối ưu hóa lặp các object query để tạo ra các box và điểm tin cậy (nguồn).

Tính năng chính#

• Encoder lai hiệu quả: RT-DETR của Baidu sử dụng encoder lai hiệu quả để xử lý các đặc trưng đa tỷ lệ bằng cách tách biệt tương tác trong cùng tỷ lệ và hợp nhất giữa các tỷ lệ. Thiết kế độc đáo dựa trên Vision Transformer này giảm chi phí tính toán và cho phép phát hiện đối tượng theo thời gian thực.
• Lựa chọn Query nhận biết IoU: RT-DETR của Baidu cải thiện việc khởi tạo object query bằng cách sử dụng cơ chế lựa chọn query nhận biết IoU. Điều này giúp model tập trung vào các đối tượng phù hợp nhất trong cảnh, nâng cao độ chính xác phát hiện.
• Tốc độ suy luận thích ứng: RT-DETR của Baidu hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp decoder khác nhau mà không cần huấn luyện lại. Khả năng thích ứng này tạo thuận lợi cho việc ứng dụng thực tế trong nhiều kịch bản phát hiện đối tượng thời gian thực.
• Framework không cần NMS: Dựa trên DETR, RT-DETR loại bỏ nhu cầu hậu xử lý non-maximum suppression, giúp đơn giản hóa pipeline phát hiện và có thể cải thiện hiệu năng.
• Phát hiện không dùng anchor: Là một bộ phát hiện không dùng anchor, RT-DETR đơn giản hóa quy trình phát hiện và có thể cải thiện khả năng tổng quát hóa trên các dataset khác nhau.

Các model đã tiền huấn luyện#

Python API của Ultralytics cung cấp các model RT-DETR PaddlePaddle pretrained với nhiều scale khác nhau:

• RT-DETR-L: AP 53,0% trên COCO val2017, 114 FPS trên GPU T4
• RT-DETR-X: AP 54,8% trên COCO val2017, 74 FPS trên GPU T4

Ngoài ra, Baidu đã phát hành RTDETRv2 vào tháng 7 năm 2024, tiếp tục cải thiện kiến trúc ban đầu với các chỉ số hiệu năng được nâng cao.

Ví dụ sử dụng#

Ví dụ này cung cấp các ví dụ đơn giản về huấn luyện và suy luận RT-DETR. Để xem tài liệu đầy đủ về các mode này và các mode khác, hãy xem các trang tài liệu Predict, Train, Val và Export. Model cũng có thể được huấn luyện trên GPU cloud thông qua Ultralytics Platform.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

Các task và mode được hỗ trợ#

Bảng này trình bày các loại model, trọng số pretrained cụ thể, các task được hỗ trợ bởi mỗi model và các mode khác nhau (Train, Val, Predict, Export) được hỗ trợ, được biểu thị bằng các biểu tượng cảm xúc ✅.

Các trường hợp sử dụng lý tưởng#

RT-DETR đặc biệt phù hợp với các ứng dụng yêu cầu cả độ chính xác cao và hiệu năng thời gian thực:

• Lái xe tự động: Dùng để nhận thức môi trường đáng tin cậy trong các hệ thống xe tự lái, nơi cả tốc độ và độ chính xác đều rất quan trọng. Tìm hiểu thêm về AI trong xe tự lái.
• Robot tiên tiến: Cho phép robot thực hiện các tác vụ phức tạp đòi hỏi nhận dạng và tương tác chính xác với đối tượng trong môi trường động. Tìm hiểu vai trò của AI trong robot.
• Ảnh y tế: Dùng cho các ứng dụng trong lĩnh vực chăm sóc sức khỏe, nơi độ chính xác trong phát hiện đối tượng có thể đóng vai trò quan trọng đối với việc chẩn đoán. Khám phá AI trong chăm sóc sức khỏe.
• Hệ thống giám sát: Dùng cho các ứng dụng an ninh yêu cầu giám sát thời gian thực với độ chính xác phát hiện cao. Tìm hiểu về hệ thống báo động an ninh.
• Phân tích ảnh vệ tinh: Dùng để phân tích chi tiết ảnh có độ phân giải cao, trong đó việc hiểu ngữ cảnh toàn cục rất quan trọng. Đọc về computer vision trong ảnh vệ tinh.

Trích dẫn và ghi nhận đóng góp#

Nếu sử dụng RT-DETR của Baidu trong công việc nghiên cứu hoặc phát triển, vui lòng trích dẫn bài báo gốc:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Đối với RTDETRv2, bạn có thể trích dẫn bài báo năm 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Chúng tôi xin ghi nhận Baidu và đội ngũ PaddlePaddle đã tạo ra và duy trì tài nguyên giá trị này cho cộng đồng computer vision. Những đóng góp của họ cho lĩnh vực này thông qua việc phát triển bộ phát hiện đối tượng thời gian thực dựa trên Vision Transformer, RT-DETR, rất đáng trân trọng.

FAQ#