RT-DETR của Baidu: Trình phát hiện đối tượng thời gian thực dựa trên Transformer thị giác#

Tổng quan#

Real-Time Detection Transformer (RT-DETR), do Baidu phát triển, là một trình phát hiện đối tượng đầu cuối tiên tiến mang lại hiệu suất thời gian thực trong khi vẫn duy trì độ chính xác cao. Nó dựa trên ý tưởng của DETR (khung không cần NMS), đồng thời giới thiệu backbone dựa trên CNN và bộ mã hóa lai hiệu quả để đạt được tốc độ thời gian thực. RT-DETR xử lý hiệu quả các đặc trưng đa tỷ lệ bằng cách tách biệt tương tác trong cùng tỷ lệ và hợp nhất xuyên tỷ lệ. Model này có tính thích ứng cao, hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp decoder khác nhau mà không cần huấn luyện lại. RT-DETR hoạt động xuất sắc trên các backend được tăng tốc như CUDA với TensorRT, vượt trội hơn nhiều trình phát hiện đối tượng thời gian thực khác.

Tổng quan về RT-DETR của Baidu. Sơ đồ kiến trúc model RT-DETR cho thấy ba giai đoạn cuối cùng của backbone {S3, S4, S5} làm đầu vào cho bộ mã hóa. Bộ mã hóa lai hiệu quả biến đổi các đặc trưng đa tỷ lệ thành một chuỗi các đặc trưng hình ảnh thông qua mô-đun tương tác đặc trưng trong cùng tỷ lệ (AIFI) và mô-đun hợp nhất đặc trưng xuyên tỷ lệ (CCFM). Việc lựa chọn truy vấn nhận biết IoU được áp dụng để chọn một số lượng cố định các đặc trưng hình ảnh làm các truy vấn đối tượng ban đầu cho decoder. Cuối cùng, decoder với các đầu dự đoán phụ trợ tối ưu hóa lặp đi lặp lại các truy vấn đối tượng để tạo ra các hộp và điểm số tin cậy (nguồn).

Tính năng chính#

• Bộ mã hóa lai hiệu quả: RT-DETR của Baidu sử dụng bộ mã hóa lai hiệu quả giúp xử lý các đặc trưng đa tỷ lệ bằng cách tách biệt tương tác trong cùng tỷ lệ và hợp nhất xuyên tỷ lệ. Thiết kế độc đáo dựa trên Vision Transformer này làm giảm chi phí tính toán và cho phép phát hiện đối tượng thời gian thực.
• Lựa chọn truy vấn (Query Selection) nhận biết IoU: RT-DETR của Baidu cải thiện việc khởi tạo truy vấn vật thể bằng cách sử dụng lựa chọn truy vấn nhận biết IoU. Điều này cho phép mô hình tập trung vào các vật thể liên quan nhất trong cảnh, nâng cao độ chính xác phát hiện.
• Tốc độ suy luận thích ứng: RT-DETR của Baidu hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp decoder khác nhau mà không cần huấn luyện lại. Khả năng thích ứng này tạo điều kiện thuận lợi cho việc ứng dụng thực tế trong nhiều kịch bản phát hiện vật thể thời gian thực.
• Khung không cần NMS: Dựa trên DETR, RT-DETR loại bỏ nhu cầu hậu xử lý non-maximum suppression, đơn giản hóa quy trình phát hiện và có khả năng cải thiện hiệu quả.
• Phát hiện không cần neo: Là một trình phát hiện không cần neo, RT-DETR đơn giản hóa quá trình phát hiện và có thể cải thiện khả năng tổng quát hóa trên các dataset khác nhau.

Các model đã được tiền huấn luyện#

Ultralytics Python API cung cấp các mô hình RT-DETR PaddlePaddle đã được huấn luyện trước với các quy mô khác nhau:

• RT-DETR-L: 53.0% mAP trên COCO val2017, 114 FPS trên T4 GPU
• RT-DETR-X: 54.8% mAP trên COCO val2017, 74 FPS trên T4 GPU

Ngoài ra, Baidu đã phát hành RTDETRv2 vào tháng 7 năm 2024, cải tiến hơn nữa kiến trúc ban đầu với các chỉ số hiệu suất nâng cao.

Ví dụ Sử dụng#

Ví dụ này cung cấp các ví dụ huấn luyện và suy luận RT-DETR đơn giản. Để có tài liệu đầy đủ về các chế độ này và các chế độ khác, hãy xem các trang tài liệu Predict, Train, Val và Export. Các model cũng có thể được huấn luyện trên GPU đám mây thông qua Ultralytics Platform.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Choose one or both settings after validating the speed/accuracy trade-off.
head.decoder.eval_idx = 3  # Use 4 of 6 decoder layers.
head.num_queries = 100  # Use fewer object queries.

results = rtdetr("path/to/image.jpg")

# Export uses the same decoder and query settings, including TensorRT exports.
rtdetr.export(format="engine", device=0, quantize=16)

Các tác vụ và chế độ được hỗ trợ#

Bảng này trình bày các loại model, trọng số pretrained cụ thể, các tác vụ được hỗ trợ bởi mỗi model và các chế độ khác nhau (Train , Val, Predict, Export) được hỗ trợ, được biểu thị bằng các biểu tượng cảm xúc ✅.

Các trường hợp sử dụng lý tưởng#

RT-DETR đặc biệt phù hợp cho các ứng dụng đòi hỏi cả độ chính xác cao và hiệu suất thời gian thực:

• Xe tự hành: Cho độ nhận thức môi trường đáng tin cậy trong các hệ thống tự lái nơi cả tốc độ và độ chính xác đều quan trọng. Tìm hiểu thêm về AI trong xe tự lái.
• Robot tiên tiến: Cho phép robot thực hiện các tác vụ phức tạp đòi hỏi khả năng nhận dạng đối tượng chính xác và tương tác trong môi trường động. Khám phá vai trò của AI trong robot.
• Chẩn đoán hình ảnh y tế: Cho các ứng dụng trong chăm sóc sức khỏe nơi độ chính xác trong việc phát hiện đối tượng có thể mang tính quyết định cho việc chẩn đoán. Khám phá AI trong y tế.
• Hệ thống giám sát: Cho các ứng dụng bảo mật yêu cầu giám sát thời gian thực với độ chính xác phát hiện cao. Tìm hiểu về hệ thống báo động an ninh.
• Phân tích hình ảnh vệ tinh: Cho việc phân tích chi tiết hình ảnh độ phân giải cao nơi việc hiểu ngữ cảnh toàn cục là quan trọng. Đọc về thị giác máy tính trong hình ảnh vệ tinh.

Trích dẫn và Ghi nhận#

Nếu bạn sử dụng RT-DETR của Baidu trong công việc nghiên cứu hoặc phát triển của mình, vui lòng trích dẫn bài báo gốc:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Đối với RTDETRv2, bạn có thể trích dẫn bài báo năm 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Chúng tôi xin gửi lời cảm ơn đến Baidu và nhóm PaddlePaddle vì đã tạo ra và duy trì tài nguyên quý giá này cho cộng đồng thị giác máy tính. Sự đóng góp của họ cho lĩnh vực này với việc phát triển trình phát hiện đối tượng thời gian thực dựa trên Vision Transformer, RT-DETR, được đánh giá rất cao.

Câu hỏi thường gặp#