Baidu của RT-DETR : Một máy dò đối tượng thời gian thực dựa trên Vision Transformer

Tổng quan

Bộ chuyển đổi phát hiện thời gian thực ( RT-DETR ), do Baidu phát triển, là một máy dò đối tượng đầu cuối tiên tiến cung cấp hiệu suất thời gian thực trong khi vẫn duy trì độ chính xác cao. Nó dựa trên ý tưởng của DETR (khung không có NMS), đồng thời giới thiệu xương sống dựa trên conv và bộ mã hóa lai hiệu quả để đạt được tốc độ thời gian thực. RT-DETR xử lý hiệu quả các tính năng đa thang đo bằng cách tách rời tương tác nội thang đo và hợp nhất giữa các thang đo. Mô hình có khả năng thích ứng cao, hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng các lớp giải mã khác nhau mà không cần đào tạo lại. RT-DETR nổi trội về các phần phụ trợ được tăng tốc như CUDA với TensorRT , vượt trội hơn nhiều máy phát hiện vật thể thời gian thực khác.

Đồng hồ: Bộ chuyển đổi phát hiện thời gian thực ( RT-DETR )

Tổng quan về Baidu RT-DETR . Các RT-DETR sơ đồ kiến trúc mô hình cho thấy ba giai đoạn cuối cùng của xương sống {S3, S4, S5} là đầu vào cho bộ mã hóa. Bộ mã hóa lai hiệu quả chuyển đổi các đặc điểm đa tỷ lệ thành một chuỗi các đặc điểm hình ảnh thông qua tương tác đặc điểm nội tỷ lệ (AIFI) và mô-đun hợp nhất đặc điểm đa tỷ lệ (CCFM). Lựa chọn truy vấn nhận biết IoU được sử dụng để chọn một số lượng cố định các đặc điểm hình ảnh để phục vụ như các truy vấn đối tượng ban đầu cho bộ giải mã. Cuối cùng, bộ giải mã với các đầu dự đoán phụ trợ lặp đi lặp lại tối ưu hóa các truy vấn đối tượng để tạo các hộp và điểm tin cậy (nguồn).

Các tính năng chính

• Bộ mã hóa lai hiệu quả: Baidu RT-DETR sử dụng bộ mã hóa lai hiệu quả xử lý các tính năng đa tỷ lệ bằng cách tách tương tác nội tỷ lệ và hợp nhất tỷ lệ chéo. Thiết kế dựa trên Vision Transformers độc đáo này giúp giảm chi phí tính toán và cho phép phát hiện đối tượng theo thời gian thực.
• Lựa chọn truy vấn nhận thức IoU: Baidu RT-DETR cải thiện việc khởi tạo truy vấn đối tượng bằng cách sử dụng lựa chọn truy vấn nhận biết IoU. Điều này cho phép mô hình tập trung vào các đối tượng có liên quan nhất trong cảnh, nâng cao độ chính xác của phát hiện.
• Tốc độ suy luận thích ứng: Baidu RT-DETR hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp giải mã khác nhau mà không cần đào tạo lại. Khả năng thích ứng này tạo điều kiện cho ứng dụng thực tế trong nhiều tình huống phát hiện đối tượng thời gian thực.

Các mô hình được đào tạo trước

Các Ultralytics Python API cung cấp được đào tạo trước PaddlePaddle RT-DETR các mô hình có quy mô khác nhau:

• RT-DETR -L: 53.0% AP trên COCO val2017, 114 FPS trên T4 GPU
• RT-DETR -X: 54,8% AP trên COCO val2017, 74 FPS trên T4 GPU

Ví dụ sử dụng

Ví dụ này cung cấp đơn giản RT-DETR ví dụ về đào tạo và suy luận. Để biết tài liệu đầy đủ về các chế độ này và các chế độ khác, hãy xem các trang tài liệu Predict , Train , Val và Export .

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

Nhiệm vụ và chế độ được hỗ trợ

Bảng này trình bày các loại mô hình, trọng số được đào tạo trước cụ thể, các tác vụ được hỗ trợ bởi từng mô hình và các chế độ khác nhau ( Train , Val , Predict , Export ) được hỗ trợ, được biểu thị bằng biểu tượng cảm xúc ✅.

Trích dẫn và Lời cảm ơn

Nếu bạn sử dụng Baidu RT-DETR trong công trình nghiên cứu hoặc phát triển của bạn, vui lòng trích dẫn bài báo gốc :

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Chúng tôi muốn cảm ơn Baidu và nhóm PaddlePaddle đã tạo ra và duy trì nguồn tài nguyên có giá trị này cho cộng đồng thị giác máy tính . Đóng góp của họ cho lĩnh vực này với sự phát triển của máy dò đối tượng thời gian thực dựa trên Vision Transformers, RT-DETR , được đánh giá cao.

CÂU HỎI THƯỜNG GẶP

Baidu là gì? RT-DETR mô hình và nó hoạt động như thế nào?

Baidu của RT-DETR (Real-Time Detection Transformer) là một bộ phát hiện đối tượng thời gian thực tiên tiến được xây dựng dựa trên kiến trúc Vision Transformer. Nó xử lý hiệu quả các tính năng đa thang đo bằng cách tách tương tác trong thang đo và hợp nhất thang đo chéo thông qua bộ mã hóa lai hiệu quả của nó. Bằng cách sử dụng lựa chọn truy vấn nhận biết IoU, mô hình tập trung vào các đối tượng có liên quan nhất, nâng cao độ chính xác phát hiện. Tốc độ suy luận thích ứng của nó, đạt được bằng cách điều chỉnh các lớp giải mã mà không cần đào tạo lại, làm cho RT-DETR phù hợp với nhiều tình huống phát hiện đối tượng thời gian thực khác nhau. Tìm hiểu thêm về RT-DETR các tính năng ở đây .

Làm thế nào tôi có thể sử dụng được đào tạo trước RT-DETR các mô hình được cung cấp bởi Ultralytics ?

Bạn có thể tận dụng Ultralytics Python API để sử dụng được đào tạo trước PaddlePaddle RT-DETR mô hình. Ví dụ, để tải một RT-DETR -l mô hình được đào tạo trước trên COCO val2017 và đạt FPS cao trên T4 GPU , bạn có thể sử dụng ví dụ sau:

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

Tại sao tôi nên chọn Baidu RT-DETR so với các máy dò vật thể thời gian thực khác?

Baidu của RT-DETR nổi bật nhờ bộ mã hóa lai hiệu quả và lựa chọn truy vấn nhận biết IoU, giúp giảm đáng kể chi phí tính toán trong khi vẫn duy trì độ chính xác cao. Khả năng độc đáo của nó là điều chỉnh tốc độ suy luận bằng cách sử dụng các lớp giải mã khác nhau mà không cần đào tạo lại, giúp tăng thêm tính linh hoạt đáng kể. Điều này làm cho nó đặc biệt có lợi cho các ứng dụng yêu cầu hiệu suất thời gian thực trên các backend được tăng tốc như CUDA với TensorRT , vượt trội hơn nhiều công cụ phát hiện vật thể thời gian thực khác.

Làm thế nào RT-DETR hỗ trợ tốc độ suy luận thích ứng cho các ứng dụng thời gian thực khác nhau?

Baidu của RT-DETR cho phép điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp giải mã khác nhau mà không cần đào tạo lại. Khả năng thích ứng này rất quan trọng để mở rộng hiệu suất trên nhiều tác vụ phát hiện đối tượng theo thời gian thực. Cho dù bạn cần xử lý nhanh hơn cho nhu cầu độ chính xác thấp hơn hay phát hiện chậm hơn, chính xác hơn, RT-DETR có thể được điều chỉnh để đáp ứng các yêu cầu cụ thể của bạn.

Tôi có thể sử dụng RT-DETR mô hình với các mô hình khác Ultralytics các chế độ như đào tạo, xác thực và xuất khẩu?

Đúng, RT-DETR các mô hình tương thích với nhiều Ultralytics các chế độ bao gồm đào tạo, xác thực, dự đoán và xuất. Bạn có thể tham khảo tài liệu tương ứng để biết hướng dẫn chi tiết về cách sử dụng các chế độ này: Train , Val , Predict và Export . Điều này đảm bảo quy trình làm việc toàn diện để phát triển và triển khai các giải pháp phát hiện đối tượng của bạn.

📅 Được tạo ra cách đây 1 năm ✏️ Đã cập nhật cách đây 2 tháng

Bình luận