Baidu của RT-DETR : Một máy dò đối tượng thời gian thực dựa trên Vision Transformer

Tổng quan

Bộ chuyển đổi phát hiện thời gian thực ( RT-DETR ), do Baidu phát triển, là một máy dò đối tượng đầu cuối tiên tiến cung cấp hiệu suất thời gian thực trong khi vẫn duy trì độ chính xác cao. Nó dựa trên ý tưởng của DETR (khung không có NMS), đồng thời giới thiệu xương sống dựa trên conv và bộ mã hóa lai hiệu quả để đạt được tốc độ thời gian thực. RT-DETR xử lý hiệu quả các tính năng đa thang đo bằng cách tách rời tương tác nội thang đo và hợp nhất giữa các thang đo. Mô hình có khả năng thích ứng cao, hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng các lớp giải mã khác nhau mà không cần đào tạo lại. RT-DETR nổi trội về các phần phụ trợ được tăng tốc như CUDA với TensorRT , vượt trội hơn nhiều máy phát hiện vật thể thời gian thực khác.

Xem: Biến áp phát hiện thời gian thực (RT-DETR)

Tổng quan về Baidu's RT-DETR. Các RT-DETR sơ đồ kiến trúc mô hình hiển thị ba giai đoạn cuối cùng của xương sống {S3, S4, S5} làm đầu vào cho bộ mã hóa. Bộ mã hóa lai hiệu quả biến đổi các tính năng đa tỷ lệ thành một chuỗi các tính năng hình ảnh thông qua tương tác tính năng nội bộ (AIFI) và mô-đun hợp nhất tính năng quy mô chéo (CCFM). Lựa chọn truy vấn nhận biết IoU được sử dụng để chọn một số tính năng hình ảnh cố định để phục vụ như các truy vấn đối tượng ban đầu cho bộ giải mã. Cuối cùng, bộ giải mã với các đầu dự đoán phụ trợ lặp đi lặp lại tối ưu hóa các truy vấn đối tượng để tạo hộp và điểm tin cậy (nguồn).

Các tính năng chính

• Bộ mã hóa lai hiệu quả: Baidu RT-DETR sử dụng bộ mã hóa lai hiệu quả xử lý các tính năng đa tỷ lệ bằng cách tách tương tác nội tỷ lệ và hợp nhất tỷ lệ chéo. Thiết kế dựa trên Vision Transformers độc đáo này giúp giảm chi phí tính toán và cho phép phát hiện đối tượng theo thời gian thực.
• Lựa chọn truy vấn nhận biết IoU: Baidu của RT-DETR cải thiện khởi tạo truy vấn đối tượng bằng cách sử dụng lựa chọn truy vấn nhận biết IoU. Điều này cho phép người mẫu tập trung vào các đối tượng phù hợp nhất trong cảnh, nâng cao độ chính xác phát hiện.
• Tốc độ suy luận thích ứng: Baidu của RT-DETR Hỗ trợ điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp bộ giải mã khác nhau mà không cần đào tạo lại. Khả năng thích ứng này tạo điều kiện cho ứng dụng thực tế trong các tình huống phát hiện đối tượng thời gian thực khác nhau.

Mô hình được đào tạo trước

Các Ultralytics Python API cung cấp đào tạo trước PaddlePaddle RT-DETR Các mô hình với quy mô khác nhau:

• RT-DETR-L: 53.0% AP trên COCO val2017, 114 FPS trên T4 GPU
• RT-DETR-X: 54.8% AP trên COCO val2017, 74 FPS trên T4 GPU

Ví dụ sử dụng

Ví dụ này cung cấp đơn giản RT-DETR Ví dụ đào tạo và suy luận. Để biết tài liệu đầy đủ về các chế độ này và các chế độ khác, hãy xem các trang tài liệu Dự đoán, Đào tạo, Val và Xuất .

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

Các tác vụ và chế độ được hỗ trợ

Bảng này trình bày các loại mô hình, trọng lượng được đào tạo trước cụ thể, các tác vụ được hỗ trợ bởi từng mô hình và các chế độ khác nhau (Tàu hỏa , Val, Dự đoán, Xuất) được hỗ trợ, được biểu thị bằng ✅ biểu tượng cảm xúc.

Trích dẫn và xác nhận

Nếu bạn sử dụng Baidu's RT-DETR Trong công việc nghiên cứu hoặc phát triển của bạn, vui lòng trích dẫn bài báo gốc:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Chúng tôi muốn cảm ơn Baidu và nhóm PaddlePaddle đã tạo ra và duy trì nguồn tài nguyên có giá trị này cho cộng đồng thị giác máy tính . Đóng góp của họ cho lĩnh vực này với sự phát triển của máy dò đối tượng thời gian thực dựa trên Vision Transformers, RT-DETR , được đánh giá cao.

FAQ

Baidu là gì RT-DETR Mô hình và nó hoạt động như thế nào?

Baidu của RT-DETR (Real-Time Detection Transformer) là một máy dò đối tượng thời gian thực tiên tiến được xây dựng dựa trên kiến trúc Vision Transformer . Nó xử lý hiệu quả các tính năng đa quy mô bằng cách tách tương tác nội bộ và hợp nhất quy mô chéo thông qua bộ mã hóa lai hiệu quả của nó. Bằng cách sử dụng lựa chọn truy vấn nhận biết IoU, mô hình tập trung vào các đối tượng có liên quan nhất, nâng cao độ chính xác phát hiện. Tốc độ suy luận thích ứng của nó, đạt được bằng cách điều chỉnh các lớp giải mã mà không cần đào tạo lại, làm cho RT-DETR Thích hợp cho các tình huống phát hiện đối tượng thời gian thực khác nhau. Tìm hiểu thêm về RT-DETR các tính năng ở đây.

Làm thế nào tôi có thể sử dụng pre-trained RT-DETR Mô hình được cung cấp bởi Ultralytics?

Bạn có thể tận dụng Ultralytics Python API để sử dụng pre-trained PaddlePaddle RT-DETR Mô hình. Ví dụ: để tải một RT-DETRMô hình -l được đào tạo trước trên COCO val2017 và đạt FPS cao trên T4 GPU, bạn có thể sử dụng ví dụ sau:

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

Tại sao tôi nên chọn Baidu's RT-DETR so với các máy dò đối tượng thời gian thực khác?

Baidu của RT-DETR nổi bật nhờ bộ mã hóa lai hiệu quả và lựa chọn truy vấn nhận biết IoU, giúp giảm đáng kể chi phí tính toán trong khi vẫn duy trì độ chính xác cao. Khả năng độc đáo của nó để điều chỉnh tốc độ suy luận bằng cách sử dụng các lớp giải mã khác nhau mà không cần đào tạo lại thêm tính linh hoạt đáng kể. Điều này làm cho nó đặc biệt thuận lợi cho các ứng dụng yêu cầu hiệu suất thời gian thực trên các phụ trợ được tăng tốc như CUDA với TensorRT, vượt trội hơn nhiều máy dò đối tượng thời gian thực khác.

Làm thế nào RT-DETR Hỗ trợ tốc độ suy luận thích ứng cho các ứng dụng thời gian thực khác nhau?

Baidu của RT-DETR cho phép điều chỉnh linh hoạt tốc độ suy luận bằng cách sử dụng các lớp giải mã khác nhau mà không cần đào tạo lại. Khả năng thích ứng này rất quan trọng để mở rộng hiệu suất trên nhiều tác vụ phát hiện đối tượng theo thời gian thực. Cho dù bạn cần xử lý nhanh hơn cho nhu cầu độ chính xác thấp hơn hay phát hiện chậm hơn, chính xác hơn, RT-DETR có thể được điều chỉnh để đáp ứng các yêu cầu cụ thể của bạn.

Tôi có thể sử dụng không RT-DETR Mô hình với khác Ultralytics các chế độ, chẳng hạn như đào tạo, xác thực và xuất?

Có RT-DETR Các mô hình tương thích với nhiều loại khác nhau Ultralytics các chế độ bao gồm đào tạo, xác nhận, dự đoán và xuất. Bạn có thể tham khảo tài liệu tương ứng để biết hướng dẫn chi tiết về cách sử dụng các chế độ này: Train, Val, Predict và Export. Điều này đảm bảo một quy trình làm việc toàn diện để phát triển và triển khai các giải pháp phát hiện đối tượng của bạn.

📅 Được tạo ra cách đây 1 năm ✏️ Đã cập nhật cách đây 1 tháng

Ý kiến