RTDETRv2 so với... YOLOv8 Chuyển đổi khả năng phát hiện đối tượng trong thời gian thực

Lĩnh vực thị giác máy tính đã phát triển nhanh chóng, chuyển từ các mạng nơ-ron tích chập (CNN) truyền thống sang các kiến ​​trúc lai kết hợp Transformer. Hai mô hình nổi bật trong quá trình chuyển đổi này là RTDETRv2 (Real-Time Detection Transformer phiên bản 2) và Ultralytics YOLOv8 . Mặc dù cả hai đều hướng đến giải quyết thách thức phát hiện đối tượng trong thời gian thực , nhưng chúng tiếp cận vấn đề với các triết lý và thiết kế kiến ​​trúc khác nhau về cơ bản.

Hướng dẫn này cung cấp sự so sánh kỹ thuật để giúp các nhà phát triển, nhà nghiên cứu và kỹ sư lựa chọn mô hình phù hợp với nhu cầu triển khai cụ thể của họ, cân nhắc các yếu tố như tốc độ suy luận, độ chính xác và hiệu quả huấn luyện.

Tổng quan về mô hình

Trước khi đi sâu vào các số liệu, điều cần thiết là phải hiểu rõ nguồn gốc và mục tiêu kiến ​​trúc của từng mô hình.

RTDETRv2

RTDETRv2 được xây dựng dựa trên sự thành công của phiên bản gốc. RT-DETR đây là máy dò dựa trên máy biến áp đầu tiên thực sự thách thức YOLO các mô hình trong các kịch bản thời gian thực. Được phát triển bởi các nhà nghiên cứu tại Baidu, nó tận dụng kiến ​​trúc chuyển đổi hình ảnh (vision transformer) để nắm bắt ngữ cảnh toàn cục, một tính năng thường thiếu trong các mạng CNN thuần túy. Đặc điểm nổi bật của nó là khả năng dự đoán từ đầu đến cuối , loại bỏ nhu cầu sử dụng thuật toán loại bỏ cực đại cục bộ (Non-Maximum Suppression). NMS ) xử lý hậu kỳ.

• Tác giả: Wenyu Lv, Yian Zhao, Qinyao Chang, et al.
• Tổ chức:Baidu
• Ngày: Tháng 7 năm 2024 (bản thảo v2)
• Arxiv:RT-DETRv2: Improved Baseline with Bag-of-Freebies
• GitHub:Kho lưu trữ RT-DETR

Ultralytics YOLOv8

YOLOv8 , được phát hành bởi Ultralytics , đại diện cho đỉnh cao về hiệu quả phát hiện đối tượng dựa trên CNN. Nó giới thiệu một đầu phát hiện không cần anchor và một kiến ​​trúc xương sống CSPDarknet được cải tiến. Được thiết kế cho tính linh hoạt, YOLOv8 Đây không chỉ là một công cụ phát hiện; nó còn hỗ trợ các tác vụ như phân đoạn đối tượng , ước lượng tư thế và phân loại . Nó được hỗ trợ bởi một hệ sinh thái phần mềm mạnh mẽ, giúp đơn giản hóa mọi thứ từ quản lý tập dữ liệu đến triển khai.

• Tác giả: Glenn Jocher, Ayush Chaurasia, và Jing Qiu
• Tổ chức:Ultralytics
• Ngày: 10 tháng 1 năm 2023
• Tài liệu:Tài liệu YOLOv8

Tìm hiểu thêm về YOLOv8

So sánh Kiến trúc Kỹ thuật

Sự khác biệt cốt lõi nằm ở cách các mô hình này xử lý thông tin hình ảnh.

Vision Transformers so với CNNs

RTDETRv2 sử dụng bộ mã hóa lai xử lý các đặc trưng hình ảnh bằng cơ chế chú ý. Điều này cho phép mô hình "nhìn" toàn bộ hình ảnh cùng một lúc, hiểu được mối quan hệ giữa các đối tượng ở xa một cách hiệu quả. Ngữ cảnh toàn cục này đặc biệt hữu ích trong các cảnh đông đúc hoặc khi các đối tượng bị che khuất. Tuy nhiên, điều này cũng có cái giá của nó: các mô hình Transformer thường yêu cầu nhiều tài nguyên hơn đáng kể. GPU Bộ nhớ ảo (VRAM) được sử dụng trong quá trình huấn luyện và có thể hội tụ chậm hơn so với các mạng nơ-ron tích chập (CNN) tương đương.

Ngược lại, YOLOv8 Dựa trên mạng nơ-ron tích chập sâu. Mạng nơ-ron tích chập (CNN) đặc biệt hiệu quả trong việc trích xuất các đặc điểm cục bộ như cạnh và kết cấu. YOLOv8 Mô hình này được tối ưu hóa bằng "Gói quà tặng miễn phí" - những tinh chỉnh kiến ​​trúc giúp cải thiện độ chính xác mà không làm tăng chi phí suy luận. Kết quả là một mô hình cực kỳ nhẹ, huấn luyện nhanh hơn trên phần cứng cấp người tiêu dùng và triển khai hiệu quả trên các thiết bị biên như Raspberry Pi .

Các chỉ số hiệu suất

Bảng sau đây so sánh hiệu suất của các kích thước mô hình khác nhau. Trong khi RTDETRv2 thể hiện độ chính xác ấn tượng ( mAP ), YOLOv8 Thể hiện hiệu quả vượt trội về số lượng tham số và tải tính toán (FLOPs), điều này trực tiếp giúp tăng tốc độ trên các thiết bị có cấu hình hạn chế.

Những Điểm Chính

1. Trí tuệ nhân tạo biên độ trễ thấp: YOLOv8n (Nano) thuộc đẳng cấp riêng về tốc độ cực nhanh, đạt khoảng ~1,47ms trên T4. GPU và duy trì hiệu năng thời gian thực trên CPU. RTDETRv2 thiếu mô hình "nano" tương đương cho các môi trường cực kỳ hạn chế tài nguyên.
2. Mức độ chính xác tối đa: RTDETRv2-x đạt được mức cao hơn một chút. mAP (54,3) so với YOLOv8x (53.9), thể hiện sức mạnh của cơ chế chú ý của transformer trong các xác thực phức tạp như COCO .
3. Hiệu quả tính toán: YOLOv8 Nhìn chung, nó yêu cầu ít phép tính FLOP hơn để đạt được hiệu năng tương đương, giúp tiết kiệm pin hơn khi sử dụng trên thiết bị di động.

Hệ sinh thái và Dễ sử dụng

Các chỉ số hiệu năng chỉ nói lên một nửa câu chuyện. Đối với các nhóm kỹ thuật, sự dễ dàng tích hợp và bảo trì thường là yếu tố quyết định.

Lợi thế của hệ sinh thái Ultralytics : YOLOv8 hưởng lợi từ sự trưởng thành Ultralytics hệ sinh thái này mang đến trải nghiệm liền mạch "ngay từ khi mở hộp".

• API thống nhất: Bạn có thể chuyển đổi giữa YOLOv8 , YOLO11 , và thậm chí RT-DETR chỉ với một dòng mã.
• Hỗ trợ nền tảng: Nền tảng Ultralytics cung cấp các công cụ dựa trên web để đào tạo, trực quan hóa kết quả và quản lý tập dữ liệu mà không cần viết mã lặp đi lặp lại.
• Ứng dụng rộng rãi: Các chế độ xuất tích hợp cho phép chuyển đổi tức thì sang các định dạng như... ONNX , TensorRT , CoreML , Và TFLite .

RTDETRv2 phiên bản độc lập so với phiên bản tích hợp: Mặc dù kho mã nguồn chính thức của RTDETRv2 tập trung vào nghiên cứu, Ultralytics đã tích hợp RT-DETR Hỗ trợ được tích hợp trực tiếp vào gói phần mềm. Điều này có nghĩa là bạn có thể tận dụng những lợi ích về kiến ​​trúc của RTDETRv2 trong khi vẫn đảm bảo tính thân thiện với người dùng. Ultralytics API.

Ví dụ mã: Huấn luyện và dự đoán

Dưới đây là một Python Ví dụ minh họa cách sử dụng cả hai kiến ​​trúc trong... Ultralytics khung sườn. Điều này làm nổi bật tính mô-đun của thư viện.

from ultralytics import RTDETR, YOLO

# --- Option 1: Using YOLOv8 ---
# Load a pretrained YOLOv8 model (recommended for edge devices)
model_yolo = YOLO("yolov8n.pt")

# Train on a custom dataset
model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)

# --- Option 2: Using RT-DETR ---
# Load a pretrained RT-DETR model (recommended for high-accuracy tasks)
model_rtdetr = RTDETR("rtdetr-l.pt")

# Run inference on an image
# Note: RT-DETR models predict without NMS natively
results = model_rtdetr("https://ultralytics.com/images/bus.jpg")

# Visualize the results
results[0].show()

Các ứng dụng thực tế

Những điểm mạnh của RTDETRv2

Kiến trúc dựa trên bộ biến đổi (transformer) làm cho RTDETRv2 trở nên lý tưởng cho các trường hợp mà độ chính xác là tối quan trọng và tài nguyên phần cứng dồi dào (ví dụ: xử lý phía máy chủ với GPU mạnh mẽ).

• Chẩn đoán hình ảnh y tế: Phát hiện những bất thường nhỏ trong ảnh X-quang, trong đó bối cảnh tổng thể giúp phân biệt giữa các mô tương tự.
• Phân tích đám đông: Theo dõi các cá nhân trong đám đông dày đặc, nơi hiện tượng che khuất thường gây nhầm lẫn cho các mạng CNN tiêu chuẩn.
• Giám sát trên không: Xác định các vật thể nhỏ trong hình ảnh quay bằng máy bay không người lái độ phân giải cao, nơi mối quan hệ giữa các đặc điểm trên mặt đất rất quan trọng.

Điểm mạnh của YOLOv8

YOLOv8 Đây vẫn là giải pháp được ưu tiên lựa chọn cho các ứng dụng đa dạng, hạn chế về tài nguyên, đòi hỏi sự cân bằng giữa tốc độ và độ tin cậy.

• IoT nhúng: Hoạt động trên các thiết bị như NVIDIA Jetson Orin Nano để giám sát giao thông thành phố thông minh.
• Robot học: Tránh chướng ngại vật trong thời gian thực, nơi mỗi mili giây độ trễ đều rất quan trọng để ngăn ngừa va chạm.
• Sản xuất: Kiểm tra trên dây chuyền lắp ráp tốc độ cao, trong đó mô hình phải theo kịp tốc độ của băng chuyền.
• Đa nhiệm: Các ứng dụng cần OBB cho các đối tượng xoay hoặc ước tính tư thế để giám sát an toàn lao động.

Triển vọng tương lai: Sự kết hợp hoàn hảo giữa hai thế giới với YOLO26

Trong khi RTDETRv2 mang lại NMS Với xu hướng phát hiện không cần thẻ nhớ được đẩy lên hàng đầu, lĩnh vực này tiếp tục phát triển. Thiết bị YOLO26 mới ra mắt đã thu hẹp khoảng cách giữa hai kiến ​​trúc này một cách hiệu quả.

YOLO26 tích hợp thiết kế NMS -Free từ đầu đến cuối tiên phong bởi các máy biến áp, nhưng triển khai nó trong một môi trường được tối ưu hóa cao. CPU Kiến trúc thân thiện với người dùng. Với các tính năng như Trình tối ưu hóa MuSGD và loại bỏ Tổn thất Tiêu điểm Phân phối (DFL) , YOLO26 cung cấp sự ổn định huấn luyện và nhận thức ngữ cảnh toàn cục của các mô hình Transformer với tốc độ cực nhanh và dung lượng bộ nhớ thấp. YOLO gia đình. Đối với các dự án mới bắt đầu vào năm 2026, việc nghiên cứu YOLO26 đảm bảo một giải pháp bền vững trong tương lai, kết hợp những ưu điểm của cả RTDETRv2 và YOLOv8 .

Kết luận

Cả RTDETRv2 và YOLOv8 Chúng là những công cụ đặc biệt trong kho vũ khí của một kỹ sư thị giác máy tính. RTDETRv2 là một lựa chọn mạnh mẽ cho nghiên cứu và triển khai máy chủ cao cấp, nơi VRAM không phải là hạn chế và ngữ cảnh toàn cục là rất quan trọng. Tuy nhiên, YOLOv8 cung cấp tính linh hoạt, hỗ trợ hệ sinh thái và hiệu quả vượt trội, khiến nó trở thành lựa chọn thiết thực cho phần lớn các triển khai AI thương mại và biên.

Đối với các nhà phát triển đang tìm kiếm sự kết hợp tối ưu giữa hai triết lý này—tốc độ xử lý đầu cuối mà không cần đến bộ chuyển đổi—chúng tôi khuyên bạn nên tìm hiểu tài liệu YOLO26 để xem thế hệ AI thị giác tiếp theo có thể tăng tốc quy trình làm việc của bạn như thế nào.

Bình luận