Bắt đầu

RTDETRv2 và YOLOv8

Các model thị giác máy tính dùng để phát hiện vật thể ngày càng chia thành hai nhóm: Mạng nơ-ron tích chập (CNN) và các kiến trúc dựa trên transformer mới hơn. Phần so sánh kỹ thuật này đánh giá RTDETRv2, một transformer phát hiện thời gian thực, so với Ultralytics YOLOv8, một trong những model CNN được ứng dụng rộng rãi nhất. Cả hai model đều có năng lực, nhưng kiến trúc của chúng dẫn đến khác biệt rõ rệt về huấn luyện, giới hạn triển khai và hiệu năng.

Tổng quan về model: RTDETRv2#

RTDETRv2 (Phiên bản 2 của Transformer phát hiện thời gian thực) kế thừa RT-DETR ban đầu bằng cách tối ưu kiến trúc transformer để suy luận thời gian thực.

Chi tiết kỹ thuật chính:

  • Tác giả: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang và Yi Liu
  • Tổ chức: Baidu
  • Ngày: 2024-07-24
  • Liên kết: Ấn phẩm arXiv | Kho GitHub

Kiến trúc và ưu điểm#

RTDETRv2 sử dụng kiến trúc lai kết hợp backbone CNN với encoder-decoder transformer. Nhờ đó, model có thể xem xét toàn bộ ảnh cùng lúc, giúp xử lý các cảnh phức tạp có vật thể chồng lấn. Đặc điểm nổi bật của model là thiết kế đầu-cuối nguyên bản, bỏ qua bước hậu xử lý Non-Maximum Suppression (NMS). Điều này giảm độ phức tạp thuật toán ở các giai đoạn cuối của pipeline phát hiện. Đặc trưng đa tỷ lệ cũng giúp model phát hiện cả cấu trúc lớn lẫn các chi tiết nhỏ ở hậu cảnh.

Điểm yếu#

Dù hiểu ngữ cảnh tốt, kiến trúc dựa trên transformer như RTDETRv2 có chi phí tính toán cao trong quá trình huấn luyện. Model cần nhiều bộ nhớ CUDA hơn, khiến việc huấn luyện trên phần cứng phổ thông khó khăn hơn. Thiết lập dataset tùy chỉnh và tinh chỉnh siêu tham số huấn luyện trong repository chính thức cũng thường cần kiến thức chuyên môn, do thiếu lớp bao phần mềm thân thiện với người mới. Triển khai trên thiết bị biên công suất thấp như phần cứng Raspberry Pi đời cũ cũng có thể khó khăn vì các lớp attention tiêu tốn nhiều tài nguyên tính toán.

Tìm hiểu thêm về RTDETRv2

Tổng quan về model: YOLOv8#

Kể từ khi phát hành, Ultralytics YOLOv8 đã trở thành tiêu chuẩn được sử dụng rộng rãi cho thị giác máy tính trong môi trường production, kết hợp trải nghiệm developer đơn giản với độ chính xác cao.

Chi tiết kỹ thuật chính:

Kiến trúc và ưu điểm#

YOLOv8 sử dụng kiến trúc CNN không cần anchor với head tách rời, cải thiện khả năng định vị và độ chính xác phân loại vật thể so với các thế hệ YOLO trước. Điểm mạnh chính của model là hiệu quả và tính linh hoạt. Kiến trúc cần ít bộ nhớ hơn trong quá trình huấn luyện so với vision transformer, cho phép chuyên gia chạy batch size lớn hơn trên GPU tiêu chuẩn. Hệ sinh thái Ultralytics cũng cung cấp quy trình làm việc tinh gọn: Python API thống nhất xử lý tinh chỉnh siêu tham số, huấn luyện, validation và export chỉ với vài dòng code.

Điểm yếu#

YOLOv8 vẫn sử dụng NMS truyền thống trong giai đoạn hậu xử lý. Mặc dù engine Ultralytics xử lý hiệu quả bước này ở bên dưới, về mặt kỹ thuật, NMS vẫn tạo ra độ trễ hậu xử lý nhỏ so với các kiến trúc vốn không cần NMS.

So sánh hiệu năng và chỉ số#

Bảng dưới đây so sánh độ chính xác trên tập validation COCO (mAP), tốc độ CPU và T4 TensorRT, số tham số và FLOPs. Hai họ model ưu tiên các phần khác nhau trong pipeline triển khai.

Modelkích thước
(pixel)
mAPval50-95Tốc độ
CPU ONNX
(ms)
Tốc độ
T4 TensorRT10
(ms)
params
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv8n64037.380.41.473.28.7
YOLOv8s64044.9128.42.6611.228.6
YOLOv8m64050.2234.75.8625.978.9
YOLOv8l64052.9375.29.0643.7165.1
YOLOv8x64053.9479.114.3768.2257.8
Diễn giải các chỉ số

RTDETRv2-x đạt mAP đỉnh cao hơn một chút (54.3) so với YOLOv8x (53.9), và RTDETRv2 chính xác hơn ở mỗi kích thước tương đương. YOLOv8 nhanh hơn ở nhóm kích thước nhỏ: YOLOv8s chạy trên TensorRT nhanh gần gấp đôi RTDETRv2-s (2.66 ms so với 5.03 ms), với số tham số gần bằng một nửa nhưng mAP thấp hơn 3.2 điểm. Ở nhóm kích thước lớn, YOLOv8l và RTDETRv2-l có tốc độ và kích thước tương tự. Tại đây, chỉ YOLOv8 có số liệu tốc độ CPU ONNX.

Yêu cầu bộ nhớ và hiệu quả huấn luyện#

Chi phí huấn luyện quan trọng với cả developer độc lập lẫn nhóm doanh nghiệp. Các model Ultralytics YOLO thường cần ít bộ nhớ CUDA hơn kiến trúc transformer trong quá trình huấn luyện. Model RTDETRv2 tiêu chuẩn có thể trở thành nút thắt trên GPU phổ thông, trong khi YOLOv8 huấn luyện ổn định trên phần cứng như NVIDIA RTX 4070.

Hệ sinh thái, API và tính dễ sử dụng#

Framework phần mềm hỗ trợ cũng là yếu tố khác biệt quan trọng. Hệ sinh thái Ultralytics xử lý phần lớn công việc kỹ thuật; hoạt động phát triển tích cực, tài liệu chi tiết và hỗ trợ cộng đồng trên Discord giúp các dự án luôn tiến triển.

YOLOv8 còn hỗ trợ nhiều hơn phát hiện vật thể, với hỗ trợ nguyên bản cho phân đoạn instance, phân loại ảnh, ước lượng tư thế và hộp giới hạn định hướng (OBB). RTDETRv2 chỉ tập trung vào phát hiện.

Ví dụ code: Tính đơn giản thống nhất#

Python API của Ultralytics chạy cả hai họ model bằng cùng một giao diện.

from ultralytics import RTDETR, YOLO

# Tải model RT-DETR và model YOLOv8
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")

# Dự đoán trên ảnh mẫu bằng cùng một API
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")

# Xuất YOLOv8 sang ONNX để triển khai edge nhanh chóng
model_cnn.export(format="onnx")

Sau khi huấn luyện, YOLOv8 có thể export chỉ với một dòng lệnh sang ONNX, TensorRT và OpenVINO để suy luận hiệu quả trên nhiều backend phần cứng.

Trường hợp sử dụng và khuyến nghị#

Việc lựa chọn giữa RT-DETR và YOLOv8 phụ thuộc vào yêu cầu cụ thể của dự án, giới hạn triển khai và ưu tiên về hệ sinh thái.

Khi nào nên chọn RT-DETR#

RT-DETR là lựa chọn phù hợp cho:

  • Nghiên cứu phát hiện dựa trên Transformer: Các dự án nghiên cứu cơ chế attention và kiến trúc Transformer để phát hiện vật thể đầu cuối mà không cần NMS.
  • Tình huống cần độ chính xác cao với độ trễ linh hoạt: Các ứng dụng đặt độ chính xác phát hiện lên hàng đầu và chấp nhận độ trễ suy luận cao hơn đôi chút.
  • Phát hiện vật thể lớn: Các cảnh chủ yếu có vật thể cỡ trung bình đến lớn, trong đó cơ chế attention toàn cục của Transformer mang lại lợi thế tự nhiên.

Khi nào nên chọn YOLOv8#

YOLOv8 được khuyến nghị cho:

  • Triển khai đa tác vụ linh hoạt: Các dự án cần một model đã được kiểm chứng để thực hiện phát hiện, phân đoạn, phân loại và ước lượng tư thế trong hệ sinh thái Ultralytics.
  • Hệ thống sản xuất đã thiết lập: Các môi trường sản xuất hiện có được xây dựng trên kiến trúc YOLOv8 với quy trình triển khai ổn định, đã được kiểm thử kỹ lưỡng.
  • Hỗ trợ cộng đồng và hệ sinh thái rộng rãi: Các ứng dụng hưởng lợi từ kho hướng dẫn phong phú, tích hợp bên thứ ba và tài nguyên cộng đồng tích cực của YOLOv8.

Khi nào nên chọn Ultralytics (YOLO26)#

Với hầu hết dự án mới, Ultralytics YOLO26 mang đến sự kết hợp tốt nhất giữa hiệu năng và trải nghiệm dành cho nhà phát triển:

  • Triển khai trên thiết bị biên không cần NMS: Các ứng dụng cần inference có độ trễ thấp và ổn định mà không phải xử lý hậu kỳ Non-Maximum Suppression phức tạp.
  • Môi trường chỉ có CPU: Các thiết bị không có khả năng tăng tốc bằng GPU chuyên dụng, nơi tốc độ suy luận CPU nhanh hơn tới 43% của YOLO26n so với YOLO11n mang lại lợi thế quyết định.
  • Phát hiện vật thể nhỏ: Các tình huống khó như ảnh chụp từ drone trên không hoặc phân tích cảm biến IoT, trong đó ProgLoss và STAL cải thiện độ chính xác khi phát hiện vật thể nhỏ.

Nhìn về phía trước: Ưu thế của YOLO26#

YOLOv8 vẫn là một model mang tính dấu mốc, nhưng thị giác máy tính phát triển rất nhanh. Với các nhóm bắt đầu dự án mới trong năm 2026, Ultralytics YOLO26 là model kế nhiệm được khuyến nghị.

Nếu bạn quan tâm đến thiết kế không cần NMS của RTDETRv2, YOLO26 cung cấp Thiết kế đầu-cuối không cần NMS tùy chọn (nms=False), kết hợp sự đơn giản trong hậu xử lý của transformer với tốc độ của CNN. YOLO26 cũng sử dụng Bộ tối ưu MuSGD, đưa các kỹ thuật huấn luyện mô hình ngôn ngữ lớn (LLM) vào model thị giác để quá trình huấn luyện ổn định hơn và hội tụ nhanh hơn. Với Loại bỏ DFL (loại bỏ Hàm tiêu điểm phân phối để đơn giản hóa việc export và tăng khả năng tương thích với thiết bị biên/công suất thấp), YOLO26n đạt tốc độ suy luận CPU nhanh hơn đến 43% so với YOLO11n. Kết hợp với ProgLoss + STAL (Hàm mất mát lũy tiến và Gán nhãn nhận biết đối tượng nhỏ) để phát hiện vật thể nhỏ tốt hơn, YOLO26 là lộ trình nâng cấp được khuyến nghị từ cả YOLOv8 lẫn RTDETRv2.

Để xem các model thay thế, hãy tham khảo YOLO11 hoặc đọc phân tích chi tiết về YOLOv10 và YOLOv8 để tìm hiểu sự phát triển của kiến trúc không cần NMS trong họ YOLO.

Người đóng góp

Bình luận1

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.

  1. CathyFisherGitHub(đã chỉnh sửa)

    Excellent technical comparison! RTDETRv2’s transformer-based architecture brings impressive accuracy and end-to-end detection without the need for NMS, which is quite innovative. However, this YOLOv8 comparison shows that v8 still excels in real-time performance, lighter deployment, and ease of customization. It’s clear that RTDETRv2 is pushing boundaries, but YOLOv8 remains a go-to for many practical applications due to its balance of speed and flexibility.