RTDETRv2 và YOLO11
Các kiến trúc thị giác máy tính mới liên tục mở rộng khả năng trên thiết bị biên và máy chủ đám mây. RTDETRv2 và YOLO11 là hai lựa chọn phổ biến cho phát hiện vật thể thời gian thực. Cả hai đều hoạt động tốt, nhưng đại diện cho các hướng tiếp cận kiến trúc khác nhau: detector dựa trên transformer so với mạng nơ-ron tích chập (CNN) được tối ưu hóa cao.
Phần so sánh này trình bày kiến trúc, chỉ số hiệu năng, phương pháp huấn luyện và các trường hợp sử dụng phù hợp của cả hai model để giúp bạn chọn model thích hợp cho ứng dụng tiếp theo.
RTDETRv2: Đối thủ dựa trên Transformer#
Được giới thiệu như một bước phát triển từ Transformer phát hiện thời gian thực ban đầu, RTDETRv2 áp dụng các cơ chế attention lên đặc trưng đa tỷ lệ từ backbone CNN. Encoder lai và decoder transformer nắm bắt ngữ cảnh toàn cục của ảnh, hữu ích khi phát hiện các vật thể chồng lấn nhiều trong những cảnh phức tạp.
Thông tin model:
- Tác giả: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang và Yi Liu
- Tổ chức: Baidu
- Ngày: 2024-07-24
- arXiv: 2407.17140
- GitHub: Repository RT-DETR
- Tài liệu: Tài liệu RTDETRv2
Ưu điểm và nhược điểm của kiến trúc#
Điểm đổi mới chính của RTDETRv2 là kiến trúc đầu-cuối không cần NMS. Bằng cách loại bỏ Non-Maximum Suppression (NMS), model đơn giản hóa pipeline hậu xử lý. Ngoài ra, khả năng trích xuất đặc trưng đa tỷ lệ đã được cải thiện so với model RT-DETR ban đầu, giúp model nhận diện tốt hơn các vật thể có kích thước khác nhau.
Tuy nhiên, do dựa trên transformer, RTDETRv2 thường đòi hỏi nhiều bộ nhớ hơn trong quá trình huấn luyện. Transformer thường hội tụ chậm hơn và cần nhiều bộ nhớ CUDA hơn CNN truyền thống, khiến chúng khó tiếp cận hơn với các nhà nghiên cứu sử dụng phần cứng phổ thông hoặc triển khai trong môi trường AI biên hạn chế tài nguyên.
Ultralytics YOLO11: Hiệu quả của CNN#
Dựa trên các nghiên cứu YOLO trước đây, Ultralytics YOLO11 tinh chỉnh kiến trúc CNN để cân bằng tốt hơn giữa tốc độ và độ chính xác, đồng thời duy trì hệ sinh thái Ultralytics linh hoạt, thân thiện với developer.
Thông tin model:
- Tác giả: Glenn Jocher và Jing Qiu
- Tổ chức: Ultralytics
- Ngày: 27 tháng 9, 2024
- GitHub: Kho lưu trữ Ultralytics
Lợi thế của Ultralytics#
Điểm mạnh chính của YOLO11 là Cân bằng hiệu năng. Sự cân bằng giữa tốc độ và độ chính xác giúp model phù hợp với nhiều kịch bản triển khai, từ các cụm điện toán đám mây quy mô lớn đến thiết bị di động gọn nhẹ.
Các model Ultralytics YOLO cũng sử dụng ít bộ nhớ hơn trong quá trình huấn luyện và suy luận. Khác với model transformer có thể nhanh chóng dùng hết VRAM, YOLO11 cho phép sử dụng batch size lớn hơn trên GPU tiêu chuẩn. YOLO11 còn có Tính linh hoạt vượt ngoài phát hiện vật thể, với hỗ trợ nguyên bản cho Phân đoạn instance, Phân loại ảnh, Ước lượng tư thế và Hộp giới hạn định hướng (OBB).
So sánh hiệu năng và chỉ số#
Bảng dưới đây so sánh độ chính xác và tốc độ trên COCO. RTDETRv2 chính xác hơn một chút ở các kích thước nhỏ và vừa, trong khi YOLO11 có năm kích thước model, bao gồm phiên bản nano, và độ trễ TensorRT thấp hơn ở mọi kích thước tương đương.
| Model | kích thước (pixel) | mAPval50-95 | Tốc độ CPU ONNX (ms) | Tốc độ T4 TensorRT10 (ms) | params (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLO11n | 640 | 39.5 | 56.1 | 1.5 | 2.6 | 6.5 |
| YOLO11s | 640 | 47.0 | 90.0 | 2.5 | 9.4 | 21.6 |
| YOLO11m | 640 | 51.5 | 183.2 | 4.7 | 20.1 | 68.1 |
| YOLO11l | 640 | 53.4 | 238.6 | 6.2 | 25.3 | 87.2 |
| YOLO11x | 640 | 54.7 | 462.8 | 11.3 | 56.9 | 195.3 |
YOLO11x đạt 54.7% mAPval, cao hơn RTDETRv2-x 0.4 điểm, với ít FLOPs hơn (195.3B so với 259B) và suy luận TensorRT nhanh hơn (11.3 ms so với 15.03 ms). YOLO11l ngang bằng RTDETRv2-l ở mức 53.4% nhưng chạy trong 6.2 ms thay vì 9.76 ms; RTDETRv2-s và -m vượt YOLO11s và -m lần lượt 1.1 và 0.4 điểm, với độ trễ cao gấp 1.6–2 lần. Các phiên bản YOLO11 nano và small là lựa chọn gọn nhẹ cho thiết bị hạn chế tài nguyên như Raspberry Pi.
Hệ sinh thái, tính dễ sử dụng và huấn luyện#
Các model Ultralytics được thiết kế để mang lại trải nghiệm sử dụng đơn giản. Package Python ultralytics cung cấp API thống nhất để xử lý tăng cường dữ liệu, huấn luyện phân tán và export model. Repository nghiên cứu RTDETRv2 đòi hỏi nhiều mã khung và cấu hình hơn, trong khi Ultralytics cung cấp pipeline hoàn chỉnh từ dữ liệu đến triển khai.
Package Ultralytics cũng chạy các model RT-DETR bên cạnh model YOLO, nhờ đó cả hai đều có thể sử dụng Hệ sinh thái được duy trì tốt của Ultralytics, bao gồm tích hợp với Weights & Biases và Comet để theo dõi thử nghiệm.
from ultralytics import RTDETR, YOLO
# Tải model RTDETR thông qua API của Ultralytics
model_rtdetr = RTDETR("rtdetr-l.pt")
# Tải model YOLO11 được tối ưu hóa cao
model_yolo = YOLO("yolo11n.pt")
# Huấn luyện YOLO11 với mức sử dụng bộ nhớ hiệu quả cao
results = model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# Xuất model YOLO đã huấn luyện sang định dạng ONNX
model_yolo.export(format="onnx")Hiệu quả huấn luyện rất quan trọng trong machine learning. Các model Ultralytics khởi đầu từ trọng số pretrained, vì vậy học chuyển giao trên dữ liệu tùy chỉnh hội tụ nhanh. Để quản lý dataset, các lần chạy huấn luyện và endpoint triển khai mà không cần viết code, hãy sử dụng Nền tảng Ultralytics cho quy trình MLOps tích hợp.
Ứng dụng thực tế#
Việc lựa chọn giữa các kiến trúc này thường phụ thuộc vào những giới hạn triển khai cụ thể của dự án.
RTDETRv2 phát huy thế mạnh ở đâu: Backbone Transformer của RTDETRv2 hoạt động rất hiệu quả trong các tình huống có nhiều vật thể dày đặc, bị che khuất đáng kể và cần ngữ cảnh toàn cục. Model thường được dùng trong nghiên cứu học thuật và các ứng dụng mà ngân sách tính toán ít quan trọng hơn việc mô hình hóa mối quan hệ giữa các vật thể.
YOLO11 phát huy thế mạnh ở đâu: YOLO11 phù hợp với triển khai thực tế. Footprint bộ nhớ nhỏ và tốc độ suy luận nhanh khiến model phù hợp với:
- Sản xuất thông minh: Phát hiện lỗi theo thời gian thực trên dây chuyền sản xuất bằng PC công nghiệp.
- Nông nghiệp: Triển khai trên drone để giám sát sức khỏe cây trồng theo thời gian thực và vận hành robot thu hoạch tự động.
- Phân tích bán lẻ: Xử lý đồng thời nhiều luồng camera để quản lý hàng chờ và theo dõi tồn kho mà không cần các cụm máy chủ lớn.
Trường hợp sử dụng và khuyến nghị#
Việc lựa chọn giữa RT-DETR và YOLO11 phụ thuộc vào các yêu cầu cụ thể của dự án, giới hạn triển khai và lựa chọn hệ sinh thái của bạn.
Khi nào nên chọn RT-DETR#
RT-DETR là lựa chọn phù hợp cho:
- Nghiên cứu phát hiện dựa trên Transformer: Các dự án nghiên cứu cơ chế attention và kiến trúc Transformer để phát hiện vật thể đầu cuối mà không cần NMS.
- Tình huống cần độ chính xác cao với độ trễ linh hoạt: Các ứng dụng đặt độ chính xác phát hiện lên hàng đầu và chấp nhận độ trễ suy luận cao hơn đôi chút.
- Phát hiện vật thể lớn: Các cảnh chủ yếu có vật thể cỡ trung bình đến lớn, trong đó cơ chế attention toàn cục của Transformer mang lại lợi thế tự nhiên.
Khi nào nên chọn YOLO11#
YOLO11 được khuyến nghị cho:
- Triển khai biên trong môi trường production: Các ứng dụng thương mại chạy trên thiết bị như Raspberry Pi hoặc NVIDIA Jetson, nơi độ tin cậy và hoạt động bảo trì liên tục là yếu tố tối quan trọng.
- Ứng dụng thị giác đa tác vụ: Các dự án cần phát hiện, phân đoạn, phân loại, ước lượng tư thế và OBB trong cùng một framework thống nhất.
- Tạo mẫu và triển khai nhanh: Các nhóm cần nhanh chóng chuyển từ thu thập dữ liệu sang production bằng Ultralytics Python API tinh gọn.
Khi nào nên chọn Ultralytics (YOLO26)#
Với hầu hết dự án mới, Ultralytics YOLO26 mang đến sự kết hợp tốt nhất giữa hiệu năng và trải nghiệm dành cho nhà phát triển:
- Triển khai trên thiết bị biên không cần NMS: Các ứng dụng cần inference có độ trễ thấp và ổn định mà không phải xử lý hậu kỳ Non-Maximum Suppression phức tạp.
- Môi trường chỉ có CPU: Các thiết bị không có khả năng tăng tốc bằng GPU chuyên dụng, nơi tốc độ suy luận CPU nhanh hơn tới 43% của YOLO26n so với YOLO11n mang lại lợi thế quyết định.
- Phát hiện vật thể nhỏ: Các tình huống khó như ảnh chụp từ drone trên không hoặc phân tích cảm biến IoT, trong đó ProgLoss và STAL cải thiện độ chính xác khi phát hiện vật thể nhỏ.
Hướng tới tương lai: YOLO26 ra mắt#
Nếu bắt đầu dự án mới, hãy cân nhắc Ultralytics YOLO26, phát hành vào tháng 1 năm 2026 và là model được Ultralytics khuyến nghị. Model kết hợp ý tưởng từ cả hai phương pháp: head đầu-cuối không cần NMS tùy chọn (nms=False, được YOLOv10 giới thiệu cho các model YOLO) loại bỏ bước hậu xử lý NMS như RTDETRv2 nhưng vẫn duy trì tốc độ của CNN.
YOLO26 sử dụng Bộ tối ưu MuSGD, lấy cảm hứng từ các kỹ thuật huấn luyện LLM, để đạt quá trình huấn luyện ổn định và hội tụ nhanh; YOLO26n mang lại tốc độ suy luận CPU cao hơn đến 43% so với YOLO11n, một phần nhờ loại bỏ Hàm tiêu điểm phân phối (DFL). Hàm mất mát lũy tiến và Gán nhãn nhận biết đối tượng nhỏ (ProgLoss + STAL) cải thiện khả năng nhận diện vật thể nhỏ, khiến YOLO26 trở thành lựa chọn được khuyến nghị cho các pipeline thị giác máy tính mới.
Dù chọn YOLO11 nhờ tính linh hoạt đã được kiểm chứng, RTDETRv2 nhờ cơ chế attention hay YOLO26 nhờ hiệu năng biên, tài liệu Ultralytics hướng dẫn huấn luyện và triển khai YOLO11, YOLO26 và RT-DETR ban đầu.
Bình luận1
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.
UltralyticsAssistantUltralytics
👋 Hello, thank you for starting this discussion about comparing RTDETRv2 and YOLO11 🚀! We’re thrilled to see your interest in exploring the strengths and ideal use cases of these models.
For those looking to dive deeper, the Comparison Guide is a great resource to start with. It highlights key differences and performance metrics, helping you make informed decisions based on your project needs.
If you have specific questions about YOLO11 performance or implementation, feel free to provide more details so we can assist better. For custom training or real-world applications, including dataset examples or logs would be immensely helpful!
💡 Pro Tip: Keep your
ultralyticspackage up to date to leverage the latest features and fixes. Simply run:pip install -U ultralyticsFor real-time discussions, join our Discord 🎧. Alternatively, connect with our community on Discourse or our Subreddit to share insights and experiences.
An Ultralytics engineer will review and assist with your discussion soon. Stay tuned! 😊