Bắt đầu

Tích hợp Ultralytics

Trang này liệt kê các công cụ và nền tảng mà Ultralytics tích hợp để hỗ trợ quy trình machine learning của bạn, từ quản lý dataset và huấn luyện model đến theo dõi experiment và triển khai.

Ultralytics YOLO ecosystem and integrations


Xem: Triển khai và tích hợp Ultralytics YOLO

Tích hợp huấn luyện#

  • Agent Skills: Hướng dẫn các AI coding agent như Claude Code, Codex, Cursor và Gemini CLI thực hiện toàn bộ quy trình Ultralytics YOLO bằng các skill chính thức, bao quát dataset, huấn luyện, suy luận và export.

  • Albumentations: Áp dụng thêm các phép tăng cường dữ liệu ảnh trong quá trình huấn luyện Ultralytics để cải thiện độ bền vững và khả năng khái quát hóa của model.

  • Amazon SageMaker: Sử dụng Amazon SageMaker để xây dựng, huấn luyện và triển khai model Ultralytics trên một nền tảng duy nhất cho toàn bộ vòng đời ML.

  • ClearML: Tự động hóa quy trình ML của Ultralytics, theo dõi experiment và cộng tác theo nhóm.

  • Comet ML: Cải thiện quá trình phát triển model với Ultralytics bằng cách tracking, so sánh và tối ưu hóa các thử nghiệm machine learning.

  • DVC: Triển khai version control cho các dự án machine learning của Ultralytics, đồng bộ hóa dữ liệu, code và model một cách hiệu quả.

  • Google Colab: Sử dụng Google Colab để huấn luyện và đánh giá model Ultralytics trong môi trường cloud hỗ trợ cộng tác và chia sẻ.

  • IBM Watsonx: Huấn luyện và đánh giá model Ultralytics trong notebook IBM watsonx.ai, đồng thời sử dụng các công cụ IBM để quản lý dữ liệu và quản trị model.

  • JupyterLab: Sử dụng môi trường tương tác, có thể tùy chỉnh của JupyterLab để huấn luyện và đánh giá model Ultralytics.

  • Kaggle: Tìm hiểu cách sử dụng Kaggle để huấn luyện và đánh giá model Ultralytics trong môi trường đám mây có sẵn thư viện, hỗ trợ GPU và cộng đồng năng động để cộng tác, chia sẻ.

  • MLflow: Tinh giản toàn bộ vòng đời ML của các model Ultralytics, từ thử nghiệm và khả năng tái lập đến triển khai.

  • Modal: Chạy model Ultralytics trên nền tảng đám mây serverless của Modal với khả năng cấp phát GPU tự động, tính phí theo giây và tự động mở rộng quy mô cho các workload suy luận và huấn luyện.

  • Paperspace Gradient: Sử dụng GPU đám mây và notebook Paperspace Gradient để huấn luyện, kiểm thử và triển khai model YOLO26.

  • Ray Tune: Thực hiện tinh chỉnh siêu tham số cho model Ultralytics ở mọi quy mô.

  • TensorBoard: Trực quan hóa các lần chạy huấn luyện Ultralytics và theo dõi metric của model.

  • Ultralytics Platform: Huấn luyện, quản lý và triển khai model Ultralytics trên trình duyệt, đồng thời tải xuống model pretrained chính thức và dataset.

  • VS Code: Extension cho VS Code cung cấp code snippet để tăng tốc quy trình phát triển Ultralytics và đưa ra ví dụ giúp mọi người học hoặc bắt đầu.

  • Weights & Biases (W&B): Theo dõi thử nghiệm, trực quan hóa metric và thúc đẩy khả năng tái lập cũng như cộng tác trong các dự án Ultralytics.

  • YAML2ModelGraph: Tạo sơ đồ kiến trúc SVG sẵn sàng cho xuất bản trực tiếp từ file cấu hình YAML của Ultralytics YOLO.

Tích hợp triển khai#

  • Ambarella: Huấn luyện, nén và xuất các model Ultralytics YOLO cho SoC Ambarella CVflow® như CV72 bằng fork Ultralytics của Ambarella, sử dụng phương pháp huấn luyện nhận biết nén SpongeTorch và chuỗi công cụ CVflow ngoại tuyến.

  • AMD: Export Ultralytics YOLO sang ONNX và chạy suy luận tăng tốc GPU trên GPU AMD Instinct và Radeon thông qua execution provider ONNX Runtime MIGraphX trên ROCm; đồng thời hỗ trợ huấn luyện PyTorch ROCm gốc.

  • AMD Xilinx: Export Ultralytics YOLO bằng format="xilinx" cho NPU dòng AMD Versal AI Edge Series Gen 2 sử dụng AMD Quark và Vitis AI; hướng dẫn này giới thiệu các thiết bị Zynq, Kria và Versal, bộ tăng tốc DPU so với NPU, cùng khả năng hỗ trợ operator YOLO.

  • Axelera: Khám phá accelerator Metis và Voyager SDK để chạy model Ultralytics với suy luận biên hiệu quả.

  • Core AI: Tìm hiểu định dạng .aimodel mới của Apple, cách Core AI so sánh với Core ML, những hạn chế hiện tại và cách export model YOLO26 bằng format="coreai" cho thế hệ iOS 27 và macOS 27.

  • CoreML: CoreML, do Apple phát triển, là framework được thiết kế để tích hợp hiệu quả model machine learning vào ứng dụng trên iOS, macOS, watchOS và tvOS, sử dụng phần cứng của Apple để triển khai model hiệu quả và an toàn.

  • DEEPX: Export model Ultralytics YOLO sang định dạng .dxnn của DEEPX để suy luận INT8 tiết kiệm điện trên phần cứng NPU DEEPX, hướng đến ứng dụng AI nhúng và AI biên.

  • ExecuTorch: Do Meta phát triển, ExecuTorch là giải pháp hợp nhất của PyTorch để triển khai model Ultralytics YOLO trên thiết bị biên.

  • Gradio: Triển khai model Ultralytics với Gradio để tạo bản demo phát hiện đối tượng tương tác theo thời gian thực.

  • Hailo: Export trực tiếp model Ultralytics YOLO về phát hiện, phân đoạn, phân đoạn ngữ nghĩa, ước tính độ sâu, phân loại, tư thế và OBB sang Hailo HEF; xem hướng dẫn tích hợp để biết các model và mục tiêu đã được xác thực.

  • Huawei Ascend: Biên dịch model Ultralytics YOLO sang định dạng offline .om của Huawei Ascend bằng trình biên dịch CANN ATC để suy luận FP16 trên thiết bị Atlas và OrangePi AIPro.

  • LiteRT: Do Google phát triển, LiteRT (trước đây là TensorFlow Lite) là runtime trên thiết bị dành cho định dạng .tflite, cho phép triển khai một model duy nhất trên thiết bị di động, thiết bị nhúng, thiết bị biên và trình duyệt (thông qua LiteRT.js).

  • Luxonis OAK: Chuyển đổi các model Ultralytics YOLO bằng Luxonis Hub hoặc công cụ Luxonis cục bộ và chạy chúng trực tiếp trên thiết bị với camera Luxonis OAK RVC2 và RVC4.

  • MediaTek: Triển khai Ultralytics YOLO trên điện thoại Android MediaTek Dimensity bằng bản export LiteRT và plugin Flutter chính thức, với kết quả đo được trên CPU, GPU và NPU nguyên mẫu.

  • MNN: Được phát triển bởi Alibaba, MNN là framework deep learning nhẹ, phục vụ suy luận và huấn luyện trực tiếp trên thiết bị di động và phần cứng nhúng.

  • NCNN: Được phát triển bởi Tencent, NCNN là framework suy luận mạng nơ-ron được tối ưu cho thiết bị di động. Framework này chạy model AI trực tiếp bên trong ứng dụng trên nhiều nền tảng di động.

  • NXP: Biên dịch các model YOLO INT8 đã hiệu chuẩn cho NPU Neutron của i.MX95 bằng Neutron SDK 3.3.0.

  • ONNX: Định dạng mã nguồn mở ban đầu do Microsoft và Facebook phát triển để chuyển model AI giữa các framework, giúp model Ultralytics có thể di chuyển giữa các runtime và phần cứng.

  • OpenVINO: Bộ công cụ của Intel để tối ưu hóa và triển khai model thị giác máy tính trên CPU, GPU và NPU Intel.

  • PaddlePaddle: Nền tảng deep learning mã nguồn mở của Baidu, PaddlePaddle hỗ trợ triển khai model AI, tập trung vào các ứng dụng công nghiệp có khả năng mở rộng.

  • Qualcomm QNN: Biên dịch model Ultralytics YOLO cục bộ sang định dạng context-binary QNN (AI Engine Direct) bằng QNN Execution Provider của ONNX Runtime để tăng tốc suy luận trên phần cứng CPU Snapdragon, GPU Adreno và NPU Hexagon trong thiết bị di động và thiết bị biên.

  • Rockchip RKNN: Được phát triển bởi Rockchip, RKNN là framework suy luận mạng nơ-ron được tối ưu cho các nền tảng phần cứng Rockchip, đặc biệt là NPU của Rockchip, để suy luận AI thời gian thực trên thiết bị edge.

  • Seeed Studio reCamera: Được phát triển bởi Seeed Studio, reCamera là thiết bị AI edge dành cho các ứng dụng thị giác máy tính thời gian thực. Được trang bị bộ xử lý SG200X dựa trên RISC-V, thiết bị thực hiện suy luận AI tiết kiệm năng lượng; thiết kế mô-đun và khả năng xử lý video phù hợp với các trường hợp sử dụng như giám sát an toàn, ứng dụng môi trường và sản xuất.

  • SONY IMX500: Tối ưu hóa và triển khai các model Ultralytics YOLOv8n và YOLO11n trên Raspberry Pi AI Cameras với cảm biến IMX500 để đạt hiệu suất nhanh và tiêu thụ điện năng thấp.

  • ST Edge AI: Xuất Ultralytics YOLO với format="stedgeai" thành model ONNX dạng float hoặc INT8 cho thiết bị STM32 của STMicroelectronics, kiểm tra độ chính xác trên máy tính, rồi biên dịch bằng ST Edge AI Core.

  • TensorRT: Được phát triển bởi NVIDIA, framework suy luận deep learning hiệu năng cao và định dạng model này tối ưu hóa model AI để tăng tốc độ và hiệu quả trên GPU NVIDIA.

  • TF GraphDef: Do Google phát triển, GraphDef là định dạng biểu diễn đồ thị tính toán của TensorFlow, cho phép thực thi model machine learning được tối ưu hóa trên nhiều loại phần cứng.

  • TF SavedModel: Được phát triển bởi Google, TF SavedModel là định dạng tuần tự hóa cho model TensorFlow, cho phép chia sẻ và triển khai trên nhiều nền tảng, từ server đến thiết bị edge.

  • TFLite Edge TPU: Được Google phát triển để tối ưu hóa model TensorFlow Lite trên Edge TPU, định dạng model này hỗ trợ điện toán edge nhanh và hiệu quả.

  • TorchScript: Được phát triển trong framework PyTorch, TorchScript cho phép thực thi và triển khai model machine learning hiệu quả trong nhiều môi trường production mà không cần dependency Python.

Tích hợp dataset#

  • Roboflow: Hỗ trợ gán nhãn và quản lý dataset cho model Ultralytics, cung cấp công cụ annotation để gán nhãn ảnh.

Các định dạng xuất#

Chúng tôi cũng hỗ trợ nhiều định dạng export model để triển khai trong các môi trường khác nhau. Dưới đây là những định dạng hiện có:

Định dạngĐối số formatModelMetadataĐối số
PyTorch-yolo26n.pt✅-
TorchScripttorchscriptyolo26n.torchscript✅imgsz, quantize, dynamic, nms, batch, device
ONNXonnxyolo26n.onnx✅imgsz, quantize, dynamic, simplify, opset, nms, batch, data, fraction, device
OpenVINOopenvinoyolo26n_openvino_model/✅imgsz, quantize, dynamic, nms, batch, data, fraction, device
TensorRTengineyolo26n.engine✅imgsz, quantize, dynamic, simplify, opset, workspace, nms, batch, data, fraction, device
CoreMLcoremlyolo26n.mlpackage✅imgsz, dynamic, quantize, nms, batch, device
Apple Core AIcoreaiyolo26n.aimodel✅imgsz, batch, quantize
TF SavedModelsaved_modelyolo26n_saved_model/✅imgsz, quantize, opset, nms, batch, data, fraction, device
TF GraphDefpbyolo26n.pb❌imgsz, opset, batch, device
TF Edge TPUedgetpuyolo26n_edgetpu.tflite✅imgsz, quantize, opset, data, fraction, device
LiteRTlitertyolo26n.tflite✅imgsz, quantize, batch, data, fraction, device
PaddlePaddlepaddleyolo26n_paddle_model/✅imgsz, batch, device
MNNmnnyolo26n.mnn✅imgsz, batch, dynamic, quantize, simplify, opset, nms, device
NCNNncnnyolo26n_ncnn_model/✅imgsz, quantize, device
IMX500imxyolo11n_imx_model/✅imgsz, quantize, data, fraction, nms, device
RKNNrknnyolo26n_rknn_model/✅imgsz, batch, name, quantize, simplify, opset, data, fraction, device
ExecuTorchexecutorchyolo26n_executorch_model/✅imgsz, quantize, batch, data, fraction, device
Axeleraaxelerayolo26n_axelera_model/✅imgsz, batch, quantize, data, fraction, device
DEEPXdeepxyolo26n_deepx_model/✅imgsz, quantize, simplify, opset, data, optimize, device
Qualcomm QNNqnnyolo26n_qnn.onnx✅imgsz, batch, name, quantize, simplify, opset, data, fraction, device
Hailohailoyolo26n_hailo_model/✅imgsz, name, quantize, data, fraction, simplify, conf, iou, device
Huawei Ascendascendyolo26n_ascend_model/✅imgsz, batch, name, quantize, opset, simplify, nms, device
AMD Xilinxxilinxyolo26n_xilinx_model/✅imgsz, name, quantize, data, fraction, opset, simplify, device
NXPnxpyolo26n_nxp.tflite✅imgsz, quantize, data, fraction, device
ST Edge AIstedgeaiyolo26n_stedgeai.onnx✅imgsz, quantize, data, fraction, opset, simplify, device

nms=None mặc định xuất dữ liệu thô để thực hiện NMS bên ngoài (YOLO26 vẫn giữ head không cần NMS trên Axelera). Đặt nms=False để chọn head không cần NMS hiện có; các định dạng không được hỗ trợ sẽ chuyển về đường dẫn xuất dữ liệu gốc của định dạng đó. Các mục nms ở trên xác định những định dạng có thể tích hợp NMS bằng nms=True.

Khám phá các liên kết để tìm hiểu thêm về từng tích hợp và cách tận dụng tối đa chúng với Ultralytics. Xem thông tin chi tiết đầy đủ về export trên trang Export.

Đóng góp cho các tích hợp của chúng tôi#

Chúng tôi hoan nghênh các hướng dẫn từ cộng đồng về tích hợp Ultralytics YOLO với những công nghệ, công cụ và nền tảng khác. Nếu bạn đã tích hợp thành công YOLO với một hệ thống mới hoặc có thông tin hữu ích muốn chia sẻ, hãy cân nhắc đóng góp cho tài liệu Tích hợp của chúng tôi.

Bằng cách viết hướng dẫn hoặc bài hướng dẫn, bạn có thể giúp mở rộng tài liệu và cung cấp ví dụ thực tế có ích cho cộng đồng.

Để đóng góp, hãy làm theo hướng dẫn đóng góp của chúng tôi về cách gửi Pull Request (PR).

Câu hỏi thường gặp#

  • Ultralytics Platform là nền tảng đám mây dành cho quy trình machine learning đầu cuối với model Ultralytics. Bạn có thể tải lên và gán nhãn dataset, huấn luyện model trên GPU đám mây, theo dõi experiment và triển khai model YOLO mà không cần viết nhiều code. Nền tảng này cung cấp không gian làm việc tập trung cho toàn bộ pipeline ML, từ chuẩn bị dữ liệu đến triển khai.

  • Có. Tích hợp MLflow với các model Ultralytics cho phép bạn theo dõi thử nghiệm, cải thiện khả năng tái lập và tinh giản toàn bộ vòng đời ML. Bạn có thể tìm hướng dẫn chi tiết về cách thiết lập tích hợp này trên trang tích hợp MLflow. Tích hợp này đặc biệt hữu ích để giám sát các chỉ số của model, so sánh những lần chạy huấn luyện khác nhau và quản lý quy trình ML hiệu quả. MLflow cung cấp một nền tảng tập trung để ghi lại tham số, chỉ số và artifact, giúp bạn dễ dàng hiểu hành vi của model và đưa ra cải tiến dựa trên dữ liệu.

  • Để triển khai model Ultralytics YOLO bằng Gradio nhằm tạo bản demo phát hiện đối tượng có tính tương tác, bạn có thể làm theo các bước trên trang tích hợp Gradio. Gradio tạo giao diện web để suy luận model theo thời gian thực, rất hữu ích khi giới thiệu model YOLO của bạn cho cả developer lẫn người dùng cuối. Chỉ với vài dòng code, bạn có thể xây dựng ứng dụng tương tác để minh họa hiệu năng model trên đầu vào tùy chỉnh.

Bình luận

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.