Triển khai Ultralytics YOLO trên Luxonis OAK#

Camera Luxonis OAK chạy model Ultralytics YOLO trên thiết bị sau khi chuyển đổi bằng công cụ Luxonis. Đây là quy trình triển khai thủ công; Luxonis không phải là target model.export(format="...") tích hợp sẵn của Ultralytics.

Hướng dẫn này đề cập đến các thiết bị RVC2 và RVC4. Hãy chuyển đổi theo nền tảng của camera: các artifact RVC2 và RVC4 không thể dùng thay thế cho nhau. Các dòng model và tác vụ được hỗ trợ có thể khác nhau; hãy kiểm tra bảng ma trận hỗ trợ Luxonis Tools trước khi chuyển đổi.

Bắt đầu với checkpoint YOLO .pt được hỗ trợ, chẳng hạn như yolo26n.pt, hoặc model đã huấn luyện của riêng bạn. NN Archive sau chuyển đổi đóng gói model và metadata runtime.

Chuyển đổi trên đám mây bằng Luxonis Hub#

1. Đăng nhập vào Luxonis Hub và mở Quick Conversion.
2. Chọn YOLO, chọn RVC2 hoặc RVC4, rồi tải lên checkpoint .pt.
3. Thiết lập kích thước đầu vào và các tham số chuyển đổi, sau đó gửi yêu cầu chuyển đổi.
4. Sau khi hoàn tất, hãy sao chép mã định danh của model đã chuyển đổi để dùng trong ví dụ suy luận bên dưới, hoặc tải NN Archive xuống.

Để tự động hóa quá trình chuyển đổi hoặc sử dụng dữ liệu hiệu chuẩn RVC4 tùy chỉnh, hãy dùng HubAI SDK. Làm theo hướng dẫn cài đặt trong môi trường Python 3.10+. Chuyển đổi chi tiết cung cấp chức năng quản lý registry và các dataset hiệu chuẩn được xác định trước.

Chuyển đổi cục bộ bằng Tools và ModelConverter#

Sử dụng Python 3.10+ và Docker. Cài đặt Luxonis Tools theo hướng dẫn thiết lập upstream, bao gồm cả các ràng buộc về dependency. Tools chuẩn bị đầu ra YOLO để Luxonis phân tích; việc xuất ONNX thông thường không thể thay thế bước này.

# Export the checkpoint to an ONNX NN Archive
tools yolo26n.pt --imgsz "640 640" --output-dir output

# Install the target-platform converter
pip install modelconv==0.6.0

Tools ghi yolo26n.tar.xz vào một thư mục có dấu thời gian bên trong output/. Thay đường dẫn ví dụ bên dưới bằng đường dẫn đến tệp đó. Để chuyển đổi INT8 trên RVC4, hãy điền các hình ảnh triển khai đại diện vào calibration_images/; xem yêu cầu về dữ liệu hiệu chuẩn.

modelconverter convert rvc4 --path output/yolo26n_20260807_104858/yolo26n.tar.xz \
  calibration.path calibration_images/

Với RVC2, hãy dùng rvc2 thay vì rvc4; không cần hình ảnh hiệu chuẩn cho chuyển đổi FP16 của thiết bị này. Khi suy luận, hãy dùng NN Archive đã biên dịch trong thư mục đầu ra của ModelConverter, thay vì archive ONNX trung gian. Xem ModelConverter để biết đường dẫn đầu ra và các tùy chọn dành riêng cho từng nền tảng.

Chạy suy luận trên camera OAK#

Kết nối camera OAK tương thích và cài đặt DepthAI trong môi trường Python của bạn:

pip install depthai==3.9.0

Đối với model Hub riêng tư, hãy đặt DEPTHAI_HUB_API_KEY thành khóa API Luxonis Hub trước khi chạy script. Thay your-model-identifier bằng mã định danh từ Hub, hoặc dùng NN Archive cục bộ đã biên dịch.

import depthai as dai

model = "your-model-identifier"
# Ngoài ra, hãy dùng artifact cục bộ đã chuyển đổi của bạn:
# model = dai.NNArchive("path/to/model.rvc4.tar.xz")

visualizer = dai.RemoteConnection()

with dai.Pipeline() as pipeline:
    camera = pipeline.create(dai.node.Camera).build()
    detection = pipeline.create(dai.node.DetectionNetwork).build(camera, model)

    visualizer.addTopic("rgb", detection.passthrough, group="RGB")
    visualizer.addTopic("detections", detection.out, group="RGB")

    pipeline.start()
    visualizer.registerPipeline(pipeline)

    while pipeline.isRunning():
        if visualizer.waitKey(1) == ord("q"):
            pipeline.stop()

Mở http://localhost:8082 để xem luồng RGB và các đối tượng được phát hiện. DetectionNetwork cũng hỗ trợ model phân đoạn instance và ước lượng tư thế tương thích. Với các tác vụ khác, bao gồm phân đoạn ngữ nghĩa và phân loại, hãy làm theo hướng dẫn suy luận theo từng tác vụ.

Đối với pipeline độ sâu stereo, hãy xem ví dụ phát hiện không gian. Đo hiệu năng model trên camera đích theo hướng dẫn benchmark; thông lượng phụ thuộc vào model, kích thước đầu vào, độ chính xác và cấu hình pipeline.

Câu hỏi thường gặp#