YOLO Vision 2026:

Triển khai Luxonis OAK cho Ultralytics YOLO#

Máy ảnh Luxonis OAK chạy các mô hình Ultralytics YOLO trực tiếp trên thiết bị sau khi chuyển đổi bằng công cụ của Luxonis. Đây là quy trình triển khai thủ công; Luxonis không phải là một đích đến model.export(format="...") gốc của Ultralytics.

Hướng dẫn này bao gồm các thiết bị RVC2 và RVC4. Hãy chuyển đổi cho nền tảng của máy ảnh: các tệp kết quả của RVC2 và RVC4 không thể hoán đổi cho nhau. Các dòng mô hình và tác vụ được hỗ trợ khác nhau; hãy kiểm tra bảng hỗ trợ Công cụ Luxonis trước khi chuyển đổi.

Bắt đầu với một điểm kiểm tra YOLO .pt được hỗ trợ, chẳng hạn như yolo26n.pt, hoặc mô hình đã huấn luyện của riêng bạn. Lưu trữ NN đã chuyển đổi đóng gói mô hình và siêu dữ liệu thời gian chạy.

Chuyển đổi trên đám mây với Luxonis Hub#

  1. Đăng nhập vào Luxonis Hub và mở Chuyển đổi nhanh.
  2. Chọn YOLO, chọn RVC2 hoặc RVC4, và tải lên điểm kiểm tra .pt của bạn.
  3. Đặt hình dạng đầu vào và các tham số chuyển đổi, sau đó gửi yêu cầu chuyển đổi.
  4. Sau khi hoàn thành, hãy sao chép định danh của mô hình đã chuyển đổi cho ví dụ suy luận bên dưới, hoặc tải xuống Lưu trữ NN của mô hình đó.

Đối với việc chuyển đổi tự động hoặc dữ liệu hiệu chuẩn RVC4 tùy chỉnh, hãy sử dụng HubAI SDK. Thực hiện theo các hướng dẫn cài đặt của SDK trong môi trường Python 3.10+. Chuyển đổi chi tiết cung cấp tính năng quản lý sổ đăng ký và tập dữ liệu hiệu chuẩn được xác định trước.

Chuyển đổi cục bộ với Tools và ModelConverter#

Sử dụng Python 3.10+ và Docker. Cài đặt Công cụ Luxonis bằng hướng dẫn thiết lập nguồn cấp trên của công cụ, bao gồm cả các ràng buộc phần phụ thuộc. Công cụ chuẩn bị các đầu ra YOLO để phân tích cú pháp bởi Luxonis; một tệp xuất ONNX chung không thể thay thế bước này.

# Export the checkpoint to an ONNX NN Archive
tools yolo26n.pt --imgsz "640 640" --output-dir output

# Install the target-platform converter
pip install modelconv==0.6.0

Công cụ ghi yolo26n.tar.xz bên trong một thư mục có dấu thời gian dưới output/. Thay thế đường dẫn ví dụ bên dưới bằng tệp đó. Đối với việc chuyển đổi RVC4 INT8, hãy điền calibration_images/ với các hình ảnh triển khai đại diện; xem yêu cầu dữ liệu hiệu chuẩn.

modelconverter convert rvc4 --path output/yolo26n_20260807_104858/yolo26n.tar.xz \
  calibration.path calibration_images/

Đối với RVC2, hãy sử dụng rvc2 thay vì rvc4; hình ảnh hiệu chuẩn không cần thiết cho việc chuyển đổi FP16 của RVC2. Sử dụng Lưu trữ NN được biên dịch kết quả từ thư mục đầu ra của ModelConverter cho suy luận, thay vì lưu trữ trung gian ONNX. Xem ModelConverter để biết các đường dẫn đầu ra và các tùy chọn dành riêng cho nền tảng.

Chạy suy luận trên máy ảnh OAK#

Kết nối máy ảnh OAK tương thích và cài đặt DepthAI trong môi trường Python của bạn:

pip install depthai==3.9.0

Đối với mô hình Hub riêng tư, hãy đặt DEPTHAI_HUB_API_KEY thành khóa API Luxonis Hub trước khi chạy tập lệnh. Thay thế your-model-identifier bằng định danh từ Hub, hoặc sử dụng giải pháp thay thế Lưu trữ NN đã biên dịch cục bộ.

import depthai as dai

model = "your-model-identifier"
# Alternatively, use your converted local artifact:
# model = dai.NNArchive("path/to/model.rvc4.tar.xz")

visualizer = dai.RemoteConnection()

with dai.Pipeline() as pipeline:
    camera = pipeline.create(dai.node.Camera).build()
    detection = pipeline.create(dai.node.DetectionNetwork).build(camera, model)

    visualizer.addTopic("rgb", detection.passthrough, group="RGB")
    visualizer.addTopic("detections", detection.out, group="RGB")

    pipeline.start()
    visualizer.registerPipeline(pipeline)

    while pipeline.isRunning():
        if visualizer.waitKey(1) == ord("q"):
            pipeline.stop()

Mở http://localhost:8082 để xem luồng RGB và các phát hiện. DetectionNetwork cũng hỗ trợ các mô hình phân đoạn thực thể và tư thế tương thích. Đối với các tác vụ khác, bao gồm phân đoạn ngữ nghĩa và phân loại, hãy làm theo hướng dẫn suy luận theo tác vụ cụ thể.

Đối với các đường ống chiều sâu âm thanh nổi, hãy xem ví dụ phát hiện không gian. Đo lường mô hình của bạn trên máy ảnh mục tiêu bằng cách sử dụng hướng dẫn đo điểm chuẩn; thông lượng phụ thuộc vào mô hình, kích thước đầu vào, độ chính xác và cấu hình đường ống.

Những người đóng góp
KLklemen19991

Bình luận