Theo dõi thí nghiệm với Neptune

Neptune là một kho lưu trữ siêu dữ liệu cho MLOps, được xây dựng cho các nhóm chạy nhiều thử nghiệm. Nó cung cấp cho bạn một nơi duy nhất để ghi nhật ký, lưu trữ, hiển thị, tổ chức, so sánh và truy vấn tất cả siêu dữ liệu xây dựng mô hình của bạn.

Ultralytics YOLO26 tích hợp với Neptune để hợp lý hóa việc track thử nghiệm. Sự tích hợp này cho phép bạn tự động ghi lại các số liệu huấn luyện, trực quan hóa các dự đoán của mô hình và lưu trữ các tạo phẩm mô hình mà không cần viết mã ghi nhật ký tùy chỉnh.

Các tính năng chính

• Ghi nhật ký tự động: Tự động ghi nhật ký các chỉ số huấn luyện chính như box loss, classification loss và mAP.
• Trực quan hóa hình ảnh: Xem các hình ảnh mosaic huấn luyện và dự đoán xác thực trực tiếp trong bảng điều khiển Neptune.
• Lưu điểm kiểm tra mô hình: Tải lên và kiểm soát phiên bản trọng số mô hình đã huấn luyện của bạn (best.pt) tự động vào cuối quá trình huấn luyện.
• Theo dõi siêu tham số: Ghi nhật ký tất cả các tham số cấu hình để đảm bảo khả năng tái tạo hoàn toàn các thử nghiệm của bạn.
• Biểu đồ tương tác: Trực quan hóa ma trận nhầm lẫn và đường cong precision-recall để phân tích hiệu suất mô hình.

Cài đặt

Để sử dụng Neptune với Ultralytics, bạn sẽ cần cài đặt neptune gói client cùng với ultralytics.

# Install the required packages
pip install ultralytics neptune

# Enable Neptune integration in Ultralytics settings
yolo settings neptune=True

Cấu hình

Trước khi bắt đầu huấn luyện, bạn cần kết nối môi trường cục bộ của mình với dự án Neptune. Bạn sẽ cần API Token và Tên Dự án của mình từ bảng điều khiển Neptune.

1. Lấy thông tin đăng nhập của bạn

1. Đăng nhập vào Neptune.ai.
2. Tạo một dự án mới (hoặc chọn một dự án hiện có).
3. Vào menu người dùng của bạn và lấy API Token của bạn.

2. Đặt biến môi trường

Cách an toàn nhất để xử lý thông tin xác thực là thông qua các biến môi trường. Lưu ý rằng callback Neptune của Ultralytics đọc đối số YOLO project và không sử dụng NEPTUNE_PROJECT. Truyền toàn bộ slug Neptune (ví dụ, workspace/name) project= trong lệnh huấn luyện của bạn; nếu không Neptune sẽ cố gắng sử dụng giá trị mặc định nguyên văn "Ultralytics" và quá trình chạy sẽ thất bại.

export NEPTUNE_API_TOKEN="your_long_api_token_here" # required

$Env:NEPTUNE_API_TOKEN = "your_long_api_token_here"  # required

import os

os.environ["NEPTUNE_API_TOKEN"] = "your_long_api_token_here"
os.environ["NEPTUNE_PROJECT"] = "your_workspace/your_project"

Cách sử dụng

Sau khi cấu hình, bạn có thể bắt đầu huấn luyện các mô hình YOLO26 của mình. Tích hợp Neptune hoạt động tự động khi neptune gói đã được cài đặt và tích hợp đã được bật trong cài đặt.

Ví dụ huấn luyện

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")

# Train the model
# Pass the Neptune project slug as the 'project' argument (workspace/name)
results = model.train(data="coco8.yaml", epochs=10, project="my-workspace/my-project", name="experiment-1")

# Train via CLI
# project must be the Neptune slug (workspace/name); otherwise run creation will fail
yolo train data=coco8.yaml epochs=10 project=my-workspace/my-project name=experiment-1

Tìm hiểu về tích hợp

Sơ đồ sau đây minh họa cách pipeline huấn luyện của Ultralytics tương tác với Neptune để ghi lại các tạo phẩm và số liệu khác nhau.

graph LR
    A[YOLO Training Loop] --> B{Neptune Callback}
    B -->|Log Scalars| C[Loss, mAP, LR]
    B -->|Log Images| D[Mosaics, Preds]
    B -->|Log Artifacts| E[Model Weights]
    B -->|Log Metadata| F[Hyperparameters]

    C --> G[Neptune Server]
    D --> G
    E --> G
    F --> G

    G --> H[Neptune Web Dashboard]

Những gì được ghi nhật ký?

Khi bạn chạy lệnh huấn luyện, tích hợp Neptune tự động thu thập cấu trúc dữ liệu sau trong quá trình chạy của bạn:

1. Cấu hình/Siêu tham số: Tất cả các đối số huấn luyện (epochs, lr0, optimizer, v.v.) được ghi lại trong phần Cấu hình.
2. Cấu hình/Mô hình: Kiến trúc và định nghĩa mô hình.
3. Các độ đo:
   • Huấn luyện: box_loss, cls_loss, dfl_loss, lr (tốc độ học).
   • Các độ đo: precision, recall, mAP50, mAP50-95.
4. Ảnh:
   • Mosaic: Các batch huấn luyện hiển thị tăng cường dữ liệu.
   • Validation: Nhãn ground truth và dự đoán của mô hình trên dữ liệu xác thực.
   • Plots: Ma trận nhầm lẫn, Đường cong Precision-Recall.
5. Trọng số: Mô hình đã huấn luyện cuối cùng (best.pt) được tải lên thư mục weights trong lần chạy Neptune.

Sử dụng nâng cao

Tổ chức các phiên chạy

Bạn có thể sử dụng các đối số Ultralytics tiêu chuẩn project và name để tổ chức các lần chạy của bạn trong Neptune.

• project: Phải là slug dự án Neptune workspace/name; đây là những gì callback truyền cho neptune.init_run.
• name: Đóng vai trò là định danh cho lần chạy cụ thể.

Ghi nhật ký tùy chỉnh

Nếu bạn cần ghi nhật ký các chỉ số tùy chỉnh bổ sung cùng với việc ghi nhật ký tự động, bạn có thể truy cập phiên bản chạy Neptune. Lưu ý rằng bạn sẽ cần sửa đổi logic của trình huấn luyện hoặc tạo một callback tùy chỉnh để truy cập đối tượng chạy cụ thể, vì tích hợp Ultralytics xử lý vòng đời chạy nội bộ.

Câu hỏi thường gặp

Làm cách nào để tắt ghi nhật ký Neptune?

Nếu bạn đã cài đặt neptune nhưng muốn tắt ghi nhật ký cho một phiên cụ thể hoặc toàn cầu, bạn có thể sửa đổi cài đặt YOLO.

# Disable Neptune integration
yolo settings neptune=False

Hình ảnh của tôi không tải lên. Có vấn đề gì vậy?

Đảm bảo rằng mạng của bạn cho phép kết nối đến máy chủ của Neptune. Ngoài ra, việc ghi nhật ký hình ảnh thường xảy ra ở các khoảng thời gian cụ thể (ví dụ: cuối epoch hoặc cuối quá trình huấn luyện). Nếu bạn ngắt quá trình huấn luyện sớm bằng cách sử dụng Ctrl+C, một số tạo phẩm cuối cùng như ma trận nhầm lẫn hoặc trọng số mô hình tốt nhất có thể không được tải lên.

Tôi có thể ghi nhật ký vào một ID phiên chạy Neptune cụ thể không?

Tích hợp hiện tại tự động tạo một phiên chạy mới cho mỗi phiên huấn luyện. Để tiếp tục ghi nhật ký vào một phiên chạy hiện có, bạn thường cần xử lý việc khởi tạo Neptune thủ công trong mã python, điều này nằm ngoài phạm vi của tích hợp tự động. Tuy nhiên, Ultralytics hỗ trợ tiếp tục huấn luyện cục bộ, điều này sẽ tạo một phiên chạy mới trong Neptune để track các epoch đã tiếp tục.

Tôi có thể tìm thấy trọng số mô hình ở đâu trong Neptune?

Trong bảng điều khiển Neptune của bạn, điều hướng đến mục Artifacts hoặc All Metadata phần. Bạn sẽ tìm thấy một weights thư mục chứa best.pt tệp của bạn, mà bạn có thể tải xuống để triển khai.

📅 Được tạo 1 tháng trước ✍️ Cập nhật 4 ngày trước

Bình luận