Huấn luyện YOLO26 với ClearML: Tối ưu hóa Quy trình MLOps của bạn#

MLOps thu hẹp khoảng cách giữa việc tạo và triển khai các machine learning model trong môi trường thực tế. Công nghệ này tập trung vào việc triển khai hiệu quả, khả năng mở rộng và quản lý liên tục để đảm bảo model hoạt động tốt trong các ứng dụng thực tế.

Ultralytics YOLO26 tích hợp mượt mà với ClearML, giúp tối ưu hóa và nâng cao quá trình huấn luyện cũng như quản lý object detection model của bạn. Hướng dẫn này sẽ đưa bạn qua quy trình tích hợp, chi tiết cách thiết lập ClearML, quản lý các thực nghiệm, tự động hóa quản lý model và cộng tác hiệu quả.

ClearML#

ClearML là một nền tảng MLOps mã nguồn mở tiên tiến được thiết kế khéo léo để tự động hóa, giám sát và điều phối các machine learning workflow. Các tính năng chính bao gồm ghi log tự động toàn bộ dữ liệu huấn luyện và suy luận để đảm bảo khả năng tái lập thực nghiệm hoàn chỉnh, giao diện web trực quan giúp data visualization và phân tích dễ dàng, các optimization algorithms siêu tham số tiên tiến, cùng khả năng quản lý model mạnh mẽ để triển khai hiệu quả trên nhiều nền tảng khác nhau.

Huấn luyện YOLO26 với ClearML#

Bạn có thể mang sự tự động hóa và hiệu quả vào quy trình machine learning của mình bằng cách tích hợp YOLO26 với ClearML để cải thiện quy trình huấn luyện.

Cài đặt#

Để cài đặt các gói cần thiết, hãy chạy:

# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml

Để biết hướng dẫn chi tiết và các phương pháp hay nhất liên quan đến quá trình cài đặt, hãy nhớ tham khảo YOLO26 Installation guide của chúng tôi. Trong quá trình cài đặt các package cần thiết cho YOLO26, nếu bạn gặp bất kỳ khó khăn nào, hãy tham khảo Common Issues guide để tìm giải pháp và mẹo hữu ích.

Cấu hình ClearML#

Sau khi đã cài đặt các gói cần thiết, bước tiếp theo là khởi tạo và cấu hình ClearML SDK của bạn. Điều này bao gồm việc thiết lập tài khoản ClearML và lấy các thông tin xác thực cần thiết để kết nối liền mạch giữa môi trường phát triển của bạn và máy chủ ClearML.

Bắt đầu bằng cách khởi初始化 ClearML SDK trong môi trường của bạn. Câu lệnh clearml-init bắt đầu quá trình thiết lập và yêu cầu bạn cung cấp các thông tin xác thực cần thiết.

# Initialize your ClearML SDK setup process
clearml-init

Sau khi thực thi câu lệnh này, hãy truy cập ClearML Settings page. Điều hướng đến góc trên cùng bên phải và chọn "Settings". Chuyển đến phần "Workspace" và nhấp vào "Create new credentials". Sử dụng thông tin xác thực được cung cấp trong cửa sổ pop-up "Create Credentials" để hoàn tất thiết lập theo hướng dẫn, tùy thuộc vào việc bạn đang cấu hình ClearML trong Jupyter Notebook hay môi trường Python cục bộ.

Cách sử dụng#

Trước khi đi sâu vào hướng dẫn sử dụng, hãy nhớ khám phá các YOLO26 models offered by Ultralytics. Điều này sẽ giúp bạn chọn được model phù hợp nhất cho các yêu cầu dự án của mình.

from ultralytics import YOLO

# The callback creates and connects the ClearML task automatically
model = YOLO("yolo26n.pt")
results = model.train(
    data="coco8.yaml",
    epochs=16,
    project="my_project",
    name="my_yolo26_task",
)

Tìm hiểu về mã nguồn#

Sau khi ClearML được cài đặt và cấu hình, callback của nó sẽ được bật mặc định. Nó tạo một task khi quá trình huấn luyện bắt đầu, sử dụng các tham số project và name của YOLO cho tên project và task của ClearML, đồng thời tự động kết nối các tham số huấn luyện. Chạy yolo settings clearml=False để vô hiệu hóa tích hợp. Để biết các tùy chọn huấn luyện và best practices, hãy xem hướng dẫn Huấn luyện Model YOLO26.

Tìm hiểu về đầu ra#

Sau khi chạy đoạn mã sử dụng phía trên, bạn có thể mong đợi kết quả đầu ra sau:

• Một thông báo xác nhận việc tạo ClearML task mới, cùng với ID duy nhất của nó.
• Một thông báo thông tin về việc mã script đang được lưu trữ, cho biết rằng việc thực thi mã đang được theo dõi bởi ClearML.
• Một liên kết URL đến trang kết quả ClearML, nơi bạn có thể giám sát tiến trình huấn luyện và xem nhật ký chi tiết.
• Tiến trình tải xuống mô hình YOLO26 và tập dữ liệu được chỉ định, theo sau là bản tóm tắt về kiến trúc mô hình và cấu hình huấn luyện.
• Thông báo khởi tạo cho các thành phần huấn luyện khác nhau như TensorBoard, Automatic Mixed Precision (AMP), và quá trình chuẩn bị dataset.
• Cuối cùng, quá trình huấn luyện bắt đầu, với các cập nhật tiến trình khi model huấn luyện trên dataset được chỉ định. Để hiểu sâu hơn về các chỉ số hiệu suất được sử dụng trong quá trình huấn luyện, hãy đọc our guide on performance metrics.

Xem trang kết quả ClearML#

Bằng cách nhấp vào liên kết URL đến trang kết quả ClearML trong đầu ra của đoạn mã sử dụng, bạn có thể truy cập cái nhìn toàn diện về quy trình huấn luyện mô hình của mình.

Các tính năng chính của trang kết quả ClearML#

• Theo dõi số liệu thời gian thực

  • Theo dõi các chỉ số quan trọng như loss, accuracy, và điểm số validation ngay khi chúng diễn ra.
  • Cung cấp phản hồi tức thì để điều chỉnh hiệu suất mô hình kịp thời.

• So sánh thực nghiệm

  • So sánh các lần huấn luyện khác nhau cạnh nhau.
  • Cần thiết cho hyperparameter tuning và xác định các model hiệu quả nhất.

• Nhật ký và đầu ra chi tiết

  • Truy cập nhật ký toàn diện, biểu diễn đồ họa của các số liệu và đầu ra của console.
  • Hiểu sâu hơn về hành vi của mô hình và giải quyết vấn đề.

• Giám sát sử dụng tài nguyên

  • Giám sát việc sử dụng các tài nguyên tính toán, bao gồm CPU, GPU và bộ nhớ.
  • Chìa khóa để tối ưu hóa hiệu quả huấn luyện và chi phí.

• Quản lý các thành phần mô hình (Model Artifacts)

  • Xem, tải xuống và chia sẻ các thành phần mô hình như các mô hình đã được huấn luyện và các checkpoint.
  • Tăng cường khả năng cộng tác và đơn giản hóa model deployment cũng như việc chia sẻ.

Để có cái nhìn trực quan về trang Kết quả ClearML, hãy xem video bên dưới:

Các tính năng nâng cao trong ClearML#

ClearML cung cấp một số tính năng nâng cao để cải thiện trải nghiệm MLOps của bạn.

Thực thi từ xa#

Tính năng thực thi từ xa của ClearML tạo điều kiện thuận lợi cho việc tái tạo và thao tác các thực nghiệm trên các máy khác nhau. Hệ thống ghi log các chi tiết quan trọng như các package đã cài đặt và các thay đổi chưa được commit. Khi một task được đưa vào hàng đợi, ClearML Agent sẽ kéo task đó về, tạo lại môi trường và chạy thực nghiệm, sau đó báo cáo lại với kết quả chi tiết.

Việc triển khai ClearML Agent rất đơn giản và có thể thực hiện trên nhiều máy khác nhau bằng cách sử dụng lệnh sau:

clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]

Thiết lập này có thể áp dụng cho các đám mây ảo (cloud VM), GPU cục bộ hoặc máy tính xách tay. ClearML Autoscalers giúp quản lý khối lượng công việc trên đám mây trên các nền tảng như AWS, GCP và Azure, tự động hóa việc triển khai các agent và điều chỉnh tài nguyên dựa trên ngân sách tài nguyên của bạn.

Sao chép, Chỉnh sửa và Đưa vào hàng đợi#

Giao diện thân thiện với người dùng của ClearML cho phép sao chép, chỉnh sửa và đưa các tác vụ vào hàng đợi một cách dễ dàng. Người dùng có thể sao chép một thực nghiệm hiện có, điều chỉnh các tham số hoặc các chi tiết khác thông qua UI và đưa tác vụ vào hàng đợi để thực thi. Quy trình hợp lý này đảm bảo rằng ClearML Agent thực thi tác vụ sử dụng các cấu hình đã cập nhật, khiến nó trở nên lý tưởng cho các thực nghiệm lặp đi lặp lại và tinh chỉnh mô hình.

Quản lý phiên bản tập dữ liệu#

ClearML cũng cung cấp các tính năng dataset version management mạnh mẽ tích hợp liền mạch với các YOLO26 training workflow. Tính năng này cho phép bạn:

• Lập phiên bản các tập dữ liệu của bạn tách biệt với mã nguồn
• Theo dõi phiên bản tập dữ liệu nào đã được sử dụng cho từng thực nghiệm
• Dễ dàng truy cập và tải xuống phiên bản tập dữ liệu mới nhất

Để chuẩn bị tập dữ liệu của bạn cho ClearML, hãy làm theo các bước sau:

1. Tổ chức tập dữ liệu của bạn với cấu trúc YOLO tiêu chuẩn (hình ảnh, nhãn, v.v.)

2. Sao chép tệp YAML tương ứng vào thư mục gốc của tập dữ liệu của bạn

3. Tải lên tập dữ liệu của bạn bằng công cụ ClearML Data:

   cd your_dataset_folder
   clearml-data sync --project YOLO26 --name your_dataset_name --folder .

Lệnh này sẽ tạo một tập dữ liệu có phiên bản trong ClearML có thể được tham chiếu trong các script huấn luyện của bạn, đảm bảo tính tái lập và dễ dàng truy cập vào dữ liệu của bạn.

Tóm tắt#

Hướng dẫn này đã dẫn dắt bạn qua quy trình tích hợp ClearML với YOLO26 của Ultralytics. Bao gồm mọi thứ từ thiết lập ban đầu đến quản lý mô hình nâng cao, bạn đã khám phá cách tận dụng ClearML để huấn luyện hiệu quả, theo dõi thực nghiệm và tối ưu hóa quy trình làm việc trong các dự án machine learning của mình.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập ClearML's official YOLOv8 integration guide, cũng áp dụng cho các YOLO26 workflow.

Ngoài ra, hãy khám phá thêm nhiều tích hợp và tính năng của Ultralytics bằng cách truy cập Ultralytics integration guide page, đây là một kho tàng tài nguyên và thông tin chi tiết.

Câu hỏi thường gặp#