Huấn luyện YOLO26 với ClearML: Tối ưu hóa quy trình MLOps của bạn#

MLOps thu hẹp khoảng cách giữa việc tạo và triển khai các model machine learning trong môi trường thực tế. MLOps tập trung vào việc triển khai hiệu quả, khả năng mở rộng và quản lý liên tục để đảm bảo model hoạt động tốt trong các ứng dụng thực tiễn.

Ultralytics YOLO26 tích hợp dễ dàng với ClearML, giúp đơn giản hóa và nâng cao quy trình huấn luyện cũng như quản lý model phát hiện đối tượng của bạn. Hướng dẫn này sẽ trình bày quy trình tích hợp, bao gồm cách thiết lập ClearML, quản lý các experiment, tự động hóa việc quản lý model và cộng tác hiệu quả.

ClearML#

ClearML là một nền tảng MLOps mã nguồn mở tiên tiến, được thiết kế hiệu quả để tự động hóa, giám sát và điều phối các workflow machine learning. Các tính năng chính bao gồm tự động ghi log toàn bộ dữ liệu huấn luyện và inference để tái lập experiment đầy đủ, web UI trực quan để dễ dàng trực quan hóa dữ liệu và phân tích, các thuật toán tối ưu hóa hyperparameter nâng cao, cùng khả năng quản lý model mạnh mẽ để triển khai hiệu quả trên nhiều nền tảng.

Huấn luyện YOLO26 với ClearML#

Bạn có thể đưa tính tự động hóa và hiệu quả vào workflow machine learning bằng cách tích hợp YOLO26 với ClearML để cải thiện quy trình huấn luyện.

Cài đặt#

Để cài đặt các package bắt buộc, hãy chạy:

# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml

Để xem hướng dẫn chi tiết và các best practice liên quan đến quy trình cài đặt, hãy tham khảo hướng dẫn Cài đặt YOLO26. Nếu gặp khó khăn khi cài đặt các package bắt buộc cho YOLO26, hãy tham khảo hướng dẫn Các vấn đề thường gặp để tìm giải pháp và mẹo xử lý.

Cấu hình ClearML#

Sau khi cài đặt các package cần thiết, bước tiếp theo là khởi tạo và cấu hình ClearML SDK. Việc này bao gồm thiết lập tài khoản ClearML và lấy thông tin xác thực cần thiết để kết nối liền mạch giữa môi trường phát triển của bạn và server ClearML.

Bắt đầu bằng cách khởi tạo ClearML SDK trong môi trường của bạn. Lệnh clearml-init bắt đầu quy trình thiết lập và yêu cầu bạn cung cấp thông tin xác thực cần thiết.

# Initialize your ClearML SDK setup process
clearml-init

Sau khi thực thi lệnh này, hãy truy cập trang Cài đặt ClearML. Điều hướng đến góc trên bên phải và chọn "Settings". Chuyển đến phần "Workspace" rồi nhấp vào "Create new credentials." Sử dụng thông tin xác thực được cung cấp trong cửa sổ bật lên "Create Credentials" để hoàn tất thiết lập theo hướng dẫn, tùy thuộc vào việc bạn đang cấu hình ClearML trong Jupyter Notebook hay môi trường Python cục bộ.

Cách sử dụng#

Trước khi bắt đầu xem hướng dẫn sử dụng, hãy tham khảo danh sách các model YOLO26 do Ultralytics cung cấp. Điều này sẽ giúp bạn chọn model phù hợp nhất với yêu cầu của project.

from ultralytics import YOLO

# The callback creates and connects the ClearML task automatically
model = YOLO("yolo26n.pt")
results = model.train(
    data="coco8.yaml",
    epochs=16,
    project="my_project",
    name="my_yolo26_task",
)

Tìm hiểu về code#

Sau khi ClearML được cài đặt và cấu hình, callback của ClearML sẽ được bật theo mặc định. Callback tạo một task khi quá trình huấn luyện bắt đầu, sử dụng các argument YOLO project và name làm tên project và task ClearML, đồng thời tự động kết nối các argument huấn luyện. Chạy yolo settings clearml=False để tắt tích hợp. Để biết các tùy chọn huấn luyện và best practice, hãy xem hướng dẫn Huấn luyện Model YOLO26.

Tìm hiểu về output#

Khi chạy đoạn code sử dụng ở trên, bạn có thể mong đợi output sau:

• Thông báo xác nhận cho biết một task ClearML mới đã được tạo, cùng với ID duy nhất của task.
• Thông báo thông tin về việc code của script đã được lưu, cho biết quá trình thực thi code đang được ClearML theo dõi.
• Một URL dẫn đến trang kết quả ClearML, nơi bạn có thể theo dõi tiến trình huấn luyện và xem log chi tiết.
• Tiến trình tải xuống model YOLO26 và dataset được chỉ định, sau đó là bản tóm tắt về kiến trúc model và cấu hình huấn luyện.
• Các thông báo khởi tạo cho nhiều thành phần huấn luyện, chẳng hạn như TensorBoard, Mixed Precision tự động (AMP) và quá trình chuẩn bị dataset.
• Cuối cùng, quá trình huấn luyện bắt đầu và cập nhật tiến trình được hiển thị khi model huấn luyện trên dataset được chỉ định. Để hiểu sâu hơn về các metric hiệu năng được sử dụng trong quá trình huấn luyện, hãy đọc hướng dẫn về metric hiệu năng của chúng tôi.

Xem trang Kết quả ClearML#

Bằng cách nhấp vào URL dẫn đến trang kết quả ClearML trong output của đoạn code sử dụng, bạn có thể truy cập chế độ xem toàn diện về quá trình huấn luyện model.

Các tính năng chính của trang Kết quả ClearML#

• Theo dõi metric theo thời gian thực

  • Theo dõi các metric quan trọng như loss, độ chính xác và điểm validation ngay khi chúng phát sinh.
  • Cung cấp phản hồi tức thì để kịp thời điều chỉnh hiệu năng model.

• So sánh experiment

  • So sánh các lần chạy huấn luyện khác nhau cạnh nhau.
  • Thiết yếu cho việc tuning hyperparameter và xác định các model hiệu quả nhất.

• Log và output chi tiết

  • Truy cập log toàn diện, biểu diễn đồ họa của các metric và output từ console.
  • Hiểu sâu hơn về hành vi của model và cách giải quyết vấn đề.

• Giám sát mức sử dụng tài nguyên

  • Giám sát mức sử dụng tài nguyên tính toán, bao gồm CPU, GPU và bộ nhớ.
  • Yếu tố then chốt để tối ưu hiệu quả và chi phí huấn luyện.

• Quản lý artifact của model

  • Xem, tải xuống và chia sẻ các artifact của model, chẳng hạn như model đã huấn luyện và checkpoint.
  • Tăng cường khả năng cộng tác và đơn giản hóa việc triển khai model cũng như chia sẻ model.

Để xem trực quan trang Kết quả ClearML trông như thế nào, hãy xem video bên dưới:

Các tính năng nâng cao trong ClearML#

ClearML cung cấp một số tính năng nâng cao để cải thiện trải nghiệm MLOps của bạn.

Thực thi từ xa#

Tính năng thực thi từ xa của ClearML hỗ trợ tái tạo và thao tác với các experiment trên những máy khác nhau. Tính năng này ghi log các thông tin thiết yếu như package đã cài đặt và các thay đổi chưa commit. Khi một task được đưa vào hàng đợi, ClearML Agent sẽ lấy task, tái tạo môi trường và chạy experiment, sau đó gửi lại kết quả chi tiết.

Việc triển khai ClearML Agent rất đơn giản và có thể thực hiện trên nhiều máy khác nhau bằng lệnh sau:

clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]

Thiết lập này áp dụng cho VM trên cloud, GPU cục bộ hoặc laptop. ClearML Autoscalers hỗ trợ quản lý workload trên cloud trên các nền tảng như AWS, GCP và Azure, tự động hóa việc triển khai agent và điều chỉnh tài nguyên dựa trên ngân sách tài nguyên của bạn.

Clone, chỉnh sửa và đưa vào hàng đợi#

Giao diện thân thiện với người dùng của ClearML cho phép dễ dàng clone, chỉnh sửa và đưa task vào hàng đợi. Người dùng có thể clone một experiment hiện có, điều chỉnh parameter hoặc các thông tin khác thông qua UI, rồi đưa task vào hàng đợi để thực thi. Quy trình được đơn giản hóa này đảm bảo ClearML Agent thực thi task sử dụng các cấu hình đã cập nhật, rất phù hợp cho việc thử nghiệm lặp và fine-tune model.

Quản lý version dataset#

ClearML cũng cung cấp các khả năng quản lý version dataset mạnh mẽ, tích hợp liền mạch với workflow huấn luyện YOLO26. Tính năng này cho phép bạn:

• Quản lý version dataset riêng biệt với code
• Theo dõi version dataset nào đã được sử dụng cho từng experiment
• Dễ dàng truy cập và tải xuống version dataset mới nhất

Để chuẩn bị dataset cho ClearML, hãy thực hiện các bước sau:

1. Sắp xếp dataset theo cấu trúc YOLO tiêu chuẩn (images, labels, v.v.)

2. Sao chép file YAML tương ứng vào thư mục gốc của dataset

3. Tải dataset lên bằng công cụ ClearML Data:

   cd your_dataset_folder
   clearml-data sync --project YOLO26 --name your_dataset_name --folder .

Lệnh này sẽ tạo một dataset có version trong ClearML, có thể được tham chiếu trong các script huấn luyện, đảm bảo khả năng tái lập và dễ dàng truy cập dữ liệu.

Tóm tắt#

Hướng dẫn này đã trình bày quy trình tích hợp ClearML với YOLO26 của Ultralytics. Từ thiết lập ban đầu đến quản lý model nâng cao, bạn đã tìm hiểu cách tận dụng ClearML để huấn luyện hiệu quả, theo dõi experiment và tối ưu hóa workflow trong các project machine learning.

Để biết thêm chi tiết về cách sử dụng, hãy truy cập hướng dẫn tích hợp YOLOv8 chính thức của ClearML, hướng dẫn này cũng áp dụng cho các workflow YOLO26.

Ngoài ra, hãy khám phá thêm các tích hợp và khả năng của Ultralytics bằng cách truy cập trang hướng dẫn tích hợp Ultralytics, nơi cung cấp nguồn tài nguyên và thông tin chuyên sâu phong phú.

FAQ#