Huấn luyện YOLO26 với ClearML: Tối ưu hóa quy trình MLOps#

MLOps thu hẹp khoảng cách giữa việc tạo và triển khai các model machine learning trong môi trường thực tế. MLOps tập trung vào triển khai hiệu quả, khả năng mở rộng và quản lý liên tục để đảm bảo model hoạt động tốt trong các ứng dụng thực tiễn.

Ultralytics YOLO26 dễ dàng tích hợp với ClearML, giúp tinh gọn và cải thiện quá trình huấn luyện cũng như quản lý model phát hiện đối tượng. Hướng dẫn này sẽ giúp bạn thực hiện quy trình tích hợp, trình bày chi tiết cách thiết lập ClearML, quản lý thử nghiệm, tự động hóa việc quản lý model và cộng tác hiệu quả.

ClearML#

ClearML là nền tảng MLOps mã nguồn mở tiên tiến, được thiết kế bài bản để tự động hóa, giám sát và điều phối quy trình machine learning. Các tính năng chính gồm ghi log tự động toàn bộ dữ liệu huấn luyện và suy luận để có thể tái lập đầy đủ thử nghiệm, giao diện web trực quan giúp trực quan hóa dữ liệu và phân tích dễ dàng, các thuật toán tối ưu hóa siêu tham số tiên tiến, cùng khả năng quản lý model mạnh mẽ để triển khai hiệu quả trên nhiều nền tảng.

Huấn luyện YOLO26 với ClearML#

Bạn có thể tự động hóa và nâng cao hiệu quả quy trình machine learning bằng cách tích hợp YOLO26 với ClearML để cải thiện quá trình huấn luyện.

Cài đặt#

Để cài đặt các package cần thiết, hãy chạy:

# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml

Để xem hướng dẫn chi tiết và các phương pháp tối ưu liên quan đến quá trình cài đặt, hãy tham khảo hướng dẫn cài đặt YOLO26. Nếu gặp khó khăn khi cài đặt các package cần thiết cho YOLO26, hãy xem hướng dẫn về các vấn đề thường gặp để tìm giải pháp và mẹo xử lý.

Cấu hình ClearML#

Sau khi cài đặt các package cần thiết, bước tiếp theo là khởi tạo và cấu hình ClearML SDK. Việc này bao gồm thiết lập tài khoản ClearML và lấy thông tin xác thực cần thiết để kết nối liền mạch giữa môi trường phát triển của bạn và máy chủ ClearML.

Trước tiên, hãy khởi tạo ClearML SDK trong môi trường của bạn. Lệnh clearml-init bắt đầu quy trình thiết lập và yêu cầu bạn cung cấp thông tin xác thực cần thiết.

# Initialize your ClearML SDK setup process
clearml-init

Sau khi chạy lệnh này, hãy truy cập trang Cài đặt ClearML. Chuyển đến góc trên bên phải và chọn "Settings". Mở phần "Workspace" rồi nhấp vào "Create new credentials". Sử dụng thông tin xác thực được cung cấp trong cửa sổ bật lên "Create Credentials" để hoàn tất thiết lập theo hướng dẫn, tùy thuộc vào việc bạn cấu hình ClearML trong Jupyter Notebook hay môi trường Python cục bộ.

Cách sử dụng#

Trước khi tìm hiểu hướng dẫn sử dụng, hãy xem qua các model YOLO26 do Ultralytics cung cấp. Điều này sẽ giúp bạn chọn model phù hợp nhất với yêu cầu dự án.

from ultralytics import YOLO

# Callback tự động tạo và kết nối tác vụ ClearML
model = YOLO("yolo26n.pt")
results = model.train(
    data="coco8.yaml",
    epochs=16,
    project="my_project",
    name="my_yolo26_task",
)

Tìm hiểu về mã#

Sau khi cài đặt và cấu hình ClearML, callback của ClearML được bật theo mặc định. Callback tạo một tác vụ khi bắt đầu huấn luyện, sử dụng các đối số YOLO project và name làm tên dự án và tác vụ ClearML, đồng thời tự động kết nối các đối số huấn luyện. Chạy yolo settings clearml=False để tắt tích hợp. Để biết các tùy chọn huấn luyện và phương pháp tối ưu, hãy xem hướng dẫn huấn luyện model YOLO26.

Tìm hiểu về đầu ra#

Khi chạy đoạn mã sử dụng ở trên, bạn có thể thấy đầu ra như sau:

• Thông báo xác nhận việc tạo tác vụ ClearML mới cùng với ID duy nhất của tác vụ.
• Thông báo cung cấp thông tin cho biết mã script đã được lưu trữ và quá trình thực thi mã đang được ClearML theo dõi.
• Liên kết URL đến trang kết quả ClearML, nơi bạn có thể theo dõi tiến độ huấn luyện và xem log chi tiết.
• Tiến trình tải xuống model YOLO26 và dataset được chỉ định, tiếp theo là bản tóm tắt kiến trúc model và cấu hình huấn luyện.
• Thông báo khởi tạo các thành phần huấn luyện khác nhau như TensorBoard, độ chính xác hỗn hợp tự động (AMP) và chuẩn bị dataset.
• Cuối cùng, quá trình huấn luyện bắt đầu và hiển thị thông tin cập nhật tiến độ khi model được huấn luyện trên dataset đã chỉ định. Để hiểu sâu hơn về các chỉ số hiệu năng được sử dụng trong quá trình huấn luyện, hãy đọc hướng dẫn về các chỉ số hiệu năng của chúng tôi.

Xem trang kết quả ClearML#

Bằng cách nhấp vào liên kết URL đến trang kết quả ClearML trong đầu ra của đoạn mã sử dụng, bạn có thể xem tổng quan toàn diện về quá trình huấn luyện model.

Các tính năng chính của trang kết quả ClearML#

• Theo dõi chỉ số theo thời gian thực

  • Theo dõi các chỉ số quan trọng như loss, độ chính xác và điểm số xác thực ngay khi các chỉ số này được ghi nhận.
  • Cung cấp phản hồi tức thì để kịp thời điều chỉnh hiệu năng model.

• So sánh thử nghiệm

  • So sánh song song các lần chạy huấn luyện khác nhau.
  • Thiết yếu cho việc tinh chỉnh siêu tham số và xác định các model hiệu quả nhất.

• Log và đầu ra chi tiết

  • Truy cập log toàn diện, biểu đồ trực quan về các chỉ số và đầu ra console.
  • Hiểu sâu hơn về hành vi của model và cách xử lý vấn đề.

• Giám sát mức sử dụng tài nguyên

  • Giám sát mức sử dụng tài nguyên điện toán, bao gồm CPU, GPU và bộ nhớ.
  • Yếu tố then chốt để tối ưu hóa hiệu quả và chi phí huấn luyện.

• Quản lý artifact của model

  • Xem, tải xuống và chia sẻ artifact của model như model đã huấn luyện và checkpoint.
  • Tăng cường cộng tác và tinh gọn quy trình triển khai model cũng như chia sẻ model.

Để xem trực quan giao diện trang kết quả ClearML, hãy xem video bên dưới:

Các tính năng nâng cao trong ClearML#

ClearML cung cấp một số tính năng nâng cao để cải thiện trải nghiệm MLOps của bạn.

Thực thi từ xa#

Tính năng thực thi từ xa của ClearML hỗ trợ tái lập và thao tác với các thử nghiệm trên nhiều máy khác nhau. Tính năng này ghi log các chi tiết thiết yếu như package đã cài đặt và những thay đổi chưa commit. Khi một tác vụ được đưa vào hàng đợi, ClearML Agent sẽ lấy tác vụ, tái tạo môi trường và chạy thử nghiệm, sau đó gửi lại kết quả chi tiết.

Việc triển khai ClearML Agent rất đơn giản và có thể thực hiện trên nhiều máy khác nhau bằng lệnh sau:

clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]

Cấu hình này áp dụng được cho VM trên cloud, GPU cục bộ hoặc laptop. ClearML Autoscalers hỗ trợ quản lý khối lượng công việc trên cloud ở các nền tảng như AWS, GCP và Azure, tự động hóa việc triển khai agent và điều chỉnh tài nguyên dựa trên ngân sách tài nguyên của bạn.

Sao chép, chỉnh sửa và đưa vào hàng đợi#

Giao diện thân thiện với người dùng của ClearML giúp dễ dàng sao chép, chỉnh sửa và đưa các task vào hàng đợi. Người dùng có thể sao chép một thử nghiệm hiện có, điều chỉnh tham số hoặc các chi tiết khác qua UI, rồi đưa task vào hàng đợi để thực thi. Quy trình tinh gọn này đảm bảo ClearML Agent thực thi task sẽ sử dụng cấu hình đã cập nhật, rất phù hợp cho việc thử nghiệm lặp lại và tinh chỉnh model.

Quản lý phiên bản dataset#

ClearML còn cung cấp các khả năng quản lý phiên bản dataset mạnh mẽ, tích hợp liền mạch với quy trình huấn luyện YOLO26. Tính năng này cho phép bạn:

• Quản lý phiên bản dataset độc lập với code
• Theo dõi phiên bản dataset được sử dụng cho từng thử nghiệm
• Dễ dàng truy cập và tải xuống phiên bản dataset mới nhất

Để chuẩn bị dataset cho ClearML, hãy làm theo các bước sau:

1. Sắp xếp dataset theo cấu trúc YOLO tiêu chuẩn (images, labels, v.v.)

2. Sao chép tệp YAML tương ứng vào thư mục gốc của dataset

3. Tải dataset lên bằng công cụ ClearML Data:

   cd your_dataset_folder
   clearml-data sync --project YOLO26 --name your_dataset_name --folder .

Lệnh này sẽ tạo một dataset có phiên bản trong ClearML để bạn tham chiếu trong các script huấn luyện, giúp đảm bảo khả năng tái lập và dễ dàng truy cập dữ liệu.

Tóm tắt#

Hướng dẫn này đã trình bày quy trình tích hợp ClearML với YOLO26 của Ultralytics. Từ khâu thiết lập ban đầu đến quản lý model nâng cao, bạn đã tìm hiểu cách tận dụng ClearML để huấn luyện hiệu quả, theo dõi thử nghiệm và tối ưu hóa workflow trong các dự án machine learning.

Để biết thêm chi tiết về cách sử dụng, hãy xem hướng dẫn tích hợp YOLOv8 chính thức của ClearML, hướng dẫn này cũng áp dụng cho workflow YOLO26.

Ngoài ra, hãy khám phá thêm các tích hợp và khả năng của Ultralytics tại trang hướng dẫn tích hợp Ultralytics, nơi cung cấp nhiều tài nguyên và thông tin hữu ích.

Câu hỏi thường gặp#