Huấn luyện trên đám mây#

Ultralytics Platform Cloud Training cung cấp tính năng huấn luyện một cú nhấp chuột trên GPU đám mây, giúp việc huấn luyện model trở nên dễ tiếp cận mà không cần thiết lập phức tạp. Huấn luyện các model YOLO với luồng chỉ số thời gian thực và tự động lưu checkpoint.

graph LR
    A[Configure]:::start --> B[Start Training]:::proc
    B --> C[Provision GPU]:::proc
    C --> D[Download Dataset]:::proc
    D --> E[Train]:::proc
    E --> F[Stream Metrics]:::proc
    F --> G[Save Checkpoints]:::proc
    G --> H[Complete]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

Hộp thoại Huấn luyện#

Bắt đầu huấn luyện từ giao diện UI của nền tảng bằng cách nhấp vào New Model trên bất kỳ trang dự án hoặc tập dữ liệu nào. Hộp thoại huấn luyện có hai tab: Cloud Training và Local Training. Khi tập dữ liệu được chọn nằm trên máy chủ On Premise, tab đầu tiên sẽ chuyển thành On Premise và tab Local Training sẽ bị ẩn — tập dữ liệu đó chỉ có thể được huấn luyện trên máy chủ của chính nó, yêu cầu gói Enterprise và một worker trực tuyến được kết nối.

Bước 1: Chọn Model Cơ sở#

Chọn một model Ultralytics chính thức hoặc một trong các model đã hoàn thành của riêng bạn:

Trong mỗi tab, các mô hình được nhóm theo tác vụ theo thứ tự chuẩn hóa và sắp xếp theo kích thước. Bộ lựa chọn sẽ lọc các mô hình chính thức theo các tác vụ tương thích với tập dữ liệu đã chọn. YOLO26 bao gồm các biến thể Detect, Segment, Semantic, Depth, Classify, Pose, và OBB với các kích thước từ nano đến xlarge.

Bước 2: Chọn Tập dữ liệu#

Chọn dataset để huấn luyện (xem phần Datasets):

Bước 3: Cấu hình Tham số#

Thiết lập các tham số huấn luyện cốt lõi:

Các giá trị được nhập ngoài phạm vi của tham số sẽ được giới hạn khi trường nhập liệu mất tiêu điểm (focus).

Bước 4: Cài đặt Nâng cao (Tùy chọn)#

Mở rộng Advanced Settings để truy cập trình soạn thảo tham số dựa trên YAML đầy đủ với hơn 50 tham số huấn luyện được tổ chức theo nhóm (xem configuration reference):

Các tham số có tính nhận thức tác vụ (ví dụ: copy_paste chỉ hiển thị cho các tác vụ segment, pose/kobj chỉ cho pose, dropout chỉ cho classify). Huy hiệu Modified xuất hiện khi các giá trị khác với mặc định và bạn có thể đặt lại tất cả về mặc định bằng nút reset. Chỉ các giá trị nâng cao khác mặc định mới được gửi đến tác vụ huấn luyện (các tham số cơ bản epochs, batch và kích thước ảnh luôn được bao gồm), do đó lệnh kết quả vẫn dễ đọc.

mosaic: 1.0       # Keep mosaic on
mixup: 0.3        # Add mixup blending
copy_paste: 0.3   # Add copy-paste (segment only)
fliplr: 0.5       # Horizontal flip
degrees: 10.0     # Slight rotation
scale: 0.9        # Aggressive scaling

Lưu Phiên bản Tập dữ liệu (Tùy chọn)#

Bật Save Dataset Version để liên kết model với một phiên bản bất biến của tập dữ liệu được lưu trữ trên Platform. Platform sẽ kiểm tra xem nội dung tập dữ liệu có thay đổi hay không, tái sử dụng phiên bản khớp nếu không có thay đổi và chỉ tạo phiên bản được đánh số mới khi cần thiết. Quá trình huấn luyện sau đó sẽ sử dụng snapshot NDJSON chính xác đó và ghi lại số phiên bản cũng như mã băm nội dung trên model.

Việc này giúp bảo toàn dữ liệu đã sử dụng cho lần chạy đó ngay cả khi bạn thêm hoặc xóa hình ảnh, chỉnh sửa chú thích hoặc thay đổi các phân đoạn tập dữ liệu sau này. Bạn có thể tìm thấy phiên bản đã liên kết trong các tab Models và Versions của tập dữ liệu.

Bước 5: Chọn GPU (Tab Đám mây)#

Chọn GPU của bạn từ Ultralytics Cloud:

Hộp thoại hiển thị số balance hiện tại của bạn và nút Top Up. Thẻ chi phí ước tính tổng thời gian và giá cho cấu hình của bạn (kích thước mô hình, ảnh tập dữ liệu, epochs, kích thước ảnh, kích thước batch, bộ tối ưu hóa và tốc độ GPU), đồng thời báo cáo số giây ước tính cho mỗi epoch và số lượng ảnh trong tập dữ liệu.

Bước 6: Bắt đầu Huấn luyện#

Nhấp vào Start Training để khởi chạy công việc của bạn. Nền tảng sẽ:

1. Giải quyết phiên bản tập dữ liệu bất biến khi Save Dataset Version được bật
2. Cấp phát một instance GPU
3. Tải xuống tập dữ liệu của bạn
4. Bắt đầu huấn luyện
5. Truyền phát các chỉ số trong thời gian thực

Việc huấn luyện lại một mô hình hiện có sẽ tái sử dụng chính trang mô hình đó và xóa các biểu đồ, đầu ra bảng điều khiển (console), số liệu hệ thống và trạng thái lỗi của lần chạy trước ngay khi tác vụ mới được tạo. Một lần chạy thất bại trước khi tài nguyên tính toán được cung cấp sẽ giữ nguyên các kết quả trước đó.

Vòng đời của công việc huấn luyện#

Các công việc huấn luyện tiến triển qua các trạng thái sau:

Một lỗi Python nghiêm trọng trong luồng bảng điều khiển — dấu vết ngăn xếp (traceback), lỗi CUDA out-of-memory hoặc lỗi khởi tạo CUDA không thành công — sẽ kết thúc ngay lập tức quá trình chạy thay vì chờ hết thời gian chờ (timeout), và thông báo được trích xuất sẽ xuất hiện trong một biểu ngữ lỗi trên trang mô hình với các hành động View full console logs và Retry Training. Các lần chạy ngừng báo cáo hoạt động trong vài giờ sẽ tự động được đánh dấu là thất bại và tài nguyên tính toán của chúng sẽ được giải phóng.

Để nhận kết quả hoàn thành và thất bại mà không cần giữ mở trang này, hãy kết nối cảnh báo Slack.

Theo dõi Huấn luyện#

Xem tiến trình huấn luyện thời gian thực trên tab Train của trang model:

Tab con Biểu đồ#

Các biểu đồ được nhóm theo họ số liệu và các nhóm xuất hiện sẽ phụ thuộc vào những gì lần chạy báo cáo:

Mỗi nhóm có thể được thu gọn, các biểu đồ riêng lẻ có thể được ẩn hoặc hiện từ menu nhóm, và các biểu đồ có thể được kéo và thay đổi kích thước — bố cục sẽ được ghi nhớ cho lần sau.

Tab con Console#

Đầu ra bảng điều khiển trực tiếp hỗ trợ màu ANSI, thanh tiến trình và phát hiện lỗi nghiêm trọng. 2000 dòng cuối cùng được giữ lại, có thể bật/tắt dấu thời gian và toàn bộ nhật ký có thể được sao chép dưới dạng văn bản thuần túy.

Tab con Hệ thống#

Một thẻ máy chủ trực tiếp (tên máy chủ, CPU, GPU, tổng RAM và tổng đĩa) cộng với các biểu đồ cho từng epoch về mức sử dụng CPU và RAM, mức sử dụng và bộ nhớ GPU, nhiệt độ GPU, I/O mạng và I/O đĩa.

Checkpoint#

Checkpoint tốt nhất (best.pt) được tải lên Platform định kỳ trong khi huấn luyện và một lần nữa khi quá trình chạy kết thúc, do đó việc tải xuống, xuất và triển khai luôn sử dụng epoch tốt nhất được tạo ra cho đến nay. Nếu quá trình chạy bị hủy, checkpoint được tải lên trước khi hủy sẽ được giữ lại.

Hủy huấn luyện#

Nhấp vào Cancel trong thẻ Run Information trên trang mô hình và xác nhận hành động. Đối với huấn luyện trên đám mây, Platform sẽ dừng tác vụ, giải phóng tài nguyên tính toán và tính phí thời gian GPU đã sử dụng trước khi hủy. Đối với huấn luyện cục bộ, việc hủy sẽ báo hiệu quá trình dừng lại ở ranh giới epoch tiếp theo và bảo lưu các kết quả một phần — quá trình chạy sẽ tải lên những gì nó có trước khi thoát.

Huấn luyện từ xa (Remote Training)#

graph LR
    A[Local GPU]:::start --> B[ultralytics Package]:::proc
    B --> C[Train]:::proc
    C --> D[Stream Metrics]:::proc
    D --> E[Platform Dashboard]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

Huấn luyện trên phần cứng của riêng bạn trong khi truyền tải các chỉ số (metrics) lên nền tảng.

pip install -U ultralytics

Thiết lập API Key#

1. Đi tới Settings > API Keys
2. Tạo một key mới (hoặc nền tảng sẽ tự động tạo một key khi bạn mở tab Local Training)
3. Thiết lập biến môi trường:

export ULTRALYTICS_API_KEY="YOUR_API_KEY"

Huấn luyện với truyền tải dữ liệu (Streaming)#

Sử dụng các tham số project và name để truyền tải số liệu:

yolo train model=yolo26n.pt data=coco.yaml epochs=100 \
  project=username/my-project name=experiment-1

Tab Local Training trong hộp thoại huấn luyện hiển thị một lệnh đã được cấu hình sẵn cùng với API key, các tham số đã chọn và các đối số nâng cao đi kèm.

Sử dụng tập dữ liệu (dataset) của Platform#

Huấn luyện với các dataset được lưu trữ trên nền tảng bằng cách sử dụng ul:// định dạng URI:

yolo train model=yolo26n.pt data=ul://username/datasets/my-dataset epochs=100 \
  project=username/my-project name=exp1

Định dạng URI ul:// sẽ tự động tải xuống và cấu hình dataset của bạn. Model được tự động liên kết với dataset trên nền tảng (xem Sử dụng Dataset trên Nền tảng).

Thanh toán#

Chi phí huấn luyện dựa trên mức sử dụng GPU:

Ước tính chi phí#

Trước khi quá trình huấn luyện bắt đầu, nền tảng ước tính tổng thời gian và chi phí dựa trên kích thước tập dữ liệu, kích thước mô hình, kích thước ảnh, kích thước batch, epochs và GPU đã chọn. Các ước tính chỉ mang tính chất gần đúng; mức sử dụng thực tế là những gì được tính phí.

Các yếu tố ảnh hưởng đến chi phí:

Các ước tính dựa trên các lần chạy huấn luyện trên đám mây thực tế và ước tính luôn sử dụng GPU bạn đã chọn — do đó, một tác vụ được định tuyến đến cơ sở hạ tầng Ultralytics nhanh hơn sẽ hoàn thành trước thời gian ước tính của nó.

Ví dụ về chi phí#

Quy trình thanh toán#

graph LR
    A[Estimate Cost]:::start --> B[Balance Check]:::decide
    B --> C[Train and Meter GPU Time]:::proc
    C --> D[Settle at Terminal State]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Quy trình thanh toán huấn luyện trên cloud:

1. Ước tính: Chi phí được tính trước khi huấn luyện bắt đầu
2. Kiểm tra số dư: Tín dụng khả dụng được kiểm tra trước khi chạy
3. Train and Meter: Job chạy trên tài nguyên tính toán đã chọn, và thời gian GPU tích lũy sẽ được trừ dần từ số dư của bạn theo từng bước trong quá trình chạy
4. Settle: Ở trạng thái cuối cùng, phần thời gian lẻ còn lại sẽ được trừ và một giao dịch Training duy nhất được ghi lại cho toàn bộ lượt chạy

Thanh toán theo trạng thái Job#

Một lần chạy ngừng báo cáo hoạt động trong vài giờ sẽ tự động được đánh dấu là thất bại; phiên làm việc bị chấm dứt và thời gian GPU đã qua được thanh toán. Các lần chạy từ xa trên phần cứng của riêng bạn chỉ đơn giản được đánh dấu là thất bại mà không tính phí gì.

Phương thức Thanh toán#

Cloud training được thanh toán từ số dư tín dụng Platform của bạn.

Xem chi phí huấn luyện#

Trước khi bắt đầu tác vụ trên đám mây, hộp thoại huấn luyện hiển thị số dư tín dụng hiện tại của bạn và ước tính thời gian cũng như chi phí tác vụ từ model, tập dữ liệu, epochs, kích thước ảnh và GPU được chọn. Ước tính này mang tính tham khảo; mức sử dụng thực tế được tính phí theo thời gian GPU tiêu thụ. Sau đó, hãy xem lại giao dịch tín dụng tương ứng trong mục Settings > Billing.

Mẹo huấn luyện#

Chọn kích thước mô hình phù hợp#

Tối ưu hóa thời gian huấn luyện#

Khắc phục sự cố#

Tham chiếu tham số huấn luyện#

Câu hỏi thường gặp#