Link to this sectionTích hợp Google Cloud Storage#
Tích hợp Google Cloud Storage giúp kết nối các bucket GCS của bạn với Ultralytics Platform. Hình ảnh của bạn vẫn được lưu trữ trong bucket — Platform sẽ lập chỉ mục ngay tại chỗ, vì vậy bạn có thể duyệt, chú thích và huấn luyện các model YOLO mà không cần tải lên một bản sao.
Các tập dữ liệu Google Cloud Storage yêu cầu gói Pro hoặc Enterprise. Các workspace miễn phí sẽ thấy tính năng tích hợp này và được nhắc nâng cấp khi kết nối. Các tập dữ liệu Google Cloud Storage hiện có vẫn được truy cập đầy đủ nếu gói đăng ký kết thúc — chỉ các kết nối và lệnh nhập mới cần tài khoản Pro.
Link to this sectionTạo một Service Account chỉ đọc#
Platform chỉ thực hiện đọc từ bộ nhớ của bạn — tuyệt đối không ghi, sửa đổi hoặc xóa các đối tượng của bạn. Hãy tạo một service account chuyên dụng với quyền chỉ đọc:
- Trong bảng điều khiển Google Cloud, hãy truy cập IAM & Admin > Service Accounts và tạo một service account.
- Cấp cho nó vai trò Storage Object Viewer (
roles/storage.objectViewer) trên các bucket mà bạn muốn kết nối. - Mở service account, chọn Keys > Add key > Create new key, chọn JSON và tải xuống tệp khóa.
Link to this sectionKết nối với Platform#
- Truy cập Settings > Integrations và tìm thẻ Google Cloud.
- Nhấp vào Connect và dán nội dung của tệp khóa JSON service account vào.
- Platform sẽ liệt kê các bucket mà service account có thể đọc. Chọn các bucket cần kết nối, hoặc nhập tên bucket theo cách thủ công nếu tài khoản không thể liệt kê các bucket.
- Nhấp vào Connect. Platform sẽ xác minh khả năng liệt kê và đọc từng bucket đã chọn trước khi lưu bất kỳ thông tin nào.
Việc kết nối lại cùng một service account sau đó sẽ thêm các bucket mới vào tích hợp hiện có. Thông tin đăng nhập đã lưu chỉ được thay thế khi thông tin thay thế có thể đọc được mọi bucket mà bạn đã kết nối.
Thông tin đăng nhập được mã hóa ở trạng thái nghỉ với AES-256-GCM, không bao giờ được gửi ngược lại trình duyệt và không bao giờ nằm trong các payload công việc huấn luyện. Để thu hồi quyền truy cập, hãy xóa khóa service account trong Google Cloud.
Link to this sectionTạo một tập dữ liệu từ bucket GCS#
- Nhấp vào New Dataset và mở tab Cloud storage.
- Chọn một bucket đã kết nối và duyệt đến thư mục chứa dữ liệu của bạn.
- Xác nhận thư mục, điều chỉnh tên dataset và tạo dataset.
Platform liệt kê thư mục một lần và lập chỉ mục những gì nó tìm thấy:
- Hình ảnh — Các đối tượng
.jpg,.jpeg,.png,.webpvà.avifđược lập chỉ mục với kích thước được đọc từ các yêu cầu tiêu đề giới hạn. Các pixel gốc không bao giờ được sao chép ra khỏi bucket của bạn. - Labels — các sidecar YOLO
.txtđược phân tích cú pháp thành các annotation của Platform, khớp theo bố cục chuẩnimages/→labels/hoặc là các tệp cùng thư mục. - Metadata — một tệp
data.yaml/data.ymlcung cấp tên lớp, loại tác vụ và hình dạng keypoint pose, chính xác như một tệp lưu trữ tải lên. - Splits — tên thư mục
train,valvàtesttrong đường dẫn đối tượng sẽ tự động gán các tập phân chia.
Tập dữ liệu sau đó sẽ hoạt động như bất kỳ tập dữ liệu nào khác: duyệt và chú thích, đặt ở chế độ công khai hoặc riêng tư, chia sẻ với team của bạn và huấn luyện thông qua tính năng huấn luyện được quản lý. Các tệp gốc được truyền theo yêu cầu và các hình ảnh được lập chỉ mục không tiêu tốn hạn mức lưu trữ trên Platform của bạn.
Một lần nhập duy nhất có thể lập chỉ mục lên đến 50.000 đối tượng, và các tệp nhãn hoặc YAML có dung lượng lên đến 1 MB mỗi tệp. Các bucket lớn hơn nên được chia thành nhiều tập dữ liệu.
Mỗi hình ảnh được lập chỉ mục đều được ghim vào thế hệ đối tượng GCS của nó, và Platform sẽ dừng hoạt động nếu một đối tượng bị thay đổi bên dưới nó. Hãy thêm các đối tượng mới thay vì ghi đè lên các đối tượng hiện có.
Link to this sectionNhập thất bại#
Nếu quá trình nhập không thành công — do thư mục trống, lỗi đánh máy trong đường dẫn hoặc quyền hạn bị thu hồi — tập dữ liệu sẽ hiển thị lỗi trên trang của nó. Người chỉnh sửa có thể nhấp vào Retry import để khởi động lại với bucket và thư mục đã lưu, hoặc tạo một tập dữ liệu mới trỏ đến đường dẫn đã sửa.
Link to this sectionHuấn luyện#
Việc huấn luyện được quản lý hoạt động thông qua quy trình huấn luyện thông thường. Các worker sẽ tải các tệp gốc đã ghim vào bộ nhớ công việc tạm thời để chạy và xóa chúng sau khi công việc hoàn tất — thông tin đăng nhập Google Cloud của bạn không bao giờ được gửi đến compute.
Link to this sectionCác hạn chế hiện tại#
Các tập dữ liệu dựa trên GCS hiện loại trừ các tính năng yêu cầu bản sao hình ảnh do Platform sở hữu: tự động chú thích, phân tích phân cụm, nhân bản tập dữ liệu và các snapshot phiên bản bất biến.
Việc xóa một tập dữ liệu dựa trên GCS, hoặc xóa từng hình ảnh khỏi tập dữ liệu đó, chỉ xóa các tham chiếu của Platform — các đối tượng của bạn không bao giờ bị tác động.
Xem thêm các tích hợp Amazon S3 và Azure Blob Storage.