Link to this sectionTích hợp Amazon S3#

Tích hợp Amazon S3 kết nối các bucket S3 của bạn với Ultralytics Platform. Hình ảnh của bạn vẫn nằm trong các bucket của bạn — Platform chỉ lập chỉ mục tại chỗ, vì vậy bạn có thể duyệt, gán nhãn và huấn luyện các mô hình YOLO mà không cần tải lên bản sao.

Tính năng Pro

Các tập dữ liệu Amazon S3 yêu cầu gói Pro hoặc Enterprise. Các không gian làm việc miễn phí sẽ nhìn thấy tính năng tích hợp và được nhắc nâng cấp khi kết nối. Các tập dữ liệu Amazon S3 hiện có vẫn hoàn toàn có thể truy cập được nếu gói đăng ký kết thúc — chỉ các kết nối và lượt nhập mới yêu cầu gói Pro.

Link to this sectionTạo người dùng IAM chỉ đọc (Read-Only)#

Platform chỉ đọc từ bộ lưu trữ của bạn — không bao giờ ghi, sửa đổi hoặc xóa các đối tượng của bạn. Hãy sử dụng một người dùng IAM chuyên dụng chỉ có quyền liệt kê và đọc — không bao giờ sử dụng thông tin xác thực root:

Trong console AWS, đi tới IAM > Users và tạo một người dùng không có quyền truy cập console.

Đính kèm một chính sách chỉ cấp quyền liệt kê và đọc cho các bucket mà bạn muốn kết nối:

{
    "Version": "2012-10-17",
    "Statement": [
        { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
        {
            "Effect": "Allow",
            "Action": ["s3:ListBucket", "s3:GetObject"],
            "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
        }
    ]
}

s3:ListAllMyBuckets là tùy chọn — nó cho phép Platform khám phá các bucket của bạn để bạn không cần phải nhập tên của chúng.

Mở tab Security credentials của người dùng, tạo access key, sau đó sao chép access key ID và secret access key.

Link to this sectionKết nối với Platform#

Đi tới Settings > Integrations và tìm thẻ Amazon S3.
Nhấp vào Connect và nhập access key ID, secret access key và vùng (region) của bucket (ví dụ: us-east-1).
Platform liệt kê các bucket mà thông tin xác thực có thể đọc. Chọn các bucket cần kết nối, hoặc nhập tên bucket theo cách thủ công nếu chính sách không cho phép khám phá.
Nhấp vào Connect. Platform sẽ xác minh khả năng liệt kê và đọc từng bucket đã chọn trước khi lưu bất kỳ thông tin nào.

Việc kết nối lại cùng một người dùng IAM sau đó sẽ thêm các bucket mới vào tích hợp hiện có. Thông tin xác thực đã lưu chỉ được thay thế khi thông tin thay thế vẫn có thể đọc mọi bucket bạn đã kết nối.

Một vùng (region) cho mỗi kết nối

Một kết nối sẽ đọc các bucket trong vùng bạn đã nhập. Nếu các bucket của bạn nằm ở nhiều vùng khác nhau, hãy kết nối một lần cho mỗi vùng.

Bảo mật thông tin xác thực

Thông tin xác thực được mã hóa ở trạng thái nghỉ (at rest) bằng AES-256-GCM, không bao giờ được trả về trình duyệt và không bao giờ đi vào payload của công việc huấn luyện. Để thu hồi quyền truy cập, hãy hủy kích hoạt access key trong AWS IAM.

Link to this sectionTạo tập dữ liệu từ bucket S3#

Nhấp vào New Dataset và mở tab Cloud storage.
Chọn một bucket đã kết nối và duyệt đến thư mục chứa dữ liệu của bạn.
Xác nhận thư mục, điều chỉnh tên dataset và tạo dataset.

Platform liệt kê thư mục một lần và lập chỉ mục những gì nó tìm thấy:

Hình ảnh — Các đối tượng .jpg, .jpeg, .png, .webp và .avif được lập chỉ mục với kích thước được đọc từ các yêu cầu tiêu đề giới hạn. Các pixel gốc không bao giờ được sao chép ra khỏi bucket của bạn.
Labels — các sidecar YOLO .txt được phân tích cú pháp thành các annotation của Platform, khớp theo bố cục chuẩn images/ → labels/ hoặc là các tệp cùng thư mục.
Metadata — một tệp data.yaml/data.yml cung cấp tên lớp, loại tác vụ và hình dạng keypoint pose, chính xác như một tệp lưu trữ tải lên.
Splits — các tên thư mục train, val, và test trong key đối tượng sẽ chỉ định các phân đoạn (splits) một cách tự động.

Tập dữ liệu sau đó sẽ hoạt động như bất kỳ tập dữ liệu nào khác: duyệt và chú thích, đặt ở chế độ công khai hoặc riêng tư, chia sẻ với team của bạn và huấn luyện thông qua tính năng huấn luyện được quản lý. Các tệp gốc được truyền theo yêu cầu và các hình ảnh được lập chỉ mục không tiêu tốn hạn mức lưu trữ trên Platform của bạn.

Giới hạn

Một lần nhập duy nhất có thể lập chỉ mục lên đến 50.000 đối tượng, và các tệp nhãn hoặc YAML có dung lượng lên đến 1 MB mỗi tệp. Các bucket lớn hơn nên được chia thành nhiều tập dữ liệu.

Giữ các đối tượng được lập chỉ mục ở trạng thái bất biến

Mỗi hình ảnh được lập chỉ mục đều được ghim vào ETag đối tượng S3 của nó, và Platform sẽ dừng hoạt động nếu đối tượng bị thay đổi bên dưới nó. Hãy thêm đối tượng mới thay vì ghi đè lên các đối tượng hiện có.

Link to this sectionNhập thất bại#

Nếu quá trình nhập không thành công — do thư mục trống, lỗi đánh máy trong đường dẫn hoặc quyền hạn bị thu hồi — tập dữ liệu sẽ hiển thị lỗi trên trang của nó. Người chỉnh sửa có thể nhấp vào Retry import để khởi động lại với bucket và thư mục đã lưu, hoặc tạo một tập dữ liệu mới trỏ đến đường dẫn đã sửa.

Link to this sectionHuấn luyện#

Huấn luyện được quản lý hoạt động thông qua quy trình huấn luyện thông thường. Các worker tải xuống các bản gốc đã ghim vào bộ lưu trữ công việc tạm thời cho lần chạy và xóa chúng khi dọn dẹp công việc — thông tin xác thực AWS của bạn không bao giờ tiếp cận môi trường tính toán.

Link to this sectionCác hạn chế hiện tại#

Các tập dữ liệu dựa trên S3 hiện loại trừ các tính năng yêu cầu bản sao hình ảnh do Platform sở hữu: tự động gán nhãn, phân tích phân cụm, sao chép tập dữ liệu và snapshot phiên bản bất biến.

Việc xóa tập dữ liệu dựa trên S3, hoặc xóa từng hình ảnh riêng lẻ trong đó, chỉ xóa các tham chiếu của Platform — các đối tượng của bạn không bao giờ bị chạm vào.

Xem thêm các tích hợp Google Cloud Storage và Azure Blob Storage.

Người đóng góp

GLglenn-jocher¹

Đã tạo 2 giờ trướcĐã cập nhật 2 giờ trước