Tích hợp Amazon S3#

Tích hợp Amazon S3 kết nối các S3 bucket của bạn với Ultralytics Platform. Hình ảnh vẫn nằm trong các bucket của bạn — Platform lập chỉ mục chúng ngay tại đó, để bạn có thể duyệt, gắn nhãn và huấn luyện model YOLO mà không cần tải lên bản sao.

Tạo IAM User chỉ có quyền đọc#

Platform chỉ đọc dữ liệu từ storage của bạn — không bao giờ ghi, sửa đổi hoặc xóa các object của bạn. Hãy sử dụng một IAM user chuyên dụng chỉ có quyền liệt kê và đọc — tuyệt đối không sử dụng thông tin xác thực root:

1. Trong console AWS, đi tới IAM > Users và tạo một user không có quyền truy cập console.

2. Đính kèm một policy chỉ cấp quyền liệt kê và đọc đối với các bucket bạn muốn kết nối:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets là tùy chọn — cho phép Platform tự phát hiện các bucket của bạn, để bạn không phải nhập tên của chúng.

3. Mở tab Security credentials của user, tạo một access key, rồi sao chép access key ID và secret access key.

Kết nối với Platform#

1. Đi tới Settings > Integrations và chọn Amazon S3 trong danh sách tích hợp.
2. Nhập access key ID, secret access key và region của bucket (ví dụ: us-east-1).
3. Nhấp vào Find available buckets, sau đó chọn các bucket cần kết nối. Nếu policy không cho phép phát hiện, hãy nhập thủ công tên một bucket đã biết.
4. Nhấp Connect. Platform xác minh rằng có thể liệt kê và đọc từng bucket đã chọn trước khi lưu bất kỳ thông tin nào.

Bạn cần có role quản trị viên hoặc chủ sở hữu workspace để kết nối cloud storage. Một kết nối hỗ trợ tối đa 50 bucket và việc phát hiện liệt kê tối đa 300 trong số các bucket mà key có thể truy cập.

Việc kết nối lại cùng IAM user sau đó sẽ thêm các bucket mới vào tích hợp hiện có. Credential đã lưu chỉ được thay thế khi credential thay thế vẫn có thể đọc mọi bucket mà bạn đã kết nối.

Tạo Dataset từ S3 Bucket#

1. Nhấp New Dataset và mở tab Cloud.
2. Chọn một bucket đã kết nối và duyệt đến thư mục chứa dữ liệu của bạn.
3. Xác nhận thư mục, điều chỉnh tên dataset rồi tạo dataset.

Platform liệt kê thư mục một lần và lập chỉ mục các nội dung tìm thấy:

• Images — các object .jpg, .jpeg, .png, .webp và .avif được lập chỉ mục với kích thước đọc qua các request có giới hạn. Platform không lưu một bản sao thứ hai của hình ảnh nguồn.
• Labels — các file sidecar YOLO .txt được phân tích thành annotation của Platform, khớp theo bố cục chuẩn images/ → labels/ hoặc dưới dạng các file cùng thư mục.
• Metadata — một file YAML cung cấp tên class và hình dạng keypoint cho pose, giống hệt như upload archive. data.yaml và data.yml được ưu tiên khi thư mục chứa nhiều file.
• Task — một mẫu các file label quyết định task, vì vậy các thư mục segment, pose và OBB được nhận diện dựa trên cấu trúc label thay vì task bạn chọn trong hộp thoại.
• Splits — tên thư mục train, val và test trong object key sẽ tự động gán các split.

Dataset sau đó hoạt động như mọi dataset khác: duyệt và annotate, đặt ở chế độ public hoặc private, chia sẻ với team của bạn và train trên đó thông qua managed training. Các file gốc được stream theo nhu cầu, và hình ảnh đã lập chỉ mục không tiêu tốn storage quota của Platform.

Import thất bại#

Nếu một lần import thất bại — do thư mục trống, sai đường dẫn hoặc quyền đã bị thu hồi — dataset sẽ hiển thị lỗi trên trang của dataset. Editor có thể nhấp Retry import để khởi động lại bằng bucket và thư mục đã lưu, hoặc tạo một dataset mới trỏ đến đường dẫn đã chỉnh sửa.

Thao tác retry sẽ liệt kê lại thư mục thay vì tiếp tục từ vị trí trước đó: các object được thêm từ lần thử đầu tiên sẽ được lấy vào, còn các object không còn tồn tại sẽ bị loại khỏi dataset.

Training#

Tính năng huấn luyện được quản lý hoạt động thông qua quy trình huấn luyện thông thường. Trong thời gian chạy, quá trình huấn luyện sử dụng các bản sao riêng của Platform đối với những hình ảnh đã được gắn cố định, và credential AWS của bạn không bao giờ bị lộ cho các workload huấn luyện.

Ngắt kết nối một Connection#

Việc ngắt kết nối sẽ xóa credential đã lưu mà không tác động đến bất kỳ dữ liệu nào trong AWS. Các dataset được tạo từ những bucket đó vẫn nằm trong workspace của bạn cùng với class, label và annotation, nhưng không thể tải, xem trước hoặc huấn luyện trên hình ảnh của chúng cho đến khi kết nối lại cùng IAM user.

Sử dụng REST API với integration ID do GET /api/integrations/buckets trả về:

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

Thay vào đó, để thu hồi quyền truy cập ngay tại nguồn, hãy vô hiệu hóa hoặc xóa access key trong AWS IAM.

Các giới hạn hiện tại#

Các dataset được hỗ trợ bởi S3 hiện không bao gồm những tính năng yêu cầu Platform sở hữu bản sao hình ảnh của bạn: tự động gắn nhãn, phân tích clustering, sao chép dataset và snapshot phiên bản bất biến.

Việc xóa dataset được hỗ trợ bởi S3 hoặc từng hình ảnh riêng lẻ trong dataset đó chỉ xóa các tham chiếu của Platform — các object của bạn không bao giờ bị tác động.

Xem thêm các tích hợp Google Cloud Storage và Azure Blob Storage.

FAQ#