Tích hợp Amazon S3#

Tích hợp Amazon S3 kết nối các bucket S3 của bạn với Ultralytics Platform. Hình ảnh vẫn nằm trong các bucket của bạn — Platform lập chỉ mục trực tiếp tại đó, nhờ vậy bạn có thể duyệt, gán nhãn và huấn luyện model YOLO mà không cần tải lên bản sao.

Tạo người dùng IAM chỉ có quyền đọc#

Platform chỉ đọc dữ liệu từ bộ nhớ của bạn — không bao giờ ghi, sửa đổi hoặc xóa đối tượng. Hãy dùng một người dùng IAM chuyên dụng chỉ có quyền liệt kê và đọc — tuyệt đối không dùng thông tin xác thực root:

1. Trong bảng điều khiển AWS, vào IAM > Users và tạo người dùng không có quyền truy cập bảng điều khiển.

2. Gắn chính sách chỉ cấp quyền liệt kê và đọc cho các bucket bạn muốn kết nối:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets là tùy chọn — tính năng này cho phép Platform tìm các bucket của bạn để bạn không cần nhập tên bucket.

3. Mở tab Security credentials của người dùng, tạo access key, rồi sao chép access key ID và secret access key.

Kết nối với Platform#

1. Vào Settings > Integrations và chọn Amazon S3 trong danh sách tích hợp.
2. Nhập access key ID, secret access key và vùng của bucket (ví dụ us-east-1).
3. Nhấp vào Find available buckets, sau đó chọn các bucket cần kết nối. Nếu chính sách không cho phép tìm kiếm, hãy nhập thủ công tên của một bucket đã biết.
4. Nhấp Connect. Platform xác minh khả năng liệt kê và đọc từng bucket đã chọn trước khi lưu bất cứ thứ gì.

Bạn cần có vai trò quản trị viên hoặc chủ sở hữu workspace để kết nối bộ nhớ đám mây. Mỗi kết nối hỗ trợ tối đa 50 bucket và tính năng tìm kiếm liệt kê tối đa 300 bucket mà key có thể truy cập.

Kết nối lại cùng người dùng IAM sau đó sẽ thêm các bucket mới vào tích hợp hiện có. Thông tin xác thực đã lưu chỉ được thay thế khi thông tin xác thực mới vẫn có thể đọc tất cả bucket bạn đã kết nối.

Tạo dataset từ bucket S3#

1. Nhấp New Dataset rồi mở tab Cloud.
2. Chọn một bucket đã kết nối và duyệt đến thư mục chứa dữ liệu.
3. Xác nhận thư mục, điều chỉnh tên dataset rồi tạo dataset.

Platform liệt kê thư mục một lần và lập chỉ mục các nội dung tìm thấy:

• Hình ảnh — Các đối tượng .jpg, .jpeg, .png, .webp và .avif được lập chỉ mục, đồng thời đọc kích thước bằng các yêu cầu có giới hạn. Platform không lưu một bản sao thứ hai của ảnh nguồn.
• Nhãn — Các tệp phụ .txt YOLO được phân tích cú pháp thành annotation trong Platform, ghép theo cấu trúc chuẩn images/ → labels/ hoặc theo các tệp cùng thư mục.
• Metadata — Tệp YAML cung cấp tên lớp và hình dạng keypoint pose, giống hệt như khi tải lên archive. Ưu tiên data.yaml và data.yml nếu thư mục chứa nhiều tệp.
• Tác vụ — Một mẫu tệp nhãn sẽ xác định tác vụ, vì vậy các thư mục segment, pose và OBB được nhận diện dựa trên cấu trúc nhãn thay vì tác vụ bạn chọn trong hộp thoại.
• Các tập dữ liệu — Tên thư mục train, val và test trong object key sẽ tự động xác định tập dữ liệu.

Sau đó, dataset hoạt động như mọi dataset khác: duyệt và gắn nhãn, đặt chế độ công khai hoặc riêng tư, chia sẻ với nhóm của bạn và huấn luyện bằng dịch vụ huấn luyện được quản lý. Các tệp gốc được truyền trực tuyến theo yêu cầu và hình ảnh đã lập chỉ mục không sử dụng hạn mức bộ nhớ trên Platform của bạn.

Lần nhập thất bại#

Nếu lần nhập thất bại — do thư mục trống, đường dẫn sai chính tả hoặc quyền bị thu hồi — dataset sẽ hiển thị lỗi trên trang của mình. Người chỉnh sửa có thể nhấp Retry import để chạy lại bằng bucket và thư mục đã lưu, hoặc tạo dataset mới trỏ đến đường dẫn đã sửa.

Khi thử lại, hệ thống sẽ liệt kê lại thư mục thay vì tiếp tục từ điểm đã dừng: các đối tượng được thêm sau lần thử đầu tiên sẽ được lấy vào, còn các đối tượng không còn ở đó sẽ bị loại khỏi dataset.

Huấn luyện#

Tính năng huấn luyện được quản lý hoạt động theo quy trình huấn luyện thông thường. Trong suốt thời gian chạy, quá trình huấn luyện sử dụng các bản sao hình ảnh đã ghim do Platform quản lý, và thông tin xác thực AWS của bạn không bao giờ bị lộ cho các workload huấn luyện.

Ngắt kết nối#

Ngắt kết nối sẽ xóa thông tin xác thực đã lưu mà không tác động đến bất kỳ dữ liệu nào trên AWS. Dataset được tạo từ các bucket đó vẫn nằm trong workspace cùng với các class, nhãn và chú thích, nhưng không thể tải, xem trước hoặc dùng để huấn luyện hình ảnh cho đến khi kết nối lại cùng người dùng IAM.

Sử dụng REST API với ID tích hợp được trả về bởi GET /api/integrations/buckets:

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

Để thu hồi quyền truy cập trực tiếp tại nguồn, hãy vô hiệu hóa hoặc xóa access key trong AWS IAM.

Các giới hạn hiện tại#

Dataset dựa trên S3 hiện không hỗ trợ các tính năng cần có bản sao hình ảnh do Platform quản lý: tự động gán nhãn, phân tích phân cụm, sao chép dataset và ảnh chụp phiên bản bất biến.

Xóa dataset dựa trên S3 hoặc từng hình ảnh trong dataset chỉ xóa các tham chiếu của Platform — các đối tượng của bạn không bị tác động.

Xem thêm các tích hợp Google Cloud Storage và Azure Blob Storage.

Câu hỏi thường gặp#