Link to this sectionAmazon S3 集成#
Amazon S3 集成将你的 S3 存储桶连接到 Ultralytics Platform。你的图像保留在存储桶中——Platform 会对其进行就地索引,因此你无需上传副本即可浏览、标注和训练 YOLO 模型。
Amazon S3 数据集需要 Pro 或 Enterprise 计划。免费工作区可以看到此集成,但在连接时会收到升级提示。如果订阅到期,现有的 Amazon S3 数据集仍然完全可用——只有新的连接和导入才需要 Pro 计划。
Link to this section创建只读 IAM 用户#
Platform 仅会从你的存储空间进行读取——它绝不会写入、修改或删除你的对象。请使用仅具有列出和读取权限的专用 IAM 用户——切勿使用根凭证:
-
在 AWS 控制台中,前往 IAM > 用户 并创建一个没有控制台访问权限的用户。
-
附加一个仅授予对你想要连接的存储桶进行列出和读取权限的策略:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" }, { "Effect": "Allow", "Action": ["s3:ListBucket", "s3:GetObject"], "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"] } ] }s3:ListAllMyBuckets是可选的——它允许 Platform 发现你的存储桶,这样你就无需手动输入它们的名称。 -
打开用户的 安全凭证 选项卡,创建一个 访问密钥,并复制访问密钥 ID 和私有访问密钥。
Link to this section连接到 Platform#
- 前往 设置 > 集成 并找到 Amazon S3 卡片。
- 点击 连接 并输入访问密钥 ID、私有访问密钥以及存储桶区域(例如
us-east-1)。 - Platform 将列出凭证可以读取的存储桶。选择要连接的存储桶,或者如果策略不允许发现,则手动输入存储桶名称。
- 点击 Connect。Platform 在保存任何内容之前会验证它是否可以列出并读取每个选定的存储桶。
稍后重新连接同一个 IAM 用户会将新存储桶添加到现有集成中。只有当替换后的凭证仍然可以读取你已经连接的所有存储桶时,才会替换已保存的凭证。
一个连接会读取你所输入区域内的存储桶。如果你的存储桶位于多个区域,请为每个区域建立一个连接。
凭证在存储时会使用 AES-256-GCM 加密,绝不会返回给浏览器,也不会进入训练作业载荷中。若要撤销访问权限,请在 AWS IAM 中停用该访问密钥。
Link to this section从 S3 存储桶创建数据集#
- 点击 New Dataset 并打开 Cloud storage 选项卡。
- 选择一个已连接的存储桶并浏览到包含你数据的文件夹。
- 确认文件夹,调整数据集名称,然后创建数据集。
Platform 会列出文件夹一次并索引其发现的内容:
- 图像 —
.jpg、.jpeg、.png、.webp和.avif对象通过从边界头请求中读取的尺寸进行索引。源像素永远不会从你的存储桶中复制出来。 - Labels — YOLO
.txt附带文件被解析为 Platform 标注,匹配标准images/→labels/布局或作为同文件夹下的并列文件。 - Metadata —
data.yaml/data.yml提供类别名称、任务类型和姿态关键点形状,与 归档上传 完全一致。 - 拆分 (Splits) — 对象键中的
train、val和test文件夹名称会自动分配拆分。
该数据集随后表现得与其他数据集一样:浏览并 标注 它,将其设置为公开或私有,与你的 团队 分享它,并通过托管训练在上面进行 训练。原始文件按需流式传输,索引图像不会消耗你的 Platform 存储配额。
单次导入可索引多达 50,000 个对象,标签或 YAML 文件每个最大 1 MB。更大的存储桶应拆分到多个数据集中。
每个索引图像都会绑定到其 S3 对象 ETag,如果对象在其下方发生更改,Platform 将会停止运行。请添加新对象,而不是覆盖现有对象。
Link to this section导入失败#
如果导入失败(如文件夹为空、路径拼写错误或权限被撤销),数据集会在其页面上显示错误。编辑者可以点击 Retry import 以使用已存储的存储桶和文件夹重新启动,或者创建一个指向更正路径的新数据集。
Link to this section训练#
托管训练通过常规训练流程进行。Worker 会将绑定的原始数据下载到作业的临时存储中以进行运行,并在作业清理时将其删除——你的 AWS 凭证绝不会到达计算端。
Link to this section当前限制#
基于 S3 的数据集目前排除了需要 Platform 所有权图像副本的功能:自动标注、聚类分析、数据集克隆以及不可变的 版本快照。
删除基于 S3 的数据集或其中的单个图像仅会移除 Platform 的引用——你的对象绝不会被触及。
另请参阅 Google Cloud Storage 和 Azure Blob Storage 集成。