Amazon S3 インテグレーション#

Amazon S3 インテグレーションは、S3 バケットを Ultralytics Platform に接続します。画像はバケット内に保持され、Platform はその場でインデックスを作成するため、コピーをアップロードせずに YOLO モデルを参照、アノテーション、トレーニングできます。

読み取り専用 IAM ユーザーを作成する#

Platform はストレージから読み取ることしかなく、オブジェクトへの書き込み、変更、削除は一切行いません。リストおよび読み取りアクセスのみを持つ専用の IAM ユーザー を使用してください。root 認証情報は使用しないでください。

1. AWS コンソールで IAM > Users に移動し、コンソールアクセスなしでユーザーを作成します。

2. 接続するバケットに対して、リストおよび読み取りアクセスのみを許可するポリシーをアタッチします。

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets はオプションです。これを使用すると、バケット名を入力しなくても Platform がバケットを検出できます。

3. ユーザーの Security credentials タブを開き、access key を作成して、アクセスキー ID とシークレットアクセスキーをコピーします。

Platformに接続する#

1. Settings > Integrations に移動し、インテグレーションの一覧から Amazon S3 を選択します。
2. アクセスキー ID、シークレットアクセスキー、バケットリージョン（例: us-east-1）を入力します。
3. Find available buckets をクリックし、接続するバケットを選択します。ポリシーで検出が許可されていない場合は、既知のバケット名を手動で入力します。
4. Connectをクリックします。Platformは保存する前に、選択した各バケットの一覧表示と読み取りが可能であることを確認します。

クラウドストレージを接続するには、ワークスペースの管理者または所有者の role が必要です。1 つの接続で最大 50 個のバケットを扱うことができ、検出ではキーから参照可能なバケットのうち最大 300 個が一覧表示されます。

後で同じ IAM ユーザーを再接続すると、既存のインテグレーションに新しいバケットが追加されます。保存済みの認証情報は、置き換え後の認証情報でも、すでに接続したすべてのバケットを読み取れる場合にのみ置き換えられます。

S3 バケットからデータセットを作成する#

1. New Datasetをクリックし、Cloudタブを開きます。
2. 接続済みのバケットを選択し、データが含まれるフォルダーに移動します。
3. フォルダーを確認し、データセット名を調整して、データセットを作成します。

Platformはフォルダーの一覧を一度取得し、見つかった内容をインデックス化します。

• Images — .jpg、.jpeg、.png、.webp、.avifオブジェクトは、制限付きリクエストを通じて読み取ったサイズ情報とともにインデックス化されます。Platformは元画像のコピーを別途保存しません。
• Labels — YOLOの.txtサイドカーはPlatformのアノテーションに解析され、標準のimages/ → labels/レイアウト、または同じフォルダー内の兄弟ファイルとして対応付けられます。
• Metadata — YAMLファイルによって、アーカイブアップロードと同様に、クラス名とポーズキーポイントの形状が提供されます。フォルダーに複数存在する場合は、data.yamlとdata.ymlが優先されます。
• Task — ラベルファイルのサンプルによってタスクが決まるため、ダイアログで選択したタスクではなく、ラベルの形状に基づいてセグメンテーション、ポーズ、OBBのフォルダーが認識されます。
• Splits — オブジェクトキー内の train、val、test フォルダー名によって、分割が自動的に割り当てられます。

その後、データセットは他のデータセットと同様に扱えます。参照してアノテーションを付けたり、公開または非公開に設定したり、チームと共有したり、管理されたトレーニングを通じてトレーニングしたりできます。元の画像は必要に応じてストリーミングされ、インデックス化された画像はPlatformのストレージクォータを消費しません。

インポートの失敗#

空のフォルダー、パスの入力ミス、権限の取り消しなどによってインポートに失敗した場合、データセットのページにエラーが表示されます。編集者はRetry importをクリックして、保存済みのバケットとフォルダーを使用して再開するか、修正したパスを指定して新しいデータセットを作成できます。

再試行では処理を再開するのではなく、フォルダーの一覧を再取得します。最初の試行以降に追加されたオブジェクトは取り込まれ、存在しなくなったオブジェクトはデータセットから削除されます。

トレーニング#

マネージドトレーニングは通常のトレーニングフローで実行されます。トレーニング中は、固定された画像の Platform 独自のコピーが実行期間中使用され、AWS 認証情報がトレーニングワークロードに公開されることはありません。

接続を切断する#

接続を解除すると、AWS 内のいかなるものにも触れることなく、保存された認証情報が削除されます。これらのバケットから作成したデータセットは、クラス、ラベル、アノテーションとともにワークスペースに残りますが、同じ IAM ユーザーを再接続するまで、画像の読み込み、プレビュー、トレーニングでの使用はできません。

GET /api/integrations/bucketsから返された連携IDを使用してREST APIを呼び出します。

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

代わりにソース側でアクセスを取り消すには、AWS IAM でアクセスキーを無効化または削除します。

現在の制限事項#

現在、S3 ベースのデータセットでは、Platform が画像のコピーを所有する必要がある機能が利用できません。これには、自動アノテーション、クラスタリング分析、データセットの複製、イミュータブルな バージョンスナップショット が含まれます。

S3 ベースのデータセットまたはその個々の画像を削除しても、Platform の参照のみが削除されます。オブジェクトに触れることはありません。

Google Cloud Storage および Azure Blob Storage のインテグレーションもご覧ください。

FAQ#