Amazon S3統合#

Amazon S3 連携機能を使用すると、S3 バケットを Ultralytics Platform に接続できます。画像はバケット内に保存されたまま、Platform がその場でインデックス作成を行うため、コピーをアップロードすることなく、YOLO モデルの閲覧、アノテーション、およびトレーニングを行うことができます。

読み取り専用IAMユーザーの作成#

Platform がストレージに対して行うのは読み取りのみであり、オブジェクトの書き込み、変更、削除を行うことは一切ありません。ルート認証情報は絶対に使用せず、リストおよび読み取り権限のみを持つ専用の IAM ユーザーを使用してください。

1. AWSコンソールで、IAM > ユーザーに移動し、コンソールアクセス権を持たないユーザーを作成します。

2. 接続するバケットに対して、一覧表示および読み取り権限のみを付与するポリシーをアタッチします。

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets は任意です。これを設定すると、Platform がバケットを自動検出するため、手動で名前を入力する必要がなくなります。

3. ユーザーのセキュリティ認証情報タブを開き、アクセスキーを作成して、アクセスキーIDとシークレットアクセスキーをコピーします。

Platform への接続#

1. 設定 (Settings) > 連携 (Integrations) に移動し、連携リストから Amazon S3 を選択します。
2. アクセスキー ID、シークレットアクセスキー、およびバケットリージョン (例: us-east-1) を入力します。
3. Find available buckets をクリックし、接続するバケットを選択します。ポリシーで検出が許可されていない場合は、既知のバケット名を手動で入力します。
4. 接続 をクリックします。Platform は保存前に、選択された各バケットをリストおよび読み取り可能であることを検証します。

クラウドストレージを接続するには、ワークスペースの管理者またはオーナーのroleが必要です。1つの接続で最大50個のバケットを処理でき、ディスカバリーではキーが参照できるバケットのうち最大300個が一覧表示されます。

後から同じIAMユーザーで再接続すると、既存の統合に新しいバケットが追加されます。保存済みの認証情報は、その代わりとなる認証情報ですべての接続済みバケットが読み取り可能な場合にのみ置き換えられます。

S3バケットからのデータセットの作成#

1. New Dataset をクリックし、Cloud タブを開きます。
2. 接続済みのバケットを選択し、データを含むフォルダを参照します。
3. フォルダーを確認し、データセット名を調整して、データセットを作成します。

Platform がフォルダーを一度リスト表示し、見つかった内容をインデックス化します：

• 画像 (Images) — .jpg、.jpeg、.png、.webp、および .avif のオブジェクトは、範囲指定リクエストを通じて読み取られたディメンションでインデックス化されます。Platform は元画像の 2 つ目のコピーを永続化しません。
• ラベル (Labels) — YOLO の .txt サイドカーは Platform のアノテーションに解析され、標準の images/ → labels/ レイアウト、または同一フォルダ内の兄弟ファイルとして一致させられます。
• Metadata — アーカイブのアップロードと全く同様に、YAML ファイルによってクラス名とポーズキーポイントの形状が提供されます。フォルダ内に複数のファイルがある場合は、data.yaml および data.yml が推奨されます。
• Task — ラベルファイルのサンプルに基づいてタスクが決定されるため、セグメンテーション、ポーズ、OBB の各フォルダは、ダイアログで選択したタスクではなく、そのラベルの形状から認識されます。
• 分割 (Splits) — オブジェクトキー内の train、val、および test のフォルダ名によって、データ分割が自動的に割り当てられます。

その後、このデータセットは他のデータセットと同様に動作します。閲覧やアノテーションの実行、パブリックまたはプライベートの設定、チームとの共有、マネージドトレーニングを通じたトレーニングが可能です。オリジナル画像はオンデマンドでストリーミングされ、インデックス化された画像は Platform のストレージクォータを消費しません。

インポートの失敗#

インポートが失敗した場合（空のフォルダ、パスの誤字、権限の取り消しなど）、データセットのページにエラーが表示されます。編集者は インポートを再試行 をクリックして保存されたバケットとフォルダで再開するか、修正されたパスを指定して新しいデータセットを作成できます。

再試行時は処理の再開ではなくフォルダの再リストアップが行われます。初回試行以降に追加されたオブジェクトが取得され、存在せざるを得なくなったオブジェクトはデータセットから除外されます。

トレーニング#

マネージドトレーニングは通常のトレーニングフローを通じて機能します。トレーニングでは、実行期間中ピン留めされた画像のPlatform独自のコピーを使用し、AWS認証情報がトレーニングワークロードに露出することは決してありません。

接続の切断#

接続解除を行うと、AWS側の何にも触れることなく保存された認証情報が削除されます。それらのバケットから構築されたデータセットは、クラス、ラベル、アノテーションとともにワークスペースに残りますが、同じIAMユーザーが再度接続されるまで、画像を読み込んだり、プレビューしたり、トレーニングしたりすることはできません。

GET /api/integrations/buckets によって返されたインテグレーション ID を使用して、REST API を使用します。

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

代わりに元でアクセスを取り消すには、AWS IAMでアクセスキーを無効化または削除してください。

現在の制限事項#

現在、S3 をバックエンドとするデータセットでは、Platform が所有する画像のコピーを必要とする機能 (自動アノテーション、クラスタリング分析、データセットのクローン、および変更不可能なバージョン スナップショット) はサポートされていません。

S3ベースのデータセット、またはその中の個別の画像を削除しても、Platform側の参照が削除されるだけであり、実際のオブジェクトが変更されることはありません。

また、Google Cloud Storage および Azure Blob Storage の連携機能もご覧ください。