Amazon S3 Integration#

Die Amazon S3-Integration verbindet deine S3-Buckets mit der Ultralytics Platform. Deine Bilder verbleiben in deinen Buckets – die Platform indiziert sie direkt vor Ort, sodass du YOLO-Modelle durchsuchen, annotieren und trainieren kannst, ohne eine Kopie hochladen zu müssen.

Pro-Funktion

Amazon S3-Datensätze erfordern einen Pro- oder Enterprise-Plan. Kostenlose Workspaces sehen die Integration und werden bei der Verbindung zum Upgrade aufgefordert. Bestehende Amazon S3-Datensätze bleiben bei Ablauf eines Abonnements weiterhin vollständig zugänglich – nur neue Verbindungen und Importe erfordern Pro.

Erstelle einen schreibgeschützten IAM-Benutzer#

Die Platform liest immer nur aus deinem Speicher – sie schreibt, modifiziert oder löscht niemals deine Objekte. Verwende einen dedizierten IAM-Benutzer mit nur Listen- und Lesezugriff – niemals Root-Zugangsdaten:

1. Gehe in der AWS-Konsole zu IAM > Users und erstelle einen Benutzer ohne Konsolenzugriff.

2. Füge eine Richtlinie hinzu, die nur Listen- und Lesezugriff auf die Buckets gewährt, die du verbinden möchtest:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets ist optional – es ermöglicht der Platform, deine Buckets zu finden, damit du ihre Namen nicht selbst eingeben musst.

3. Öffne den Reiter Security credentials des Benutzers, erstelle einen access key und kopiere die access key ID sowie den secret access key.

Verbindung zur Platform herstellen#

1. Gehe zu Settings > Integrations und wähle Amazon S3 aus der Integrationsliste aus.
2. Gib die Access Key ID, den Secret Access Key und die Bucket-Region (zum Beispiel us-east-1) ein.
3. Klicke auf Find available buckets und wähle dann die zu verbindenden Buckets aus. Wenn die Richtlinie die Erkennung nicht zulässt, gib einen bekannten Bucket-Namen manuell ein.
4. Klicke auf Connect. Die Platform prüft, ob sie jeden ausgewählten Bucket auflisten und lesen kann, bevor sie irgendetwas speichert.

Das erneute Verbinden desselben IAM-Benutzers fügt später neue Buckets zur bestehenden Integration hinzu. Ein gespeicherter Anmeldeinformationssatz wird erst dann ersetzt, wenn der Ersatz weiterhin jeden bereits verbundenen Bucket lesen kann.

Eine Region pro Verbindung

Eine Verbindung liest Buckets in der von dir eingegebenen Region. Wenn deine Buckets in mehreren Regionen liegen, verbinde sie einmal pro Region.

Sicherheit der Anmeldedaten

Anmeldeinformationen werden im Ruhezustand mit AES-256-GCM verschlüsselt, niemals an den Browser zurückgegeben und gelangen niemals in Trainings-Job-Payloads. Um den Zugriff zu widerrufen, deaktiviere den access key in AWS IAM.

Erstelle einen Datensatz aus einem S3-Bucket#

1. Klicke auf New Dataset und öffne den Tab Cloud storage.
2. Wähle einen verbundenen Bucket aus und navigiere zu dem Ordner, der deine Daten enthält.
3. Bestätige den Ordner, passe den Datensatznamen an und erstelle den Datensatz.

Die Plattform listet den Ordner einmalig auf und indiziert die gefundenen Inhalte:

• Images — .jpg-, .jpeg-, .png-, .webp- und .avif-Objekte werden indexiert, wobei die Abmessungen über beschränkte Anfragen ausgelesen werden. Platform speichert keine zweite Kopie des Quellbildes.
• Labels — YOLO .txt Sidecar-Dateien werden in Plattform-Annotationen umgewandelt, passend zum Standard-Layout images/ → labels/ oder als Geschwisterdateien im gleichen Ordner.
• Metadaten — eine data.yaml/data.yml Datei liefert Klassennamen, Aufgabentyp und Pose-Keypoint-Formate, genau wie bei einem Archiv-Upload.
• Splits – Ordnernamen wie train, val und test im Objektschlüssel weisen Splits automatisch zu.

Der Datensatz verhält sich dann wie jeder andere: Durchsuche und annotiere ihn, mache ihn öffentlich oder privat, teile ihn mit deinem Team und trainiere damit durch verwaltetes Training. Originale werden bei Bedarf gestreamt und indexierte Bilder verbrauchen nicht dein Speicherkontingent der Platform.

Einschränkungen

Ein einzelner Import indexiert bis zu 50.000 Objekte und Label- oder YAML-Dateien bis zu 1 MB pro Datei. Größere Buckets sollten auf mehrere Datensätze aufgeteilt werden.

Indizierte Objekte unveränderlich halten

Jedes indizierte Bild ist an sein S3-Objekt-ETag gebunden, und die Platform bricht den Vorgang ab, falls sich ein Objekt darunter verändert. Füge neue Objekte hinzu, anstatt bestehende zu überschreiben.

Fehlgeschlagene Importe#

Wenn ein Import fehlschlägt – ein leerer Ordner, ein Tippfehler im Pfad oder widerrufene Berechtigungen – zeigt der Datensatz den Fehler auf seiner Seite an. Editoren können auf Retry import klicken, um ihn mit dem gespeicherten Bucket und Ordner neu zu starten oder einen neuen Datensatz zu erstellen, der auf den korrigierten Pfad zeigt.

Training#

Das verwaltete Training erfolgt über den normalen Trainingsablauf. Worker laden die gebundenen Originale für den Lauf in den temporären Jobspeicher herunter und entfernen sie bei der Jobbereinigung – deine AWS-Zugangsdaten erreichen niemals die Compute-Instanzen.

Aktuelle Einschränkungen#

S3-basierte Datensätze schließen derzeit Funktionen aus, die von der Platform verwaltete Kopien deiner Bilder erfordern: automatische Annotation, Cluster-Analyse, Datensatz-Klonen und unveränderliche Versions-Snapshots.

Das Löschen eines S3-basierten Datensatzes oder einzelner Bilder daraus entfernt nur die Referenzen der Platform – deine Objekte werden niemals berührt.

Siehe auch die Integrationen für Google Cloud Storage und Azure Blob Storage.