Amazon-S3-Integration

Die Integration von Amazon S3 verbindet deine S3-Buckets mit der Ultralytics Platform. Deine Bilder bleiben in deinen Buckets – die Platform indexiert sie direkt dort. So kannst du YOLO-Modelle durchsuchen, annotieren und trainieren, ohne eine Kopie hochzuladen. Wenn KI-Funktionen aktiviert sind, kann die Platform die Bilder außerdem für intelligente Annotation, automatische Annotation, die Suche nach ähnlichen Bildern und Cloud-Training verwenden.

IAM-Benutzer erstellen#

Der Lesezugriff deckt alles außer der Bildgenerierung ab, bei der auch Objekte erstellt werden. Die Platform ändert oder löscht deine Objekte niemals. Verwende einen dedizierten IAM-Benutzer – verwende niemals Anmeldedaten des Root-Kontos:

1. Öffne in der AWS-Konsole IAM > Benutzer und erstelle einen Benutzer ohne Konsolenzugriff.

2. Füge eine Richtlinie hinzu, die den Listen- und Lesezugriff auf die Buckets gewährt, die du verbinden möchtest:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets ist optional – damit kann Platform deine Buckets ermitteln, sodass du ihre Namen nicht eingeben musst.

   Erlaube für die Bildgenerierung zusätzlich s3:PutObject:

   {
       "Effect": "Allow",
       "Action": "s3:PutObject",
       "Resource": [
           "arn:aws:s3:::my-bucket/generated/*",
           "arn:aws:s3:::my-bucket/*/generated/*",
           "arn:aws:s3:::my-bucket/.ultralytics-write-check"
       ]
   }

   S3 bietet keine Berechtigung, mit der ausschließlich neue Objekte erstellt werden können. Daher beschränkt diese Konfiguration Schreibvorgänge auf Ordner generated/ und den Schlüssel .ultralytics-write-check, mit dem die Platform den Schreibzugriff testet. Diese Anfrage wird von S3 immer abgelehnt, sodass nichts gespeichert wird. Schreibvorgänge der Platform überschreiben niemals vorhandene Objekte.

3. Öffne den Tab Sicherheitsanmeldedaten des Benutzers, erstelle einen Zugriffsschlüssel und kopiere die Zugriffsschlüssel-ID sowie den geheimen Zugriffsschlüssel.

Mit Platform verbinden#

1. Gehe zu Einstellungen > Integrationen und wähle in der Integrationsliste Amazon S3 aus.
2. Gib die Zugriffsschlüssel-ID, den geheimen Zugriffsschlüssel und die Bucket-Region ein (zum Beispiel us-east-1).
3. Klicke auf Verfügbare Buckets suchen und wähle anschließend die Buckets aus, die du verbinden möchtest. Wenn die Richtlinie keine Ermittlung zulässt, gib den Namen eines bekannten Buckets manuell ein.
4. Klicke auf Connect. Die Platform überprüft vor dem Speichern, ob sie jeden ausgewählten Bucket auflisten und daraus lesen kann, und prüft mit einer von S3 immer abgelehnten Anfrage, ob der Schlüssel auch Schreibzugriff darauf hat. Es wird nichts gespeichert.

Für jede verbundene Anmeldeinformation gibt es einen Schalter für KI-Funktionen. Nachdem du die IAM-Richtlinie geändert hast, verbinde denselben IAM-Benutzer erneut, um den Schreibzugriff erneut zu überprüfen.

Zum Verbinden eines Cloud-Speichers benötigst du die Rolle eines Arbeitsbereich-Admins oder -Besitzers. Du kannst bis zu 50 Buckets gleichzeitig hinzufügen. Bei der Suche werden bis zu 300 der für den Schlüssel sichtbaren Buckets aufgelistet.

Wenn du später denselben IAM-Benutzer erneut verbindest, werden der bestehenden Integration neue Buckets hinzugefügt. Gespeicherte Anmeldedaten werden erst ersetzt, wenn die neuen Anmeldedaten weiterhin alle bereits verbundenen Buckets lesen können. Falls ein Bucket nicht gelesen werden kann, wird er in der Fehlermeldung genannt – auch wenn er zuvor mit demselben IAM-Benutzer verbunden wurde.

KI-Funktionen#

Für jede verbundene Anmeldeinformation gibt es unter Settings > Integrations einen standardmäßig aktivierten Schalter für KI-Funktionen. Solange er aktiviert ist, können Ultralytics-GPUs und KI-Modellanbieter die Bilder dieser Anmeldeinformation für Folgendes verwenden:

• Intelligente SAM-Annotation sowie automatische Annotation einzelner Bilder und im Stapel
• Suche nach ähnlichen Bildern und Clustering-Analyse
• Cloud-Training
• Bildgenerierung für Buckets mit Schreibzugriff

Anbieter von KI-Modellen kommen nur bei der Bilderzeugung zum Einsatz, deren Prompts Google Gemini anhand des Ausgangsbilds erstellt, sowie bei kostenpflichtigen Annotationsmodellen, die mit dem eigenen Anbieterschlüssel deines Arbeitsbereichs ausgeführt werden. Die Platform speichert keine Kopien deiner Bilder: Funktionen lesen sie bei Bedarf ein, beim Cloud-Training werden für die Dauer eines Trainingslaufs temporäre Kopien verwendet und die Suche nach ähnlichen Bildern speichert ein Embedding für jedes Bild, das gelöscht wird, sobald das Bild die Platform verlässt.

Deaktiviere den Schalter, damit die Bilder nicht auf Ultralytics-GPUs und bei KI-Modellanbietern verwendet werden. Dadurch werden keine neuen KI-Aufgaben mehr gestartet; bereits laufende Aufgaben werden abgeschlossen. Bei Datensätzen mit dieser Anmeldeinformation wird dann AI features off angezeigt, zusammen mit einem Link zu diesen Einstellungen. Für jede nicht verfügbare Funktion wird der Grund erläutert. Manuelle Annotation, Freigabe und lokales Training funktionieren weiterhin. Bereits erstellte Beschriftungen, Modelle und Suchergebnisse bleiben erhalten.

Du benötigst die Rolle eines Workspace-Administrators oder -Eigentümers, um den Schalter zu ändern. Du kannst die Einstellung auch über die REST API ändern. Verwende dazu die Integrations-ID, die von GET /api/integrations/buckets zurückgegeben wird:

curl -X PATCH \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"processing": false}' \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

Bildgenerierung#

Ähnliche Bilder generieren funktioniert bei Datensätzen in Amazon S3, deren Bucket der IAM-Benutzer beschreiben kann, sofern KI-Funktionen aktiviert sind. Hinzugefügte Bilder werden in einen Ordner generated/ innerhalb des Datensatzordners geschrieben und anschließend wie jedes andere indexierte Bild zum Datensatz hinzugefügt. Die Platform erstellt dort nur neue Objekte und überschreibt oder löscht niemals vorhandene Objekte. Wenn für die Aktion Schreibzugriff erforderlich ist, erteile ihn bei Bedarf und verbinde denselben IAM-Benutzer erneut unter Settings > Integrations.

Einen Datensatz aus einem S3-Bucket erstellen#

1. Klicke auf New Dataset und öffne den Tab Cloud.
2. Wähle einen verbundenen Bucket aus und navigiere zum Ordner mit deinen Daten.
3. Bestätige den Ordner, passe den Datensatznamen an und erstelle den Datensatz.

Platform listet den Ordner einmal auf und indiziert die gefundenen Inhalte:

• Bilder – Objekte mit den Endungen .jpg, .jpeg, .png, .webp und .avif werden indiziert. Die Abmessungen werden mit begrenzten Anfragen ausgelesen. Platform speichert keine zweite Kopie des Quellbilds.
• Labels – YOLO-.txt-Begleitdateien werden in Platform-Annotationen umgewandelt. Die Zuordnung erfolgt anhand der üblichen Struktur images/ → labels/ oder über gleichgeordnete Dateien im selben Ordner.
• Metadaten – Eine YAML-Datei enthält Klassennamen und die Form der Pose-Keypoints, genau wie beim Hochladen eines Archivs. Wenn der Ordner mehrere Dateien enthält, werden data.yaml und data.yml bevorzugt.
• Aufgabe – Die Aufgabe wird anhand einer Stichprobe der Labeldateien bestimmt. Segmentierungs-, Pose- und OBB-Ordner werden daher an der Form ihrer Labels erkannt und nicht anhand der im Dialog ausgewählten Aufgabe.
• Aufteilungen – Ordnernamen train, val und test im Objektschlüssel weisen automatisch die Datensatzaufteilungen zu.

Der Datensatz funktioniert anschließend wie jeder andere: Du kannst ihn durchsuchen, annotieren, öffentlich oder privat schalten, mit deinem Team teilen und über verwaltetes Training damit trainieren. Originale werden bei Bedarf übertragen und indizierte Bilder werden nicht auf dein Speicherkontingent in Platform angerechnet.

Fehlgeschlagene Importe#

Wenn ein Import fehlschlägt – etwa wegen eines leeren Ordners, eines Tippfehlers im Pfad oder entzogener Berechtigungen –, wird der Fehler auf der Datensatzseite angezeigt. Editoren können auf Import wiederholen klicken, um den Import mit dem gespeicherten Bucket und Ordner erneut zu starten, oder einen neuen Datensatz mit dem korrigierten Pfad erstellen.

Bei einem erneuten Versuch wird der Ordner neu aufgelistet, statt den Import fortzusetzen: Seit dem ersten Versuch hinzugefügte Objekte werden erfasst, und nicht mehr vorhandene Objekte werden aus dem Datensatz entfernt.

Training#

Bei aktiviertem KI-Funktionen funktioniert das verwaltete Training über den üblichen Trainingsablauf. Für die Dauer des Trainingslaufs verwendet das Training eigene Kopien der angehefteten Bilder, die von der Platform erstellt werden. Deine AWS-Anmeldedaten werden niemals den Trainingsprozessen zugänglich gemacht. Wenn KI-Funktionen deaktiviert sind, erklärt der Trainingsdialog, warum Cloud-Training nicht verfügbar ist, und bietet stattdessen lokales Training an.

Verbindung trennen#

Beim Trennen der Verbindung werden die gespeicherten Anmeldedaten gelöscht, ohne etwas in AWS zu ändern. Aus diesen Buckets erstellte Datensätze bleiben mit ihren Klassen, Beschriftungen und Anmerkungen in deinem Arbeitsbereich, aber ihre Bilder können erst wieder geladen, in der Vorschau angezeigt oder für das Training verwendet werden, wenn derselbe IAM-Benutzer erneut verbunden wird. Auch ohne Verbindung kannst du sie umbenennen, ihre Beschriftungen bearbeiten oder sie löschen.

Um die Verbindung zu trennen, gehe zu Einstellungen > Integrationen, wähle Amazon S3 aus, klicke neben den Anmeldedaten auf Trennen und bestätige den Vorgang. Wenn du anschließend einen der zugehörigen Datensätze öffnest, wird Amazon S3 getrennt mit einem Link zu diesen Einstellungen angezeigt. Nach der erneuten Verbindung ist der Datensatz automatisch wieder verfügbar.

Du kannst die Verbindung auch über die REST API trennen. Verwende dazu die von GET /api/integrations/buckets zurückgegebene Integrations-ID:

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

Um den Zugriff stattdessen direkt an der Quelle zu widerrufen, deaktiviere oder lösche den Zugriffsschlüssel in AWS IAM.

Derzeitige Einschränkungen#

Bei Datensätzen in S3 sind Funktionen nicht verfügbar, die eigene Bildkopien in der Platform benötigen: das Klonen von Datensätzen, unveränderliche Versions-Snapshots, das Weichzeichnen von Gesichtern und das Einfügen von Bildern aus anderen Datensätzen. Für intelligente Annotation, automatische Annotation, die Suche nach ähnlichen Bildern, Clustering, Cloud-Training und Bildgenerierung müssen KI-Funktionen aktiviert sein.

Beim Löschen eines Datensatzes auf S3 oder einzelner Bilder daraus werden nur die Verweise von Platform entfernt – deine Objekte bleiben unberührt.

Siehe auch die Integrationen für Google Cloud Storage und Azure Blob Storage.

Häufig gestellte Fragen#