Amazon S3 Entegrasyonu#

Amazon S3 entegrasyonu, S3 bucket'larını Ultralytics Platform ile bağlar. Resimlerin bucket'larında kalır; Platform onları olduğu yerde indeksler, böylece bir kopya yüklemeden YOLO modellerine göz atabilir, etiketleyebilir ve onları eğitebilirsin.

Salt Okunur IAM Kullanıcısı Oluştur#

Platform depolama alanından yalnızca okuma yapar; nesnelerini asla yazmaz, değiştirmez veya silmez. Yalnızca listeleme ve okuma erişimine sahip özel bir IAM user kullan, asla root kimlik bilgileri kullanma:

1. AWS konsolunda IAM > Users kısmına git ve konsol erişimi olmayan bir kullanıcı oluştur.

2. Bağlamak istediğin bucket'lara yalnızca listeleme ve okuma erişimi veren bir politika ekle:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets isteğe bağlıdır; Platform'un bucket'larını keşfetmesini sağlar, böylece adlarını yazmak zorunda kalmazsın.

3. Kullanıcının Security credentials sekmesini aç, bir access key oluştur ve access key ID ile secret access key değerlerini kopyala.

Platform'a Bağlan#

1. Settings > Integrations bölümüne git ve entegrasyon listesinden Amazon S3 seçeneğini seç.
2. Erişim anahtarı kimliğini, gizli erişim anahtarını ve bucket bölgesini (örneğin us-east-1) gir.
3. Find available buckets öğesine tıkla, ardından bağlanılacak paketleri seç. Politika keşfe izin vermiyorsa, bilinen bir paket adını manuel olarak gir.
4. Connect düğmesine tıkla. Platform, herhangi bir şeyi kaydetmeden önce seçilen her depolama alanını listeleyip okuyabildiğini doğrular.

Bulut depolama alanını bağlamak için çalışma alanı yöneticisi veya sahibi rolüne ihtiyacın var. Tek bir bağlantı 50 adede kadar kova taşır ve keşif, anahtarın görebileceği kovaların en fazla 300'ünü listeler.

Aynı IAM kullanıcısını daha sonra yeniden bağlamak, mevcut entegrasyona yeni bucket'lar ekler. Kayıtlı bir kimlik bilgisi, ancak yerine geçecek olan yeni kimlik bilgisi zaten bağladığın her bucket'ı okuyabiliyorsa değiştirilir.

S3 Bucket'ından Veri Kümesi Oluştur#

1. New Dataset öğesine tıkla ve Cloud sekmesini aç.
2. Bağlı bir depolama alanı seç ve verilerini içeren klasöre göz at.
3. Klasörü onayla, veri kümesi adını ayarla ve veri kümesini oluştur.

Platform klasörü bir kez listeler ve bulduklarını indeksler:

• Görseller — .jpg, .jpeg, .png, .webp ve .avif nesneleri, sınırlı istekler aracılığıyla okunan boyutlarla indekslenir. Platform, kaynak görselin ikinci bir kopyasını kalıcı olarak saklamaz.
• Etiketler — YOLO .txt yan dosyaları, standart images/ → labels/ düzeniyle veya aynı klasördeki kardeşler olarak eşleştirilerek Platform etiketlerine ayrıştırılır.
• Metadata — bir YAML dosyası, tıpkı bir arşiv yüklemesinde olduğu gibi sınıf adlarını ve pozhtar noktası şeklini sağlar. Klasör birden fazla barındırdığında data.yaml ve data.yml tercih edilir.
• Task — etiket dosyalarının bir örneği göreve karar verir; bu nedenle segment, poz ve OBB klasörleri, diyalogda seçtiğin görevden ziyade etiket şekillerinden tanınır.
• Splits — Nesne anahtarındaki train, val ve test klasör adları bölümleri otomatik olarak atar.

Veri seti daha sonra diğerleri gibi davranır: ona göz at ve etiketle, onu herkese açık veya özel yap, ekibinle paylaş ve yönetilen eğitim aracılığıyla onun üzerinde eğitim gerçekleştir. Orijinaller talep üzerine akışa alınır ve indekslenen görseller Platform depolama kotanı tüketmez.

Başarısız İçe Aktarmalar#

Bir içe aktarma başarısız olursa (boş bir klasör, yolda yazım hatası veya iptal edilmiş izinler gibi), veri kümesi kendi sayfasında hatayı gösterir. Editörler, depolanan depolama alanı ve klasörle işlemi yeniden başlatmak için Retry import düğmesine tıklayabilir veya düzeltilmiş yolu işaret eden yeni bir veri kümesi oluşturabilir.

Yeniden deneme, devam etmek yerine klasörü yeniden listeler: ilk denemeden bu yana eklenen nesneler alınır ve artık orada olmayan nesneler veri kümesinden çıkarılır.

Eğitim#

Yönetilen eğitim, normal eğitim akışı üzerinden çalışır. Eğitim, çalıştırma süresi boyunca sabitlenmiş görüntülerin Platform'un kendi kopyalarını kullanır ve AWS kimlik bilgilerin eğitim iş yüklerine asla maruz bırakılmaz.

Bağlantıyı Kes#

Bağlantıyı kesmek, AWS'deki hiçbir şeye dokunmadan depolanan kimlik bilgilerini siler. Bu kovalardan oluşturulan veri setleri sınıfları, etiketleri ve açıklamalarıyla birlikte çalışma alanında kalır, ancak aynı IAM kullanıcı yeniden bağlanana kadar bunların görüntüleri yüklenemez, önizlenemez veya üzerinde eğitim yapılamaz.

GET /api/integrations/buckets tarafından döndürülen entegrasyon kimliğiyle REST API kullan:

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

Erişimi bunun yerine kaynaktan iptal etmek için AWS IAM'de erişim anahtarını devre dışı bırak veya sil.

Mevcut Sınırlamalar#

S3 destekli veri kümeleri şu anda Platform'a ait resim kopyalarını gerektiren özellikleri dışarıda bırakır: otomatik etiketleme, clustering analysis, veri kümesi klonlama ve değiştirilemeyen version snapshots.

S3 destekli bir veri kümesini veya içindeki tekil görüntüleri silmek, yalnızca Platform'un referanslarını kaldırır; nesnelerine asla dokunulmaz.

Ayrıca Google Cloud Storage ve Azure Blob Storage entegrasyonlarına da göz at.