Amazon S3 Entegrasyonu#

Amazon S3 entegrasyonu, S3 bucket'larını Ultralytics Platform ile bağlar. Resimlerin bucket'larında kalır; Platform onları olduğu yerde indeksler, böylece bir kopya yüklemeden YOLO modellerine göz atabilir, etiketleyebilir ve onları eğitebilirsin.

Pro özelliği

Amazon S3 veri kümeleri bir Pro or Enterprise plan gerektirir. Ücretsiz çalışma alanları entegrasyonu görür ve bağlanırken yükseltme yapmaya yönlendirilir. Bir abonelik sona ererse mevcut Amazon S3 veri kümeleri tamamen erişilebilir kalır; yalnızca yeni bağlantılar ve içe aktarımlar Pro gerektirir.

Salt Okunur IAM Kullanıcısı Oluştur#

Platform depolama alanından yalnızca okuma yapar; nesnelerini asla yazmaz, değiştirmez veya silmez. Yalnızca listeleme ve okuma erişimine sahip özel bir IAM user kullan, asla root kimlik bilgileri kullanma:

1. AWS konsolunda IAM > Users kısmına git ve konsol erişimi olmayan bir kullanıcı oluştur.

2. Bağlamak istediğin bucket'lara yalnızca listeleme ve okuma erişimi veren bir politika ekle:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets isteğe bağlıdır; Platform'un bucket'larını keşfetmesini sağlar, böylece adlarını yazmak zorunda kalmazsın.

3. Kullanıcının Security credentials sekmesini aç, bir access key oluştur ve access key ID ile secret access key değerlerini kopyala.

Platform'a Bağlan#

1. Settings > Integrations bölümüne git ve entegrasyon listesinden Amazon S3 seçeneğini seç.
2. Erişim anahtarı kimliğini, gizli erişim anahtarını ve bucket bölgesini (örneğin us-east-1) gir.
3. Find available buckets öğesine tıkla, ardından bağlanılacak paketleri seç. Politika keşfe izin vermiyorsa, bilinen bir paket adını manuel olarak gir.
4. Connect düğmesine tıkla. Platform, herhangi bir şeyi kaydetmeden önce seçilen her depolama alanını listeleyip okuyabildiğini doğrular.

Aynı IAM kullanıcısını daha sonra yeniden bağlamak, mevcut entegrasyona yeni bucket'lar ekler. Kayıtlı bir kimlik bilgisi, ancak yerine geçecek olan yeni kimlik bilgisi zaten bağladığın her bucket'ı okuyabiliyorsa değiştirilir.

Bağlantı başına bir bölge

Bir bağlantı, girdiğin bölgedeki bucket'ları okur. Bucket'ların farklı bölgelerde bulunuyorsa bölge başına bir kez bağlantı kur.

Kimlik bilgisi güvenliği

Kimlik bilgileri AES-256-GCM ile şifrelenmiş olarak saklanır, asla tarayıcıya döndürülmez ve hiçbir zaman eğitim işi yüklerine dahil edilmez. Erişimi iptal etmek için AWS IAM üzerinden erişim anahtarını devre dışı bırak.

S3 Bucket'ından Veri Kümesi Oluştur#

1. Yeni Veri Kümesi'ne tıkla ve Bulut depolama sekmesini aç.
2. Bağlı bir depolama alanı seç ve verilerini içeren klasöre göz at.
3. Klasörü onayla, veri kümesi adını ayarla ve veri kümesini oluştur.

Platform klasörü bir kez listeler ve bulduklarını indeksler:

• Görseller — .jpg, .jpeg, .png, .webp ve .avif nesneleri, sınırlı istekler aracılığıyla okunan boyutlarla indekslenir. Platform, kaynak görselin ikinci bir kopyasını kalıcı olarak saklamaz.
• Etiketler — YOLO .txt yan dosyaları, standart images/ → labels/ düzeniyle veya aynı klasördeki kardeşler olarak eşleştirilerek Platform etiketlerine ayrıştırılır.
• Meta Veriler — bir data.yaml/data.yml, tıpkı bir arşiv yüklemesi gibi sınıf adlarını, görev türünü ve pozhtar ana nokta şeklini sağlar.
• Splits — Nesne anahtarındaki train, val ve test klasör adları bölümleri otomatik olarak atar.

Veri seti daha sonra diğerleri gibi davranır: ona göz at ve etiketle, onu herkese açık veya özel yap, ekibinle paylaş ve yönetilen eğitim aracılığıyla onun üzerinde eğitim gerçekleştir. Orijinaller talep üzerine akışa alınır ve indekslenen görseller Platform depolama kotanı tüketmez.

Sınırlar

Tek bir içe aktarma işlemi 50.000'e kadar nesneyi ve her biri 1 MB'a kadar olan etiket veya YAML dosyalarını indeksler. Daha büyük depolama alanları birden fazla veri kümesine bölünmelidir.

İndekslenen nesneleri değiştirilemez (immutable) tut

İndekslenen her görüntü kendi S3 nesne ETag'ine sabitlenir ve bir nesne altta değişirse Platform başarısız olur. Mevcut olanların üzerine yazmak yerine yeni nesneler ekle.

Başarısız İçe Aktarmalar#

Bir içe aktarma başarısız olursa (boş bir klasör, yolda yazım hatası veya iptal edilmiş izinler gibi), veri kümesi kendi sayfasında hatayı gösterir. Editörler, depolanan depolama alanı ve klasörle işlemi yeniden başlatmak için Retry import düğmesine tıklayabilir veya düzeltilmiş yolu işaret eden yeni bir veri kümesi oluşturabilir.

Eğitim#

Yönetilen eğitim, normal eğitim akışı üzerinden çalışır. İşçiler (workers), sabitlenmiş orijinalleri çalışma için geçici iş depolama alanına indirir ve iş temizliği ile bunları kaldırır; AWS kimlik bilgilerin hiçbir zaman hesaplama birimine ulaşmaz.

Mevcut Sınırlamalar#

S3 destekli veri kümeleri şu anda Platform'a ait resim kopyalarını gerektiren özellikleri dışarıda bırakır: otomatik etiketleme, clustering analysis, veri kümesi klonlama ve değiştirilemeyen version snapshots.

S3 destekli bir veri kümesini veya içindeki tekil görüntüleri silmek, yalnızca Platform'un referanslarını kaldırır; nesnelerine asla dokunulmaz.

Ayrıca Google Cloud Storage ve Azure Blob Storage entegrasyonlarına da göz at.