Link to this sectionAmazon S3 Entegrasyonu#
Amazon S3 entegrasyonu, S3 bucket'larını Ultralytics Platform ile bağlar. Görüntülerin bucket'larında kalır; Platform bunları yerinde indeksler, böylece bir kopyasını yüklemeden YOLO modellerine göz atabilir, etiketleyebilir ve eğitebilirsin.
Amazon S3 veri kümeleri Pro veya Enterprise planı gerektirir. Ücretsiz çalışma alanları entegrasyonu görür ve bağlantı kurulduğunda yükseltme yapmaları istenir. Mevcut Amazon S3 veri kümeleri, abonelik sona erse bile tamamen erişilebilir durumda kalır; yalnızca yeni bağlantılar ve içe aktarmalar Pro gerektirir.
Link to this sectionSalt Okunur IAM Kullanıcısı Oluştur#
Platform depolama alanından yalnızca okuma yapar; nesnelerini asla yazmaz, değiştirmez veya silmez. Yalnızca listeleme ve okuma erişimine sahip özel bir IAM kullanıcısı kullan, asla kök kimlik bilgilerini kullanma:
-
AWS konsolunda IAM > Users kısmına git ve konsol erişimi olmayan bir kullanıcı oluştur.
-
Bağlamak istediğin bucket'lara yalnızca listeleme ve okuma erişimi veren bir politika ekle:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" }, { "Effect": "Allow", "Action": ["s3:ListBucket", "s3:GetObject"], "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"] } ] }s3:ListAllMyBucketsisteğe bağlıdır; Platform'un bucket'larını keşfetmesini sağlar, böylece adlarını yazmak zorunda kalmazsın. -
Kullanıcının Security credentials sekmesini aç, bir access key oluştur ve access key ID ile secret access key değerlerini kopyala.
Link to this sectionPlatform'a Bağlan#
- Settings > Integrations kısmına git ve Amazon S3 kartını bul.
- Connect düğmesine tıkla ve access key ID, secret access key ve bucket bölgesini (örneğin
us-east-1) gir. - Platform, kimlik bilgilerinin okuyabildiği bucket'ları listeler. Bağlanacak olanları seç veya politika keşfe izin vermiyorsa bir bucket adını manuel olarak gir.
- Connect düğmesine tıkla. Platform, herhangi bir şeyi kaydetmeden önce seçilen her depolama alanını listeleyip okuyabildiğini doğrular.
Aynı IAM kullanıcısını daha sonra yeniden bağlamak, mevcut entegrasyona yeni bucket'lar ekler. Kayıtlı bir kimlik bilgisi, ancak yerine geçecek olan yeni kimlik bilgisi zaten bağladığın her bucket'ı okuyabiliyorsa değiştirilir.
Bir bağlantı, girdiğin bölgedeki bucket'ları okur. Bucket'ların farklı bölgelerde bulunuyorsa bölge başına bir kez bağlantı kur.
Kimlik bilgileri AES-256-GCM ile şifrelenmiş olarak saklanır, asla tarayıcıya döndürülmez ve hiçbir zaman eğitim işi yüklerine dahil edilmez. Erişimi iptal etmek için AWS IAM üzerinden erişim anahtarını devre dışı bırak.
Link to this sectionS3 Bucket'ından Veri Kümesi Oluştur#
- Yeni Veri Kümesi'ne tıkla ve Bulut depolama sekmesini aç.
- Bağlı bir depolama alanı seç ve verilerini içeren klasöre göz at.
- Klasörü onayla, veri kümesi adını ayarla ve veri kümesini oluştur.
Platform klasörü bir kez listeler ve bulduklarını indeksler:
- Images —
.jpg,.jpeg,.png,.webpve.avifnesneleri, sınırlandırılmış başlık isteklerinden okunan boyutlarla indekslenir. Kaynak pikseller depolama alanından asla kopyalanmaz. - Etiketler — YOLO
.txtyardımcı dosyaları, standartimages/→labels/düzeniyle veya aynı klasördeki kardeş dosyalar olarak eşleşecek şekilde Platform ek açıklamalarına ayrıştırılır. - Meta veriler — bir
data.yaml/data.ymldosyası, tıpkı bir arşiv yüklemesinde olduğu gibi sınıf isimlerini, görev türünü ve poz anahtar noktası şeklini sağlar. - Splits — Nesne anahtarındaki
train,valvetestklasör adları, bölümleri otomatik olarak atar.
Veri kümesi daha sonra diğerleri gibi davranır: ona göz atabilir ve etiketleyebilir, genel veya özel olarak ayarlayabilir, ekibinle paylaşabilir ve yönetilen eğitim yoluyla eğitebilirsin. Orijinal dosyalar talep üzerine aktarılır ve indekslenen görseller Platform depolama kotanı tüketmez.
Tek bir içe aktarma işlemi 50.000'e kadar nesneyi ve her biri 1 MB'a kadar olan etiket veya YAML dosyalarını indeksler. Daha büyük depolama alanları birden fazla veri kümesine bölünmelidir.
İndekslenen her görüntü kendi S3 nesne ETag'ine sabitlenir ve bir nesne altta değişirse Platform başarısız olur. Mevcut olanların üzerine yazmak yerine yeni nesneler ekle.
Link to this sectionBaşarısız İçe Aktarmalar#
Bir içe aktarma başarısız olursa (boş bir klasör, yolda yazım hatası veya iptal edilmiş izinler gibi), veri kümesi kendi sayfasında hatayı gösterir. Editörler, depolanan depolama alanı ve klasörle işlemi yeniden başlatmak için Retry import düğmesine tıklayabilir veya düzeltilmiş yolu işaret eden yeni bir veri kümesi oluşturabilir.
Link to this sectionEğitim#
Yönetilen eğitim, normal eğitim akışı üzerinden çalışır. İşçiler (workers), sabitlenmiş orijinalleri çalışma için geçici iş depolama alanına indirir ve iş temizliği ile bunları kaldırır; AWS kimlik bilgilerin hiçbir zaman hesaplama birimine ulaşmaz.
Link to this sectionMevcut Sınırlamalar#
S3 destekli veri kümeleri, şu anda görüntülerin Platforma ait kopyalarını gerektiren özellikleri hariç tutar: otomatik etiketleme, kümeleme analizi, veri kümesi klonlama ve değiştirilemez sürüm anlık görüntüleri.
S3 destekli bir veri kümesini veya içindeki tekil görüntüleri silmek, yalnızca Platform'un referanslarını kaldırır; nesnelerine asla dokunulmaz.
Ayrıca Google Cloud Storage ve Azure Blob Storage entegrasyonlarına göz at.