Amazon S3 Entegrasyonu#

Amazon S3 entegrasyonu, S3 bucket'larını Ultralytics Platform'a bağlar. Görsellerin bucket'larında kalır — Platform bunları yerinde indeksler; böylece bir kopya yüklemeden YOLO modellerine göz atabilir, açıklama ekleyebilir ve modelleri eğitebilirsin.

Salt Okunur IAM Kullanıcısı Oluşturma#

Platform depolama alanından yalnızca okuma yapar — nesnelerine hiçbir zaman yazmaz, bunları değiştirmez veya silmez. Yalnızca listeleme ve okuma erişimine sahip özel bir IAM kullanıcısı kullan — root kimlik bilgilerini hiçbir zaman kullanma:

1. AWS konsolunda IAM > Users bölümüne git ve konsol erişimi olmayan bir kullanıcı oluştur.

2. Bağlamak istediğin bucket'lara yalnızca listeleme ve okuma erişimi veren bir politika ekle:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets isteğe bağlıdır — Platform'un bucket'larını keşfetmesini sağlar; böylece adlarını yazman gerekmez.

3. Kullanıcının Security credentials sekmesini aç, bir access key oluştur ve access key ID ile secret access key'i kopyala.

Platform'a bağlanma#

1. Settings > Integrations bölümüne git ve entegrasyon listesinden Amazon S3'ü seç.
2. Access key ID'yi, secret access key'i ve bucket bölgesini (örneğin us-east-1) gir.
3. Find available buckets seçeneğine tıkla, ardından bağlanacak bucket'ları seç. Politika keşfe izin vermiyorsa, bildiğin bir bucket adını manuel olarak gir.
4. Bağlan seçeneğine tıkla. Platform, herhangi bir şeyi kaydetmeden önce seçilen her bucket'ı listeleyebildiğini ve okuyabildiğini doğrular.

Bulut depolama alanına bağlanmak için çalışma alanı yöneticisi veya sahibi rolüne sahip olman gerekir. Tek bir bağlantı en fazla 50 bucket taşıyabilir ve keşif, anahtarın görebildiği bucket'ların en fazla 300'ünü listeler.

Aynı IAM kullanıcısını daha sonra yeniden bağlamak, mevcut entegrasyona yeni bucket'lar ekler. Kaydedilmiş bir kimlik bilgisi, yalnızca yerine geçen kimlik bilgisi daha önce bağladığın tüm bucket'ları hâlâ okuyabildiğinde değiştirilir.

S3 Bucket'ından Veri Kümesi Oluşturma#

1. Yeni Veri Kümesi seçeneğine tıkla ve Bulut sekmesini aç.
2. Bağlı bir bucket seç ve verilerini içeren klasöre git.
3. Klasörü onayla, veri kümesi adını düzenle ve veri kümesini oluştur.

Platform klasörü bir kez listeler ve bulduklarını indeksler:

• Görseller — .jpg, .jpeg, .png, .webp ve .avif nesneleri, sınırlandırılmış isteklerle okunan boyutlarla indekslenir. Platform, kaynak görselin ikinci bir kopyasını kalıcı olarak saklamaz.
• Etiketler — YOLO .txt yan dosyaları Platform açıklamalarına ayrıştırılır ve standart images/ → labels/ düzenine veya aynı klasördeki eş nesnelere göre eşleştirilir.
• Meta veriler — Bir YAML dosyası, tıpkı bir arşiv yüklemesinde olduğu gibi sınıf adlarını ve poz anahtar noktası şeklini sağlar. Klasörde birden fazla dosya varsa data.yaml ve data.yml tercih edilir.
• Görev — Etiket dosyalarından alınan bir örnek görevi belirler; bu nedenle segment, poz ve OBB klasörleri, iletişim kutusunda seçtiğin göreve göre değil, etiket şekillerine göre tanınır.
• Splits — Nesne anahtarındaki train, val ve test klasör adları, bölümleri otomatik olarak atar.

Veri kümesi bundan sonra diğerleri gibi davranır: göz atabilir ve açıklama ekleyebilir, herkese açık veya özel olarak ayarlayabilir, ekibinle paylaşabilir ve yönetilen eğitim aracılığıyla üzerinde eğitim gerçekleştirebilirsin. Orijinal dosyalar isteğe bağlı olarak aktarılır ve indekslenmiş görseller Platform depolama kotanı tüketmez.

Başarısız İçe Aktarmalar#

Bir içe aktarma başarısız olursa — boş bir klasör, yoldaki bir yazım hatası veya iptal edilmiş izinler nedeniyle — veri kümesi hatayı kendi sayfasında gösterir. Düzenleyiciler, kayıtlı bucket ve klasörle işlemi yeniden başlatmak için İçe aktarmayı yeniden dene seçeneğine tıklayabilir veya düzeltilmiş yolu gösteren yeni bir veri kümesi oluşturabilir.

Yeniden deneme, kaldığı yerden devam etmek yerine klasörü yeniden listeler: ilk denemeden sonra eklenen nesneler alınır ve artık mevcut olmayan nesneler veri kümesinden çıkarılır.

Eğitim#

Yönetilen eğitim, normal eğitim akışı üzerinden çalışır. Eğitim, çalıştırma süresince sabitlenmiş görsellerin Platform'a ait kopyalarını kullanır ve AWS kimlik bilgilerin eğitim iş yüklerine hiçbir zaman açığa çıkarılmaz.

Bağlantıyı Kesme#

Bağlantıyı kesmek, AWS'deki hiçbir şeye dokunmadan depolanan kimlik bilgilerini siler. Bu bucket'lardan oluşturulan veri kümeleri sınıfları, etiketleri ve açıklamalarıyla çalışma alanında kalır; ancak aynı IAM kullanıcısı yeniden bağlanana kadar görselleri yüklenemez, önizlenemez veya eğitimde kullanılamaz.

GET /api/integrations/buckets tarafından döndürülen entegrasyon kimliğiyle REST API'yi kullan:

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

Bunun yerine erişimi kaynağında iptal etmek için AWS IAM'de erişim anahtarını devre dışı bırak veya sil.

Mevcut Sınırlamalar#

S3 destekli veri kümeleri şu anda görsellerinin Platform'a ait kopyalarını gerektiren özellikleri içermez: otomatik açıklama ekleme, kümeleme analizi, veri kümesi klonlama ve değiştirilemez sürüm anlık görüntüleri.

S3 destekli bir veri kümesini veya içindeki tek tek görselleri silmek, yalnızca Platform'un referanslarını kaldırır — nesnelerine hiçbir zaman dokunulmaz.

Ayrıca Google Cloud Storage ve Azure Blob Storage entegrasyonlarına da bak.

SSS#