YOLO-World Modeli#

YOLO-World Modeli, Açık Sözcük Dağarcığı Tespiti (Open-Vocabulary Detection) görevleri için gelişmiş, gerçek zamanlı Ultralytics YOLOv8 tabanlı bir yaklaşım sunar. Bu yenilik, açıklayıcı metinlere dayanarak bir görüntü içindeki herhangi bir nesnenin tespit edilmesini sağlar. Rekabetçi performansını korurken hesaplama gereksinimlerini önemli ölçüde azaltan YOLO-World, çok sayıda görme tabanlı uygulama için çok yönlü bir araç olarak öne çıkar.

Genel Bakış#

YOLO-World, genellikle yoğun hesaplama kaynakları gerektiren hantal Transformer modellerine güvenen geleneksel Açık Sözcük Dağarcığı tespiti modellerinin karşılaştığı zorlukların üstesinden gelir. Bu modellerin önceden tanımlanmış nesne kategorilerine olan bağımlılığı da dinamik senaryolardaki faydalarını kısıtlar. YOLO-World, görme-dil modellemesi kullanarak ve kapsamlı veri kümeleri üzerinde ön eğitim alarak YOLOv8 çerçevesini açık sözcük dağarcığı tespiti yetenekleriyle yeniden canlandırır ve sıfır vuruşlu (zero-shot) senaryolarda eşsiz bir verimlilikle geniş bir nesne dizisini tanımlamada mükemmelleşir.

Örnek maskeleri, görsel ipuçları veya ipucu gerektirmeyen bir mod da gerektiren açık kelime dağarcığı çalışmaları için, aynı set_classes() API'sini koruyan YOLOE adresine göz at.

Temel Özellikler#

1. Gerçek Zamanlı Çözüm: CNN'lerin hesaplama hızından yararlanan YOLO-World, anlık sonuçlara ihtiyaç duyan sektörlere hitap eden hızlı bir açık sözcüklü tespit çözümü sunar.

2. Verimlilik ve Performans: YOLO-World, performanstan ödün vermeden hesaplama ve kaynak gereksinimlerini düşürür; SAM gibi modellere kıyasla hesaplama maliyetinin sadece bir kısmıyla gerçek zamanlı uygulamalara olanak tanıyan sağlam bir alternatif sunar.

3. Çevrimdışı Sözlük ile Çıkarım: YOLO-World, verimliliği daha da artırmak için çevrimdışı bir sözlük kullanan bir "önce sor, sonra tespit et" stratejisi sunar. Bu yaklaşım, altyazılar veya kategoriler dahil olmak üzere önceden hesaplanmış özel komutların (prompt) kodlanıp çevrimdışı sözlük gömmeleri (embeddings) olarak saklanmasını sağlayarak tespit sürecini kolaylaştırır.

4. YOLOv8 Destekli: Ultralytics YOLOv8 üzerine inşa edilen YOLO-World, benzersiz bir doğruluk ve hızla açık sözcük dağarcığı tespitini kolaylaştırmak için gerçek zamanlı nesne tespitindeki en son gelişmelerden yararlanır.

5. Kıyaslama Mükemmelliği: YOLO-World, standart kıyaslamalarda (benchmark) hız ve verimlilik açısından MDETR ve GLIP serisi dahil olmak üzere mevcut açık sözcüklü tespit edicileri geride bırakır ve YOLOv8'in tek bir NVIDIA V100 GPU üzerindeki üstün yeteneğini sergiler.

6. Çok Yönlü Uygulamalar: YOLO-World'ün yenilikçi yaklaşımı, mevcut yöntemlere göre hızda katbekat iyileşmeler sunarak çok sayıda görüntü görevi için yeni olasılıkların kapısını aralar.

Mevcut Modeller, Desteklenen Görevler ve Çalışma Modları#

Bu bölümde, belirli ön eğitilmiş (pretrained) ağırlıklarıyla birlikte sunulan modeller, destekledikleri görevler ve desteklenen modlar için ✅ ve desteklenmeyen modlar için ❌ ile belirtilen Çıkarım (Inference), Doğrulama (Validation), Eğitim (Training) ve Dışa Aktarma (Export) gibi çeşitli çalışma modlarıyla uyumlulukları ayrıntılı olarak ele alınmaktadır.

COCO Veri Setinde Sıfır-Atış (Zero-shot) Transferi#

Kullanım Örnekleri#

YOLO-World modellerinin Python uygulamalarına entegre edilmesi kolaydır. Ultralytics, geliştirmeyi kolaylaştırmak için kullanıcı dostu Python API ve CLI komutları sağlar.

Eğitim Kullanımı#

Aşağıda gösterildiği gibi, train yöntemi ile nesne tespiti yapmak oldukça basittir:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Tahmin Kullanımı#

Aşağıda gösterildiği gibi, predict yöntemi ile nesne tespiti yapmak oldukça basittir:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Bu kod parçacığı, önceden eğitilmiş bir modeli yüklemenin ve bir görüntü üzerinde tahmin çalıştırmanın basitliğini göstermektedir.

Doğrulama Kullanımı#

Bir veri setinde model doğrulama işlemi şu şekilde kolaylaştırılmıştır:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

Takip Kullanımı#

Bir video/görüntü üzerinde YOLO-World modeliyle nesne takibi şu şekilde basitleştirilmiştir:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

Komutları (prompt) ayarla#

YOLO-World çerçevesi, özel komut istemleri (prompts) aracılığıyla sınıfların dinamik olarak belirlenmesine izin vererek kullanıcıların modeli yeniden eğitmeden kendi özel ihtiyaçlarına göre uyarlamasını sağlar. Bu özellik, modeli orijinal olarak eğitim verilerinin bir parçası olmayan yeni alanlara veya belirli görevlere uyarlamak için özellikle yararlıdır. Kullanıcılar özel komut istemleri belirleyerek modelin odak noktasını esasen ilgi çekici nesnelere yönlendirebilir, tespit sonuçlarının ilgisini ve doğruluğunu artırabilir.

Örneğin, uygulamanız yalnızca 'kişi' ve 'otobüs' nesnelerini tespit etmeyi gerektiriyorsa, bu sınıfları doğrudan belirtebilirsiniz:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

Özel sınıfları belirledikten sonra bir modeli de kaydedebilirsiniz. Bunu yaparak, özel kullanım durumunuz için özelleştirilmiş bir YOLO-World modeli sürümü oluşturursunuz. Bu işlem, özel sınıf tanımlarınızı doğrudan model dosyasına gömer ve modeli, başka ayarlamalar yapmadan belirttiğiniz sınıflarla kullanıma hazır hale getirir. Özel YOLO-World modelinizi kaydetmek ve yüklemek için şu adımları izleyin:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Özel Sözlükle Kaydetmenin Avantajları#

• Verimlilik: İlgili nesnelere odaklanarak tespit sürecini kolaylaştırır, hesaplama yükünü azaltır ve çıkarımı hızlandırır.
• Esneklik: Kapsamlı yeniden eğitim veya veri toplama ihtiyacı duymadan modelin yeni veya niş tespit görevlerine kolayca uyarlanmasını sağlar.
• Basitlik: Çalışma zamanında özel sınıfları tekrar tekrar belirtme ihtiyacını ortadan kaldırarak dağıtımı basitleştirir ve modelin gömülü sözlüğüyle doğrudan kullanılabilir olmasını sağlar.
• Performans: Modelin dikkatini ve kaynaklarını tanımlanan nesneleri tanımaya odaklayarak belirtilen sınıflar için tespit doğruluğunu artırır.

Bu yaklaşım, son teknoloji nesne tespiti modellerini belirli görevler için özelleştirmek için güçlü bir araç sunar ve gelişmiş yapay zekayı daha erişilebilir hale getirerek daha geniş bir pratik uygulama yelpazesine uygulanabilir kılar.

Resmi sonuçları sıfırdan üretin (Deneysel)#

Veri setlerini hazırlayın#

• Eğitim verisi

• Doğrulama verisi

Sıfırdan eğitimi başlat#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Alıntılar ve Teşekkür#

YOLO-World ile gerçek zamanlı açık sözcük dağarcıklı nesne tespiti alanındaki öncü çalışmaları için Tencent AILab Computer Vision Center merkezine şükranlarımızı sunarız:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Daha fazla okuma için orijinal YOLO-World makalesi arXiv üzerinde mevcuttur. Projenin kaynak koduna ve ek kaynaklara GitHub deposu aracılığıyla erişilebilir. Alanı ilerletmeye ve değerli içgörülerini toplulukla paylaşmaya olan bağlılıkları için teşekkür ederiz.

SSS#