YOLO-World Modeli#

YOLO-World Modeli, Açık Kelime Dağarcıklı Algılama görevleri için gelişmiş, gerçek zamanlı ve Ultralytics YOLOv8 tabanlı bir yaklaşım sunar. Bu yenilik, açıklayıcı metinlere dayanarak görüntüdeki herhangi bir nesnenin algılanmasını sağlar. Rekabetçi performansı korurken hesaplama gereksinimlerini önemli ölçüde azaltan YOLO-World, görüntü tabanlı çok sayıda uygulama için çok yönlü bir araca dönüşür.

Genel Bakış#

YOLO-World, genellikle kapsamlı hesaplama kaynakları gerektiren hantal Transformer modellerine dayanan geleneksel Açık Kelime Dağarcıklı algılama modellerinin karşılaştığı zorlukları ele alır. Bu modellerin önceden tanımlanmış nesne kategorilerine bağımlı olması, dinamik senaryolardaki kullanımlarını da kısıtlar. YOLO-World, YOLOv8 çerçevesini açık kelime dağarcıklı algılama yetenekleriyle güçlendirir; görsel-dil modellemesini ve kapsamlı veri kümeleri üzerinde ön eğitimi kullanarak sıfır örnekli senaryolarda geniş bir nesne yelpazesini benzersiz bir verimlilikle tanımada üstün başarı gösterir.

Örnek maskelerine, görsel istemlere veya istem gerektirmeyen bir moda da ihtiyaç duyan açık kelime dağarcıklı çalışmalar için aynı set_classes() API'sini kullanan YOLOE modeline bak.

Temel Özellikler#

1. Gerçek Zamanlı Çözüm: CNN'lerin hesaplama hızından yararlanan YOLO-World, anında sonuçlara ihtiyaç duyan sektörlere yönelik hızlı bir açık kelime dağarcıklı algılama çözümü sunar.

2. Verimlilik ve Performans: YOLO-World, performanstan ödün vermeden hesaplama ve kaynak gereksinimlerini büyük ölçüde azaltır. Böylece SAM gibi modellere sağlam bir alternatif sunarken çok daha düşük hesaplama maliyetiyle gerçek zamanlı uygulamaları mümkün kılar.

3. Çevrimdışı Kelime Dağarcığıyla Çıkarım: YOLO-World, verimliliği daha da artırmak için çevrimdışı bir kelime dağarcığı kullanan "önce istem, sonra algılama" stratejisini sunar. Bu yaklaşım, altyazılar veya kategoriler dâhil olmak üzere önceden hesaplanmış özel istemlerin kodlanıp çevrimdışı kelime dağarcığı gömmeleri olarak saklanmasını sağlayarak algılama sürecini kolaylaştırır.

4. YOLOv8 ile Güçlendirilmiştir: Ultralytics YOLOv8 üzerine kurulan YOLO-World, rakipsiz doğruluk ve hızla açık kelime dağarcıklı algılamayı mümkün kılmak için gerçek zamanlı nesne algılamadaki en son gelişmelerden yararlanır.

5. Üstün Kıyaslama Sonuçları: YOLO-World; standart kıyaslamalarda hız ve verimlilik açısından MDETR ve GLIP serileri dâhil mevcut açık kelime dağarcıklı algılayıcıları geride bırakır ve tek bir NVIDIA V100 GPU'da YOLOv8'in üstün yeteneklerini ortaya koyar.

6. Çok Yönlü Uygulamalar: YOLO-World'ün yenilikçi yaklaşımı, çok sayıda görüntü görevinde yeni olanaklar sunar ve mevcut yöntemlere kıyasla hızda katlarca artış sağlar.

Kullanılabilir Modeller, Desteklenen Görevler ve Çalışma Modları#

Bu bölümde, belirli önceden eğitilmiş ağırlıklarıyla birlikte kullanılabilir modeller, modellerin desteklediği görevler ve Çıkarım, Doğrulama, Eğitim ve Dışa Aktarma gibi çeşitli çalışma modlarıyla uyumlulukları açıklanır. Desteklenen modlar ✅, desteklenmeyen modlar ise ❌ ile belirtilir.

COCO veri kümesinde sıfır örnekli aktarım#

Kullanım Örnekleri#

YOLO-World modellerini Python uygulamalarına kolayca entegre edebilirsin. Ultralytics, geliştirme sürecini kolaylaştırmak için kullanıcı dostu bir Python API ve CLI komutları sunar.

Eğitim Kullanımı#

Aşağıda gösterildiği gibi, train yöntemiyle nesne algılama kolaydır:

from ultralytics import YOLOWorld

# Önceden eğitilmiş bir YOLOv8s-worldv2 modeli yükle
model = YOLOWorld("yolov8s-worldv2.pt")

# Modeli COCO8 örnek veri kümesinde 100 dönem boyunca eğit
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 'bus.jpg' görüntüsünde YOLO-World modeliyle çıkarım yap
results = model("path/to/bus.jpg")

Tahmin Kullanımı#

Aşağıda gösterildiği gibi, predict yöntemiyle nesne algılama kolaydır:

from ultralytics import YOLOWorld

# Bir YOLO-World modelini başlat
model = YOLOWorld("yolov8s-world.pt")  # veya farklı boyutlar için yolov8m/l-world.pt dosyasını seç

# Belirtilen görüntüde YOLOv8s-world modeliyle çıkarım yap
results = model.predict("path/to/image.jpg")

# Sonuçları göster
results[0].show()

Bu kod parçası, önceden eğitilmiş bir modeli yüklemenin ve bir görüntü üzerinde tahmin yürütmenin ne kadar kolay olduğunu gösterir.

Doğrulama Kullanımı#

Bir veri kümesinde model doğrulaması şu şekilde kolayca yapılır:

from ultralytics import YOLO

# Bir YOLO-World modeli oluştur
model = YOLO("yolov8s-world.pt")  # veya farklı boyutlar için yolov8m/l-world.pt dosyasını seç

# COCO8 örnek veri kümesinde model doğrulaması yap
metrics = model.val(data="coco8.yaml")

Takip Kullanımı#

Bir video/görüntü üzerinde YOLO-World modeliyle nesne takibi şu şekilde kolayca yapılır:

from ultralytics import YOLO

# Bir YOLO-World modeli oluştur
model = YOLO("yolov8s-world.pt")  # veya farklı boyutlar için yolov8m/l-world.pt dosyasını seç

# Bir videoda YOLO-World modeliyle takip yap
results = model.track(source="path/to/video.mp4")

İstemleri ayarla#

YOLO-World çerçevesi, özel istemler aracılığıyla sınıfları dinamik olarak belirtmene olanak tanıyarak modeli yeniden eğitmeye gerek kalmadan ihtiyaçlarına göre uyarlamanı sağlar. Bu özellik, modeli yeni alanlara veya başlangıçta eğitim verilerinin parçası olmayan belirli görevlere uyarlamak için özellikle yararlıdır. Özel istemler ayarlayarak modelin odağını ilgilendiğin nesnelere yönlendirebilir, algılama sonuçlarının alaka düzeyini ve doğruluğunu artırabilirsin.

Örneğin uygulaman yalnızca 'person' ve 'bus' nesnelerini algılamayı gerektiriyorsa bu sınıfları doğrudan belirtebilirsin:

from ultralytics import YOLO

# Bir YOLO-World modelini başlat
model = YOLO("yolov8s-world.pt")  # veya yolov8m/l-world.pt dosyasını seç

# Özel sınıfları tanımla
model.set_classes(["person", "bus"])

# Bir görüntüde belirtilen kategoriler için tahmin yürüt
results = model.predict("path/to/image.jpg")

# Sonuçları göster
results[0].show()

model.set_classes(["person", "bus", ""])

Özel sınıfları ayarladıktan sonra modeli de kaydedebilirsin. Böylece YOLO-World modelinin özel kullanım durumuna göre uyarlanmış bir sürümünü oluşturursun. Bu işlem, özel sınıf tanımlarını doğrudan model dosyasına ekleyerek modeli başka bir ayarlama yapmadan belirttiğin sınıflarla kullanıma hazır hâle getirir. Özel YOLO-World modelini kaydetmek ve yüklemek için şu adımları izle:

from ultralytics import YOLO

# Bir YOLO-World modelini başlat
model = YOLO("yolov8s-world.pt")  # veya yolov8m/l-world.pt dosyasını seç

# Özel sınıfları tanımla
model.set_classes(["person", "bus"])

# Modeli tanımlanan çevrimdışı sözcük dağarcığıyla kaydet
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Özel modelini yükle
model = YOLO("custom_yolov8s.pt")

# Özel sınıflarını algılamak için çıkarım yap
results = model.predict("path/to/image.jpg")

# Sonuçları göster
results[0].show()

Özel Sözcük Dağarcığıyla Kaydetmenin Avantajları#

• Verimlilik: İlgili nesnelere odaklanıp hesaplama yükünü azaltarak ve çıkarımı hızlandırarak algılama sürecini kolaylaştırır.
• Esneklik: Kapsamlı bir yeniden eğitim veya veri toplama ihtiyacı olmadan modelin yeni ya da niş algılama görevlerine kolayca uyarlanmasını sağlar.
• Basitlik: Çalışma zamanında özel sınıfları tekrar tekrar belirtme ihtiyacını ortadan kaldırarak dağıtımı kolaylaştırır ve modeli içine gömülü sözcük dağarcığıyla doğrudan kullanılabilir hâle getirir.
• Performans: Modelin dikkatini ve kaynaklarını tanımlanan nesneleri tanımaya yönlendirerek belirtilen sınıflar için algılama doğruluğunu artırır.

Bu yaklaşım, son teknoloji nesne algılama modellerini belirli görevlere göre özelleştirmek için güçlü bir yöntem sunar; böylece gelişmiş yapay zekâ daha erişilebilir ve daha geniş bir pratik uygulama yelpazesinde kullanılabilir hâle gelir.

Resmî sonuçları sıfırdan yeniden üret (Deneysel)#

Veri kümelerini hazırla#

• Eğitim verileri

• Doğrulama verileri

Eğitimi sıfırdan başlat#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Seçenek 1: Python sözlüğü kullan
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Seçenek 2: YAML dosyası kullan (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
# json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
# - img_path: mixed_grounding/gqa/images
# json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
# - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # YAML dosyası kullanıyorsan data="yolo_world_data.yaml" kullan
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Atıflar ve Teşekkürler#

YOLO-World ile gerçek zamanlı, açık sözcük dağarcıklı nesne algılama alanındaki öncü çalışmaları için Tencent AILab Bilgisayarlı Görü Merkezi ekibine teşekkür ederiz:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Daha fazla bilgi için özgün YOLO-World makalesine arXiv üzerinden ulaşabilirsin. Projenin kaynak koduna ve ek kaynaklara GitHub deposu üzerinden erişebilirsin. Alanı ilerletmeye ve değerli görüşlerini toplulukla paylaşmaya yönelik kararlılıklarını takdir ediyoruz.

Sık Sorulan Sorular#