YOLO-World Modeli#

YOLO-World Modeli, Açık Kelime Dağarcıklı Algılama görevleri için gelişmiş, gerçek zamanlı, Ultralytics YOLOv8 tabanlı bir yaklaşım sunar. Bu yenilik, açıklayıcı metinlere dayanarak bir görüntüdeki herhangi bir nesnenin algılanmasını sağlar. Rekabetçi performansı korurken hesaplama gereksinimlerini önemli ölçüde azaltan YOLO-World, çok sayıda görüntü tabanlı uygulama için çok yönlü bir araç olarak öne çıkar.

Genel Bakış#

YOLO-World, genellikle kapsamlı hesaplama kaynakları gerektiren hantal Transformer modellerine dayanan geleneksel Açık Kelime Dağarcıklı algılama modellerinin karşılaştığı zorlukları ele alır. Bu modellerin önceden tanımlanmış nesne kategorilerine bağımlı olması, dinamik senaryolardaki kullanım alanlarını da kısıtlar. YOLO-World, açık kelime dağarcıklı algılama yetenekleriyle YOLOv8 çerçevesini yeniden güçlendirir; görsel-dil modelleme ve geniş veri kümeleri üzerinde ön eğitim kullanarak, sıfır örnekli senaryolarda çok çeşitli nesneleri eşi benzeri görülmemiş verimlilikle tanımlamada üstün performans gösterir.

Örnek maskelerine, görsel istemlere veya istemsiz bir moda da ihtiyaç duyan açık kelime dağarcığı çalışmaları için aynı set_classes() API'sini koruyan YOLOE modeline bak.

Temel Özellikler#

1. Gerçek zamanlı çözüm: YOLO-World, CNN'lerin hesaplama hızından yararlanarak anında sonuçlara ihtiyaç duyan sektörlere yönelik hızlı bir açık kelime dağarcıklı algılama çözümü sunar.

2. Verimlilik ve performans: YOLO-World, performanstan ödün vermeden hesaplama ve kaynak gereksinimlerini büyük ölçüde azaltır; SAM gibi modellere sağlam bir alternatif sunarken çok daha düşük hesaplama maliyetiyle gerçek zamanlı uygulamaları mümkün kılar.

3. Çevrimdışı kelime dağarcığıyla çıkarım: YOLO-World, verimliliği daha da artırmak için çevrimdışı bir kelime dağarcığı kullanan "önce istem ver, sonra algıla" stratejisini sunar. Bu yaklaşım; açıklamalar veya kategoriler dahil olmak üzere önceden hesaplanan özel istemlerin kodlanıp çevrimdışı kelime dağarcığı gömmeleri olarak depolanmasını sağlayarak algılama sürecini kolaylaştırır.

4. YOLOv8 tarafından desteklenir: Ultralytics YOLOv8 üzerine inşa edilen YOLO-World, açık kelime dağarcıklı algılamayı benzersiz doğruluk ve hızla mümkün kılmak için gerçek zamanlı nesne algılamadaki en yeni gelişmelerden yararlanır.

5. Kıyaslama üstünlüğü: YOLO-World, standart kıyaslamalarda hız ve verimlilik açısından MDETR ve GLIP serileri dahil olmak üzere mevcut açık kelime dağarcıklı algılayıcılardan daha iyi performans gösterir ve YOLOv8'in tek bir NVIDIA V100 GPU üzerindeki üstün yeteneğini ortaya koyar.

6. Çok yönlü uygulamalar: YOLO-World'ün yenilikçi yaklaşımı, çok sayıda görüntü işleme görevi için yeni olanaklar sunarak mevcut yöntemlere kıyasla katlar mertebesinde hız artışı sağlar.

Kullanılabilir Modeller, Desteklenen Görevler ve Çalışma Modları#

Bu bölümde, kendilerine özgü önceden eğitilmiş ağırlıklarıyla kullanılabilen modeller, destekledikleri görevler ve Çıkarım, Doğrulama, Eğitim ve Dışa aktarma gibi çeşitli çalışma modlarıyla uyumlulukları ayrıntılı olarak açıklanır; desteklenen modlar ✅, desteklenmeyen modlar ise ❌ ile gösterilir.

COCO Veri Kümesi Üzerinde Sıfır Örnekli Aktarım#

Kullanım Örnekleri#

YOLO-World modellerini Python uygulamalarına entegre etmek kolaydır. Ultralytics, geliştirme sürecini kolaylaştırmak için kullanıcı dostu Python API ve CLI komutları sağlar.

Eğitim Kullanımı#

Aşağıda gösterildiği gibi, train yöntemiyle nesne algılama kolayca gerçekleştirilebilir:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

Tahmin Kullanımı#

Aşağıda gösterildiği gibi, predict yöntemiyle nesne algılama kolayca gerçekleştirilebilir:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Bu kod parçacığı, önceden eğitilmiş bir modeli yüklemenin ve bir görüntü üzerinde tahmin çalıştırmanın ne kadar kolay olduğunu gösterir.

Doğrulama Kullanımı#

Bir veri kümesi üzerinde model doğrulama şu şekilde kolaylaştırılır:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

İzleme Kullanımı#

YOLO-World modeliyle video/görüntüler üzerinde nesne takibi şu şekilde kolaylaştırılır:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

İstemleri ayarla#

YOLO-World çerçevesi, özel istemler aracılığıyla sınıfların dinamik olarak belirtilmesine olanak tanır ve yeniden eğitim olmadan modeli özel ihtiyaçlarına göre uyarlamanı sağlar. Bu özellik, modeli yeni alanlara veya başlangıçta eğitim verilerinin parçası olmayan belirli görevlere uyarlamak için özellikle kullanışlıdır. Özel istemler ayarlayarak modelin odağını ilgilenilen nesnelere yönlendirebilir, algılama sonuçlarının uygunluğunu ve doğruluğunu artırabilirsin.

Örneğin uygulaman yalnızca 'person' ve 'bus' nesnelerini algılamayı gerektiriyorsa, bu sınıfları doğrudan belirtebilirsin:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

Özel sınıfları ayarladıktan sonra bir modeli de kaydedebilirsin. Bunu yaparak belirli kullanım alanına özel bir YOLO-World modeli oluşturursun. Bu işlem, özel sınıf tanımlarını doğrudan model dosyasına gömer ve modelin başka ayarlamalara gerek kalmadan belirttiğin sınıflarla kullanıma hazır olmasını sağlar. Özel YOLO-World modelini kaydetmek ve yüklemek için şu adımları izle:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

Özel Kelime Dağarcığıyla Kaydetmenin Faydaları#

• Verimlilik: İlgili nesnelere odaklanarak algılama sürecini kolaylaştırır, hesaplama yükünü azaltır ve çıkarımı hızlandırır.
• Esneklik: Kapsamlı yeniden eğitim veya veri toplama gerektirmeden modeli yeni ya da niş algılama görevlerine kolayca uyarlamana olanak tanır.
• Basitlik: Çalışma zamanında özel sınıfları tekrar tekrar belirtme gereksinimini ortadan kaldırarak dağıtımı kolaylaştırır ve modeli gömülü kelime dağarcığıyla doğrudan kullanılabilir hale getirir.
• Performans: Modelin dikkatini ve kaynaklarını tanımlanan nesneleri tanımaya yönelterek belirtilen sınıflar için algılama doğruluğunu artırır.

Bu yaklaşım, en gelişmiş nesne algılama modellerini belirli görevlere uyarlamak için güçlü bir yöntem sunar ve gelişmiş yapay zekâyı daha erişilebilir ve daha geniş bir pratik uygulama yelpazesinde kullanılabilir hale getirir.

Resmi sonuçları sıfırdan yeniden üretme (Deneysel)#

Veri kümelerini hazırla#

• Eğitim verileri

• Doğrulama verileri

Eğitimi sıfırdan başlat#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Atıflar ve Teşekkürler#

YOLO-World ile gerçek zamanlı açık kelime dağarcıklı nesne algılama alanındaki öncü çalışmaları için Tencent AILab Computer Vision Center ekibine minnettarız:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Daha fazla bilgi için özgün YOLO-World makalesine arXiv üzerinden ulaşabilirsin. Projenin kaynak koduna ve ek kaynaklarına GitHub deposu üzerinden erişilebilir. Alanı ilerletmeye ve değerli içgörülerini toplulukla paylaşmaya olan bağlılıklarını takdir ediyoruz.

SSS#