YOLOE: Gerçek Zamanlı Açık Kelime Dağarcıklı Algılama ve Segmentasyon#

Ultralytics YOLOE (Gerçek Zamanlı Her Şeyi Görme), açık kelime dağarcıklı bir algılama ve örnek segmentasyonu modelidir: eğitim sırasında sabitlenen bir sınıf listesi yerine, çıkarım sırasında istediğin kategorileri metin istemi, görsel örnek veya yerleşik 4.585 adlık bir söz varlığı olarak modele verirsin. Ultralytics YOLO mimarileri — YOLOv8, YOLO11 ve YOLO26 — üzerine kurulan ve YOLO-World'den ilham alan YOLOE, kapalı küme YOLO hızına yakın bir hızda sıfır örnekli en gelişmiş doğruluğa ulaşır.

Hızlı Başlangıç#

İstediğin sınıfları belirt ve çalıştır. YOLOE-26, hiç eğitilmediği kategoriler için sınırlayıcı kutular ve örnek segmentasyonu maskeleri döndürür.

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")

# "double-decker bus" bir COCO sınıfı değildir; YOLOE bunu yalnızca sözcüklerden belirler
model.set_classes(["double-decker bus", "person"])

results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()

İlk set_classes() çağrısı bir metin kodlayıcı indirir; ağ erişimi olmayan bir makineye dağıtım yapmadan önce Kurulum ve Gereksinimler bölümüne bak.

İstem Modunu Seçme#

YOLOE üç istem modunu destekler; seçimin hangi kontrol noktasını yükleyeceğini ve sınıf etiketlerinin nasıl görüneceğini belirler. Çıkarım sırasında sağlayabileceklerine uyan satırı seç.

Kurulum ve Gereksinimler#

YOLOE, ana Ultralytics paketinde sunulur:

pip install -U ultralytics

Metinle istem vermek için buna ek olarak bir metin kodlayıcı gerekir; bu kodlayıcı kurulum sırasında değil, ilk kullanımda indirilir:

• İlk set_classes() çağrısı, pip ile (belirteçleyiciyi sağlar) GitHub'dan ultralytics/CLIP yükler ve bir TorchScript metin kodlayıcısını geçerli çalışma dizinine indirir. YOLOE-26, yaklaşık 254 MB olan mobileclip2_b.ts dosyasını; YOLOE-11 ve YOLOE-v8 ise mobileclip_blt.ts dosyasını indirir. İndirme işlemini çalıştıracağın dizinden bir kez yap veya dosyayı bu dizine kopyala; aksi takdirde dosya yeniden indirilir.
• Her iki adım da ağ erişimi gerektirir; bu nedenle çevrimdışı veya ağ bağlantısı kesilmiş bir makineye dağıtım yapmadan önce istemli bir tahmin çalıştır.
• Görsel istemler ve istemsiz kontrol noktaları hiç metin kodlayıcı gerektirmez.

YOLOE-26 kontrol noktaları için ultralytics 8.4.0 veya daha yeni bir sürüm gerekir; YOLOE-11 ve YOLOE-v8 aileleri daha eski sürümlerde kullanılabilir. Metin istemli tek bir tahmin tüm akışı — kontrol noktasının indirilmesi, CLIP kurulumu, metin kodlayıcı ve çıkarım — çalıştırır:

yolo predict model=yoloe-26s-seg.pt source="https://ultralytics.com/images/bus.jpg" classes="person"

Çıkarım sırasında metin kodlayıcıyı indirme adımını tamamen atlamak için istemleri bir kez ağırlıklara göm ve yeniden kullan — İstem gömmelerini yeniden kullanma bölümüne bak.

Mimariye Genel Bakış#

YOLOE, standart YOLO yapısını korur — özellik çıkarımı için evrişimli bir omurga, çok ölçekli birleştirme için bir boyun ve sınıfları ve kutuları tahmin eden çapasız, ayrık bir başlık — ve her istem modu için bir tane olmak üzere üç modül ekler:

• Yeniden Parametrelendirilebilir Bölge-Metin Hizalaması (RepRTA), CLIP'ten alınan metin gömmelerini küçük bir yardımcı ağ üzerinden iyileştirir. Bu ağ her set_classes() çağrısında bir kez çalışır ve dışa aktarma sırasında katlanarak kaldırılır; dolayısıyla kare başına maliyeti yoktur. Her ileri geçişte çalışan işlem, depolanan istem gömmelerini bölge özellikleriyle karşılaştırmaktır; geniş bir istem kümesinin maliyetini öğrenmek için Sınırlamalar bölümüne bak.
• Anlamsal Etkinleştirmeli Görsel İstem Kodlayıcı (SAVPE), örnek bir kutudan anlamsal ve etkinleştirme özellikleri kodlayarak modeli bu kutudakilere benzeyen neslelere göre koşullandırır. Logo veya belirli bir parça gibi adlandırılması zor hedefler için tek örnekli yol budur.
• Tembel Bölge-İstem Karşıtlığı (LRPC), bölge gömmelerini yerleşik 4.585 adlık söz varlığıyla eşleştirir; böylece istemsiz kontrol noktaları herhangi bir harici istem veya metin kodlayıcı olmadan nesneleri tanır.

Örnek segmentasyonu, YOLOv8-Seg'deki gibi algılama başlığındaki bir maske dalından gelir ve her tahmin results[0].masks üzerinde bir maske içerir. Model dışa aktarıldıktan sonra açık dünya modülleri standart bir YOLO başlığına yeniden parametrelendirilir; böylece dışa aktarılan dosya normal algılama/segmentasyon yolunu çalıştırır.

Kullanılabilir Modeller#

Aşağıdaki her kontrol noktası bir örnek segmentasyonu modelidir ve val, predict, export ve track işlemlerini destekler. Metin veya görsel istem kullanmak için *-seg.pt dosyasını, istemsiz çıkarım için *-seg-pf.pt dosyasını yükle; bunlar birbirinin yerine kullanılamaz. İstem Modunu Seçme bölümüne bak. Yalnızca *-seg.pt dosyaları train işlemini destekler; istemsiz bir kontrol noktası, metin istemli bir model eğitildikten sonra üretilir. Resmi Modelleri Sıfırdan Eğitme bölümüne bak.

YOLOE'nin LVIS üzerindeki performansı#

640 pikselde LVIS minival üzerindeki sıfır örnekli sonuçlar, Ultralytics YOLO26 makalesinden alınmıştır.

Metin ve görsel istemler#

Her doğruluk ve parametre hücresi metin istemi / görsel istem biçimindedir; FLOP değeri bir kez verilir. Parametre ve FLOP değerleri, makalenin değerlendirdiği algılama yapılandırmasına aittir. Doğruluk, karşılaştırmadaki her model için raporlanan tek protokol olan makalenin Non-E2E değeridir; YOLOE-26 uçtan uca başlığının doğruluğu, metin istemlerinde en fazla 1.1 AP, görsel istemlerde ise 2.6 AP daha düşüktür.

İstemsiz#

İstemsiz kontrol noktaları, herhangi bir istem sağlanmadan yerleşik söz varlıklarından yanıt verir. Her doğruluk hücresi uçtan uca / Non-E2E biçimindedir; makale YOLOE-26'yı bu iki protokole göre puanlar. YOLO26 sayfasında Non-E2E sütunu alıntılanır.

Metin ve görsel istemlerde YOLOE-26 modelleri, mAP_50-95 metriğinde eşleşen her ölçekte YOLOE-11 ve YOLOE-v8 karşılıklarından daha iyi sonuç verirken parametre ve FLOP sayıları v8 serisinin altında kalır. Makale aynı veri bölünmesinde YOLO-Worldv2 için S ölçeğinde 24.4, M ölçeğinde 32.4 ve L ölçeğinde 35.5; Transformer tabanlı algılayıcılar GLIP-T için 26.0, GDINO-T için 27.4 ve DetCLIP-T için 34.4 sonuçlarını bildiriyor; bu modellerin her biri 155 ila 232 M parametre içeriyor. Orijinal YOLOE makalesi, tanıttığı v8 ölçeğindeki modeller için iki sonuç daha sunuyor. LVIS'te YOLOE-v8s, YOLO-Worldv2-S'yi eğitim maliyetinin üçte biriyle ve 1.4× çıkarım hızıyla 3.5 AP farkla geçiyor. COCO'ya aktarıldığında YOLOE-v8l, kapalı küme YOLOv8-L modeline kıyasla 0.6 box AP ve 0.4 mask AP artışı sağlıyor ve eğitim süresi neredeyse 4× daha kısa oluyor.

Kullanım Örnekleri#

Aşağıdaki her YOLOE örneği Python API üzerinden çalışır. Metin istemiyle tahmin, doğrulama, dışa aktarma, izleme ve standart eğitim CLI üzerinden de çalışır; ince ayar tarifleri ve görsel istemleme, argüman olarak bir eğitici veya tahminci sınıfı geçirir ve bunu yalnızca Python API kabul eder.

Eğitim Kullanımı#

Yayımlanan herhangi bir *-seg.pt kontrol noktasını kendi YOLO veri kümenle ince ayar yap. Bu işlem çoğunlukla standart YOLO eğitim prosedürünü izler; fark, hangi eğiticiyi ilettiğindir. YOLOEPESegTrainer sınıf adlarını kafaya birleştirir ve buradan ince ayar yapar; kendi etiketlerinle çalışırken istediğin yöntem budur. Varsayılan eğitici, senin sınıf adlarınla eğitim yapmaz.

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPESegTrainer

model = YOLOE("yoloe-26s-seg.pt")

results = model.train(
    data="coco128-seg.yaml",
    epochs=80,
    patience=10,
    trainer=YOLOEPESegTrainer,  # <- Önemli: varsayılan eğitici değil, ince ayar eğiticisi
)

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPETrainer

model = YOLOE("yoloe-26s.yaml").load("yoloe-26s-seg.pt")

results = model.train(data="coco128.yaml", epochs=80, patience=10, trainer=YOLOEPETrainer)

Tahmin Kullanımı#

Metin istemi çağrısı, Hızlı Başlangıç bölümünde gösterilendir. Diğer iki modun her biri ek bir argüman gerektirir:

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

# Her hedef için bir örnek kutu; her kutunun kendi sınıf kimliği var
visual_prompts = {
    "bboxes": np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # kişi, gözlük
    "cls": np.array([0, 1]),
}

results = model.predict(
    "ultralytics/assets/bus.jpg",
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {"bboxes": np.array([[221.52, 405.8, 344.98, 857.54]]), "cls": np.array([0])}  # person

results = model.predict(
    "ultralytics/assets/zidane.jpg",  # Hedef görüntü
    refer_image="ultralytics/assets/bus.jpg",  # Örnek kutuların bulunduğu yer
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

# refer_image sınıfları kalıcı olarak da ayarlar; böylece sonraki çağrılarda hiç istem gerekmez
results = model("ultralytics/assets/bus.jpg")
model.export(format="onnx")  # Dışa aktarma da sınıfları korur

import numpy as np
import torch

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-11l-seg.pt")

img_tensor = torch.rand(1, 3, 480, 480)  # (1, 3, H, W) [0, 1] aralığında float tensörü
visual_prompts = {"bboxes": np.array([[10, 10, 50, 50]]), "cls": np.array([0])}

results = model.predict(
    img_tensor,
    refer_image=img_tensor,
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
    imgsz=640,
)

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {
    "bboxes": [
        np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # bus.jpg: kişi, gözlük
        np.array([[150, 200, 1150, 700]]),  # zidane.jpg: kişi
    ],
    "cls": [np.array([0, 1]), np.array([0])],
}

results = model.predict(
    ["ultralytics/assets/bus.jpg", "ultralytics/assets/zidane.jpg"],
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

Doğrulama Kullanımı#

Doğrulama, segmentasyon veri kümesindeki diğer modellerde olduğu gibi çalışır:

from ultralytics import YOLOE

model = YOLOE("yoloe-26l-seg.pt")  # veya diğer boyutlar için yoloe-26s/m-seg.pt

metrics = model.val(data="coco128-seg.yaml")

Aynı çağrının iki çeşidi diğer istemleme modlarını kapsar:

• Görsel istemler — model.val(data="coco128-seg.yaml", load_vp=True), veri kümesinin kendisinden her kategori için bir görsel gömme çıkarır. Gömme vektörlerini, tam olarak aynı kategorileri içermesi gereken farklı bir veri kümesinden almak için refer_data="coco.yaml" ekle.
• İstemsiz — bir *-seg-pf.pt kontrol noktası yükle ve single_cls=True değerini ilet.

Dışa Aktarma Kullanımı#

İstem gömmeleri bir kez kaydedilip ONNX, OpenVINO, TensorRT, CoreML, LiteRT ve RKNN gibi statik dışa aktarımlar oluşturulurken yeniden kullanılabilir. NPZ profili, dışa aktarmadan önce özgün PyTorch modeli tarafından yüklenir; ek bir çalışma zamanı girdisi değildir ve dışa aktarılan model NPZ dosyasını gerektirmez.

from ultralytics import YOLOE

model = YOLOE("yoloe-26n-seg.pt")
model.set_classes(["person", "bus"])
model.save_prompt_embeddings("person-bus.npz")

# Profil kaynak kontrol noktasına bağlıdır ve sonraki dışa aktarımlarda yeniden kullanılabilir.
model = YOLOE("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="onnx")

Aynı istem profili, eşleşen YOLOE mimarisinden oluşturulmuş yalnızca algılama yapan bir modeli de yapılandırabilir. Böylece istem verilen sınıflar korunurken maske dalı kaldırılır:

from ultralytics import YOLOE

model = YOLOE("yoloe-26n.yaml").load("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="rknn", name="rk3588", quantize=16)

Takip Kullanımı#

İstem verilen sınıflar doğrudan izlemeye aktarılır; böylece izleyicinin eğitim sırasında hiç görmediği nesneleri takip edebilirsin:

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")
model.set_classes(["forklift", "pallet"])

# persist=True kareler arasında izleme kimliklerini sabit tutar
for result in model.track("path/to/video.mp4", stream=True, persist=True):
    print(result.boxes.id)

YOLOE Karşılaştırması#

YOLOE, kapalı küme bir algılayıcıyla ağır, açık sözcük dağarcıklı bir model arasında yer alır. Senin için doğru seçim olup olmadığına üç karşılaştırma karar verir:

• Kapalı küme bir YOLO'ya kıyasla. İstemler ayarlandıktan sonra YOLOE, sıradan algılama/segmentasyon yolundan tahmin yapar ve diğer modeller gibi dışa aktarılır. Eklediği özellik, yeniden eğitim yerine çıkarım sırasında sınıf listesini değiştirebilmendir; bunun bedeli ise kendi sınıfların üzerinde eğitilmiş bir modelden çok daha düşük sıfır örnekli doğruluktur.
• Önceki YOLOE ailelerine kıyasla. YOLOE-26, YOLO26 modelinin NMS içermeyen uçtan uca başlığını devralır ve önceki üç ölçeğe (s/m/l) karşılık beş ölçeği (n/s/m/l/x) kapsar; ayrıca Performans bölümünde eşleşen her ölçekte daha iyi sonuç verir.
• Transformer tabanlı açık sözcük dağarcıklı algılayıcılara kıyasla. GLIP ve OWL-ViT çıkarım sırasında görsel-dil Transformer'ı çalıştırır. YOLOE ise istemleri bir kez kodlar ve ardından evrişimli bir başlığın içindeki bölge özellikleriyle karşılaştırır.

En yakın alternatiflerin tümü metin istemi alır; ancak maske döndürenler yalnızca YOLOE ve SAM 3'tür ve bu üç model farklı soruları yanıtlar:

YOLO-World'den mi geçiyorsun? API'nin yapısı aynı: YOLOWorld yerine YOLOE kullan, bir *-seg.pt kontrol noktası yükle ve set_classes() çağrını değiştirme. Maske ve görsel istemler kazanırsın; sabitlenmiş sınıflarla ilgili dışa aktarma notu her ikisi için de geçerlidir.

Kullanım Alanları ve Uygulamalar#

Açık sözcük dağarcıklı algılama, her sınıf için yeniden eğitim adımını ortadan kaldırır; bu, özellikle hedef listesinin önceden bilinmediği durumlarda önemlidir:

• Açık dünya algılama — eğitim sırasında kimsenin listelemediği nesnelerle karşılaşan robotik ve güvenlik sistemleri.
• Örnekten tek atışlı algılama — görsel istemler, tek bir referans kutusundan belirli bir parçayı, logoyu veya kusuru bulur; bu özellik endüstriyel denetimde kullanışlıdır.
• Uzun kuyruklu kataloglama — yerleşik 4.585 adlı sözcük dağarcığı, biyoçeşitlilik izleme veya perakende envanter taramaları için yeterince kapsamlıdır.
• Veri kümesini başlatma — görüntüleri insan incelemesinden önce kutular ve maskelerle önceden etiketle, ardından sonuç üzerinde hızlı bir kapalı küme modeli eğit.
• İstenen herhangi bir hedefi segmentasyon — yayımlanan *-seg.pt kontrol noktaları her tahminle birlikte maske döndürür; böylece tıbbi görüntüleme ve uydu analizi, ikinci bir modele gerek kalmadan piksel hassasiyetinde çıktı alır.

Yaygın bir yöntem iki modu birleştirir: önce mevcut olanları keşfetmek için bir kez istemsiz modu çalıştır, ardından önemli kategoriler için metin istemlerine geç.

Sınırlamalar#

YOLOE, çıkarım sırasında sınıfları değiştirebilme karşılığında doğruluktan ödün verir. Karar vermeden önce bilmen gereken sonuçlar şunlardır:

• Sıfır örnekli doğruluk, kendi sınıfların üzerinde eğitilmiş bir modelden çok daha düşüktür. İstem verilen kontrol noktaları LVIS minival'de yaklaşık 22-40 mAP aralığında sonuç verir; kendi verilerinde eğitilmiş kapalı küme bir YOLO bu sınıflarda daha iyi sonuç alır. Eğitemediğin sınıfları kapsamak için YOLOE'yi kullan, eğitimin yerine değil.
• Nadir kategoriler zayıf noktadır. Performans bölümündeki mAP_r sütunu, özellikle LVIS'in nadir sınıflarındaki doğruluğu bildirir; metin istemlerinde her satırda yaygın ve sık görülen sınıflara ait sütunların altında kalır. Hedeflerin alışılmadıksa, manşet mAP yerine bu değeri kontrol et.
• İstem, ilişkileri değil görünüşü tarif eder. Algılama, bölge özelliklerinin istem gömmesiyle karşılaştırılmasıyla çalışır; bu nedenle duruma, bağlama veya kıyaslamaya bağlı olan “hasarlı”, “en soldaki” ya da “taşınan nesne” gibi istemlerin eşleştirilecek güvenilir bir dayanağı yoktur. Günlük kategori adlarına yakın ifadeleri tercih et.
• Büyük istem kümeleri gecikmeyi artırır. İstem gömmeleri bir kez hesaplanır, ancak her ileri geçişte bölge özellikleriyle karşılaştırılır. CPU üzerinde yoloe-26s-seg.pt ile ölçüldüğünde, 80 sınıftan 1,203 sınıfa geçişte ileri geçiş süresi yaklaşık %19, 4,585 adlı tam sözcük dağarcığında ise yaklaşık %89 artar. Bölge-metin benzerliği hesaba katılmadığı için bildirilen FLOP değeri hiç değişmez; bu nedenle profil bu konuda seni uyarmaz.
• İstem verene kadar sınıf adları yer tutucudur. Yeni yüklenmiş bir *-seg.pt kontrol noktası, sayısal adlara sahip nc=80 değerini ("0", "1", …) bildirir; bu yüzden etiketleri okumadan önce set_classes() çağrısını yap. İstemsiz kontrol noktalarında sözcük dağarcığının tamamı önceden doldurulmuştur.

Dağıtım Notları#

• Donanım. Çıkarım için 4-8 GB VRAM'e sahip bir NVIDIA GPU gerekir; n ve s ölçekleri Jetson gibi uç GPU'larda veya daha düşük çözünürlükte CPU üzerinde çalışır. İnce ayar için tek bir GPU gerekir.
• NMS varsayılan olarak sınıftan bağımsızdır. YOLOE, agnostic_nms=True ile tahmin yapar. Varsayılan olarak bu yöntem, yalnızca aynı sınıftaki kutuları değil, farklı sınıflar arasında üst üste binen düşük puanlı kutuları da bastırır; böylece bir nesne birkaç kategoriyle eşleştiğinde yinelenen sonuçlar önlenir. nms=False ile YOLOE-26 IoU bastırması uygulamaz; sınıftan bağımsız mod, tek bir bağlantının birden fazla sınıf etiketi üretmesine izin vermek yerine her bağlantı için yalnızca en iyi sınıfı tutar. Bu davranışı geçersiz kılmak için agnostic_nms=False değerini ilet.
• Toplu işleme. Toplu çıkarım doğrudan çalışır ve aynı çağrıda her görüntü için farklı görsel istemler kullanabilirsin.

Resmî Modelleri Sıfırdan Eğitme#

Okuyucuların çoğunun buna ihtiyacı olmaz. Bu işlem, Objects365, GQA ve Flickr30k veri kümelerindeki yayımlanmış açık sözcük dağarcıklı kontrol noktalarını yeniden üretir — 8× RTX 4090 üzerinde yaklaşık 1.4 M eğitim örneği — ve yukarıdaki Eğitim Kullanımı bölümünde ele alınan kendi verilerinle ince ayar yapmayla ilgili değildir.

Eğitim için segment açıklamaları gerekir. Aşağıdaki işlenmiş dosyaları indirebilir veya resmî ekibin sağladığı betiği kullanarak kendi açıklamalarını oluşturabilirsin; bu betik SAM 2.1 kullanır. Doğrulamada LVIS minival kullanılır.

Önce metin istemli model eğitilir; diğer iki istemleme modu bu modelin iyileştirilmiş sürümleridir:

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOESegTrainerFromScratch

data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr/full_images/",
                "json_file": "flickr/annotations/final_flickr_separateGT_train_segm.json",
            },
            {
                "img_path": "mixed_grounding/gqa/images",
                "json_file": "mixed_grounding/annotations/final_mixed_train_no_coco_segm.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

model = YOLOE("yoloe-26l-seg.yaml")
model.train(
    data=data,  # veya aynı yapıyı içeren bir YAML dosyasının yolu
    batch=128,
    epochs=30,
    close_mosaic=2,
    optimizer="AdamW",
    lr0=2e-3,
    warmup_bias_lr=0.0,
    weight_decay=0.025,
    momentum=0.9,
    workers=4,
    trainer=YOLOESegTrainerFromScratch,
    device="0,1,2,3,4,5,6,7",
)

Görsel istemli ve istemsiz kontrol noktaları, eğitilmiş metin istemli modelden başlar ve her biri bir modülü günceller. YOLOESegVPTrainer, görsel istem tarifidir; YOLOEPEFreeTrainer ise istemsiz tarifidir, ancak bu sınıflardan hiçbiri tek başına herhangi bir şeyi dondurmaz: seçici eğitim, yanında ilettiğin ve savpe dışındaki her başlık alt modülünü (sırasıyla her sınıflandırma kulesini) belirten freeze listesinden gelir; istemsiz çalıştırma ayrıca single_cls=True gerektirir. YOLOE'nin üst kaynak deposu, v8 ölçeğindeki modeller için tariflerin tamamını içerir.

Tamamlanmış istemsiz çalıştırma, çıkarım sırasında adlarını istem olmadan bildiren bir kontrol noktasına yeniden parametrelendirilir; bunun için get_vocab ve set_vocab kullanılır:

from ultralytics import YOLOE

# İstemsiz çalıştırmanın ve onun başlangıç noktası olan metin istemli çalıştırmanın yazdığı ağırlıklar. Her
# yeniden çalıştırma yeni bir dizin oluşturur (train-2, train-3, ...); bu nedenle çalıştırmaların yazdırdığı yolları kullan.
model = YOLOE("runs/segment/train-2/weights/best.pt")  # istemsiz çalıştırma; başlığı zaten birleştirilmiş durumda
text_model = YOLOE("runs/segment/train/weights/best.pt")  # metin istemli çalıştırma; başlığı henüz birleştirilmemiş durumda

names = list(YOLOE("yoloe-26l-seg-pf.pt").model.names.values())  # 4.585 adlık söz varlığı veya kendi listen
vocab = text_model.get_vocab(names)

model.set_vocab(vocab, names)
model.save("yoloe-26l-seg-pf-custom.pt")  # yayımlanan kontrol noktasının üzerine asla yazma

get_vocab, modelin end2end bayrağının seçtiği dalı döndürür; set_vocab ise bu dalı yeniden parametrelendirir. Yayımlanan YOLOE-26 dosyalarında bunun yerine her dal için ayrı bir söz varlığı bulunur; böylece nms bu dallar arasında seçim yapabilir. Bunu yeniden üretmek için metin istemli modelin başka bir kopyasından ikinci söz varlığını al. YOLOE-11 ve YOLOE-v8 tek bir dala sahip olduğundan yukarıdaki çağrıyı değiştirmeden kullanırlar.

one2one_model = YOLOE("runs/segment/train/weights/best.pt")  # get_vocab okuduğu başlığı birleştirir; bu nedenle ikinci bir kopya yükle
one2one_model.model.end2end = True  # NMS içermeyen dalı oku

model.set_vocab(vocab, names, one2one_vocab=one2one_model.get_vocab(names))

Atıflar ve Teşekkürler#

YOLOE araştırmana veya projenize katkıda bulunduysa lütfen Tsinghua Üniversitesi'nden Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han ve Guiguang Ding'in özgün makalesine atıfta bulun:

@misc{wang2025yoloerealtimeseeing,
      title={YOLOE: Real-Time Seeing Anything},
      author={Ao Wang and Lihao Liu and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
      year={2025},
      eprint={2503.07465},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.07465},
}

Daha fazla bilgi için özgün YOLOE makalesine arXiv üzerinden ulaşabilirsin. Projenin kaynak koduna ve ek kaynaklara GitHub deposundan erişebilirsin.

Sık Sorulan Sorular#