YOLOE: Gerçek Zamanlı Açık Sözlük Tabanlı Tespit ve Bölütleme#

Ultralytics YOLOE (Real-Time Seeing Anything), açık sözlük tabanlı (open-vocabulary) bir tespit ve örnek bölütleme modelidir: eğitim aşamasında sabitlenen bir sınıf listesi kullanmak yerine, çıkarım aşamasında istediğin kategorileri bir metin istemi, görsel bir örnek veya yerleşik 4.585 isimli bir sözlük aracılığıyla alır. Ultralytics YOLO mimarileri — YOLOv8, YOLO11 ve YOLO26 — üzerine kurulan ve YOLO-World modelinden ilham alan YOLOE, kapalı küme YOLO hızına yakın bir seviyede son teknoloji sıfır atış (zero-shot) doğruluğuna ulaşır.

Hızlı Başlangıç#

İstediğin sınıfları adlandır ve çalıştır. YOLOE-26, daha önce hiç eğitilmediği kategoriler için kutular ve örnek bölütleme maskeleri döndürür.

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")

# "double-decker bus" is not a COCO class; YOLOE resolves it from the words alone
model.set_classes(["double-decker bus", "person"])

results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()

İlk set_classes() çağrısı bir metin kodlayıcı indirir; ağ erişimi olmayan bir makineye dağıtım yapmadan önce Kurulum ve Gereksinimler bölümüne göz at.

İstem Modu Seçimi#

YOLOE üç istem modunu destekler ve yapacağın seçim, hangi kontrol noktasını (checkpoint) yükleyeceğini ve sınıf etiketlerinin nasıl görüneceğini belirler. Çıkarım aşamasında sağlayabileceğin girdiye uyan satırı seç.

Kurulum ve Gereksinimler#

YOLOE, ana Ultralytics paketinin içinde gelir:

pip install -U ultralytics

Metin tabanlı istem oluşturma işlemi, bunun üzerinde bir metin kodlayıcı gerektirir ve bu kodlayıcı kurulum zamanında değil, ilk kullanımda getirilir:

• İlk set_classes() çağrısı, pip ile birlikte GitHub üzerinden ultralytics/CLIP paketini kurar (bu paket belirteçleyiciyi [tokenizer] sağlar) ve çalışma dizinine bir TorchScript metin kodlayıcı indirir. YOLOE-26 yaklaşık 254 MB boyatındaki mobileclip2_b.ts dosyasını çeker; YOLOE-11 ve YOLOE-v8 ise mobileclip_blt.ts dosyasını çeker. İndirme işlemini komutları çalıştıracağın dizinden bir kez çalıştır veya dosyayı oraya kopyala, aksi takdirde dosya yeniden indirilir.
• Her iki adım da ağ erişimi gerektirir; bu nedenle çevrimdışı veya dış ağdan yalıtılmış (air-gapped) bir makineye dağıtım yapmadan önce istemli bir tahmini bir kez çalıştır.
• Görsel istemler ve istem gerektirmeyen kontrol noktaları hiçbir metin kodlayıcıya ihtiyaç duymaz.

YOLOE-26 kontrol noktaları ultralytics 8.4.0 veya daha yeni bir sürümünü gerektirir; YOLOE-11 ve YOLOE-v8 aileleri önceki sürümlerde mevcuttur. Metin istemli tek bir tahmin, tüm süreci test eder — kontrol noktası indirme, CLIP kurulumu, metin kodlayıcı, çıkarım:

yolo predict model=yoloe-26s-seg.pt source="https://ultralytics.com/images/bus.jpg" classes="person"

Çıkarım aşamasında metin kodlayıcı indirme adımını tamamen atlamak için, istemleri ağırlıkların içine bir kez göm ve yeniden kullan — İstem gömmelerini yeniden kullanma bölümüne bakın.

Mimariye Genel Bakış#

YOLOE, standart YOLO yapısını — özellik çıkarımı için evrişimli (convolutional) bir arka kemik (backbone), çok ölçekli birleştirme için bir boyun (neck) ve sınıflarla kutuları tahmin eden çapası olmayan, ayrıştırılmış bir başlık (anchor-free, decoupled head) — korur ve her istem modu için birer tane olmak üzere üç modül ekler:

• Yeniden Parametrelendirilebilir Bölge-Metin Hizalama (RepRTA), CLIP'ten gelen metin gömmelerini küçük bir yardımcı ağ aracılığıyla iyileştirir. Bu ağ, her set_classes() çağrısı için bir kez çalışır ve dışa aktarım sırasında ortadan kaldırılır, bu nedenle kare başına hiçbir maliyeti yoktur. Her ileri geçişte (forward pass) çalışan şey, depolanan istem gömmelerinin bölge özellikleriyle karşılaştırılmasıdır; büyük bir istem kümesiyle bunun maliyetinin ne olduğu hakkında bilgi için Sınırlamalar bölümüne bak.
• Anlamsal Etkinleştirmeli Görsel İstem Kodlayıcı (SAVPE), örnek bir kutudan anlamsal ve etkinleştirme özelliklerini kodlayarak modeli kendisine benzeyen nesnelere göre koşullandırır. Bu, logo veya belirli bir parça gibi adlandırılması zor olan hedefler için tek atışlık (one-shot) yoldur.
• Tembel Bölge-İstem Karşıtlığı (LRPC), bölge gömmelerini yerleşik 4.585 isimli bir sözlükle eşleştirir, böylece istem gerektirmeyen kontrol noktaları harici bir istem ve metin kodlayıcı olmaksızın nesneleri tanır.

Örnek bölütleme, YOLOv8-Seg'de olduğu gibi tespit başlığındaki bir maske dalından gelir ve her tahmin results[0].masks üzerinde bir maske taşır. Model dışa aktarıldıktan sonra, açık dünya modülleri standart bir YOLO başlığına yeniden parametrelendirilir, böylece dışa aktarılan dosya olağan tespit/bölütleme yolunu çalıştırır.

Mevcut Modeller#

Aşağıdaki her kontrol noktası bir örnek bölütleme modelidir ve val, predict, export ile track işlemlerini destekler. Metin veya görsel istemler için bir *-seg.pt dosyası, istem gerektirmeyen çıkarım için ise bir *-seg-pf.pt dosyası yükle; bunlar birbirinin yerine kullanılamaz, İstem Modu Seçimi bölümüne bakın. Yalnızca *-seg.pt dosyaları train işlemini destekler; istem gerektirmeyen bir kontrol noktası, eğitilmiş bir metin istemi modelinden üretilir, Resmi Modelleri Sıfırdan Eğitme bölümüne bakın.

LVIS Üzerinde YOLOE Performansı#

Ultralytics YOLO26 makalesinden alınan 640 piksel çözünürlükteki LVIS minival sıfır atış sonuçları.

Metin ve görsel istemler#

Her doğrulık ve parametre hücresi metin istemi / görsel istem olarak okunur; FLOP değerleri bir kez verilmiştir. Parametreler ve FLOP değerleri, makalenin değerlendirdiği tespit yapılandırması içindir. Doğruluk, makalenin karşılaştırmadaki her model için rapor ettiği tek protokol olan Non-E2E (uçtan uca olmayan) figürüdür; YOLOE-26 uçtan uca başlığı, metin istemleri altında en fazla 1.1 AP ve görsel istemler altında 2.6 AP gerisinde kalır.

İstem gerektirmeyen#

İstem gerektirmeyen kontrol noktaları, hiçbir istem sağlanmadan yerleşik sözlüklerinden yanıt verir. Her doğruluk hücresi, makalenin YOLOE-26'yı puanladığı iki protokol olan uçtan uca / Non-E2E şeklinde okunur; YOLO26 sayfası Non-E2E sütununu alıntılar.

Metin ve görsel istemler altında YOLOE-26 modelleri, mAP_50-95 üzerinde eşleşen her ölçekte YOLOE-11 ve YOLOE-v8 benzerlerini geride bırakırken, parametreler ve FLOP'lar açısından v8 çizgisinin altında kalır. Makale aynı veri kümesi bölümünde YOLO-Worldv2'yi 24.4 (S), 32.4 (M) ve 35.5 (L) olarak; transformatör tabanlı dedektörlerden GLIP-T'yi 26.0, GDINO-T'yi 27.4 ve DetCLIP-T'yi 34.4 olarak rapor eder; bunların her biri 155 ila 232 M parametre taşır. Orijinal YOLOE makalesi, tanıttığı v8 ölçekli modeller için iki sonuç daha ekler. LVIS üzerinde YOLOE-v8s, eğitim maliyetinin üçte biri ve 1.4 katı çıkarım hızıyla YOLO-Worldv2-S modelini 3.5 AP farkla geçer. COCO'ya aktarıldığında YOLOE-v8l, neredeyse 4 kat daha az eğitim süresiyle kapalı küme YOLOv8-L'ye kıyasla 0.6 kutu AP ve 0.4 maske AP kazanımı sağlar.

Kullanım Örnekleri#

Aşağıdaki her YOLOE örneği Python API üzerinden çalışır. Metin istemli tahmin, doğrulama, dışa aktarma, takip ve düz eğitim CLI üzerinden de çalışır; ince ayar tarifleri ve görsel istemler, yalnızca Python API'nin kabul ettiği bir argüman olarak bir eğitici veya tahminci sınıfı iletir.

Eğitim Kullanımı#

Yayınlanan herhangi bir *-seg.pt kontrol noktasına kendi YOLO veri kümen üzerinde ince ayar (fine-tune) yap. Bu işlem büyük ölçüde standart YOLO eğitim prosedürünü takip eder; aradaki fark hangi eğiticiyi ilettiğindir. YOLOEPESegTrainer, sınıf adlarını başlığın içine kaynaştırır ve oradan itibaren ince ayar yapar; kendi etiketlerinle kullanmak istediğin yöntem budur; varsayılan eğitici senin sınıf adlarına göre eğitim yapmaz.

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPESegTrainer

model = YOLOE("yoloe-26s-seg.pt")

results = model.train(
    data="coco128-seg.yaml",
    epochs=80,
    patience=10,
    trainer=YOLOEPESegTrainer,  # <- Important: the fine-tuning trainer, not the default
)

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPETrainer

model = YOLOE("yoloe-26s.yaml").load("yoloe-26s-seg.pt")

results = model.train(data="coco128.yaml", epochs=80, patience=10, trainer=YOLOEPETrainer)

Tahmin Kullanımı#

Metin istemli çağrı, Hızlı Başlangıç bölümünde gösterilendir. Kalan diğer iki modülün her biri fazladan bir argümana ihtiyaç duyar:

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

# One example box per target, each with its own class ID
visual_prompts = {
    "bboxes": np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # person, glasses
    "cls": np.array([0, 1]),
}

results = model.predict(
    "ultralytics/assets/bus.jpg",
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {"bboxes": np.array([[221.52, 405.8, 344.98, 857.54]]), "cls": np.array([0])}  # person

results = model.predict(
    "ultralytics/assets/zidane.jpg",  # Target image
    refer_image="ultralytics/assets/bus.jpg",  # Where the example boxes live
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

# refer_image also sets the classes permanently, so later calls need no prompts at all
results = model("ultralytics/assets/bus.jpg")
model.export(format="onnx")  # And the export keeps them

import numpy as np
import torch

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-11l-seg.pt")

img_tensor = torch.rand(1, 3, 480, 480)  # (1, 3, H, W) float tensor in [0, 1]
visual_prompts = {"bboxes": np.array([[10, 10, 50, 50]]), "cls": np.array([0])}

results = model.predict(
    img_tensor,
    refer_image=img_tensor,
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
    imgsz=640,
)

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {
    "bboxes": [
        np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # bus.jpg: person, glasses
        np.array([[150, 200, 1150, 700]]),  # zidane.jpg: person
    ],
    "cls": [np.array([0, 1]), np.array([0])],
}

results = model.predict(
    ["ultralytics/assets/bus.jpg", "ultralytics/assets/zidane.jpg"],
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

Doğrulama Kullanımı#

Doğrulama (validation) bir bölütleme veri kümesi üzerinde diğer herhangi bir model gibi çalışır:

from ultralytics import YOLOE

model = YOLOE("yoloe-26l-seg.pt")  # or yoloe-26s/m-seg.pt for other sizes

metrics = model.val(data="coco128-seg.yaml")

Aynı çağrının iki varyantı diğer istem modlarını kapsar:

• Görsel istemler — model.val(data="coco128-seg.yaml", load_vp=True), veri kümesinin kendisinden kategori başına görsel bir gömme çıkarır. Gömmeleri tam olarak aynı kategorileri içermesi gereken farklı bir veri kümesinden almak için refer_data="coco.yaml" ekle.
• İstem gerektirmeyen — bir *-seg-pf.pt kontrol noktası yükle ve single_cls=True ilet.

Dışa Aktarma Kullanımı#

İstem gömmeleri (prompt embeddings) bir kez kaydedilebilir ve ONNX, OpenVINO, TensorRT, CoreML, LiteRT ve RKNN gibi statik dışa aktarımlar üretilirken yeniden kullanılabilir. NPZ profili, dışa aktarımdan önce orijinal PyTorch modeli tarafından yüklenir; bu ek bir çalışma zamanı girdisi değildir ve dışa aktarılan model NPZ dosyasına ihtiyaç duymaz.

from ultralytics import YOLOE

model = YOLOE("yoloe-26n-seg.pt")
model.set_classes(["person", "bus"])
model.save_prompt_embeddings("person-bus.npz")

# The profile is bound to the source checkpoint and can be reused for later exports.
model = YOLOE("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="onnx")

Aynı istem profili, eşleşen YOLOE mimarisinden oluşturulmuş yalnızca tespit yapabilen bir modeli de yapılandırabilir. Bu, maske dalını kaldırırken istem verilen sınıfları korur:

from ultralytics import YOLOE

model = YOLOE("yoloe-26n.yaml").load("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="rknn", name="rk3588", quantize=16)

Takip Kullanımı#

İstem verilen sınıflar doğrudan takip işlemine aktarılır, böylece izleyicinin (tracker) daha önce hiç eğitilmediği nesneleri takip edebilirsin:

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")
model.set_classes(["forklift", "pallet"])

# persist=True keeps track IDs stable across frames
for result in model.track("path/to/video.mp4", stream=True, persist=True):
    print(result.boxes.id)

YOLOE Nasıl Karşılaştırılır#

YOLOE, kapalı küme bir dedektör ile ağır siklet açık sözlük tabanlı bir model arasında yer alır. Doğru seçim olup olmadığını üç karşılaştırma belirler:

• Kapalı küme YOLO'ya karşı. İstemler ayarlandıktan sonra YOLOE, olağan tespit/bölütleme yolu üzerinden tahmin yapar ve diğer herhangi bir model gibi dışa aktarılır. Eklediği şey, yeniden eğitmek zorunda kalmadan çıkarım zamanında sınıf listesini değiştirme yeteneğidir; maliyeti ise kendi sınıfların üzerinde eğitilmiş bir modelin çok gerisinde kalan sıfır atış doğruluyudur.
• Önceki YOLOE ailelerine karşı. YOLOE-26, YOLO26 modelinin NMS gerektirmeyen uçtan uca başlığını devralır ve önceki üç ölçeğe (s/m/l) kıyasla beş ölçeği (n/s/m/l/x) kapsar, ayrıca Performans bölümünde eşleşen her ölçekte önde yer alır.
• Transformatör tabanlı açık sözlük tespitçilerine karşı. GLIP ve OWL-ViT çıkarım sırasında bir görme-dil transformatörü çalıştırır. YOLOE ise istemleri bir kez kodlar ve ardından bunları evrişimli bir başlığın içindeki bölge özellikleri ile karşılaştırır.

En yakın alternatiflerin tümü bir metin istemi alır, ancak yalnızca YOLOE ve SAM 3 maske döndürür ve bu üçü farklı soruları yanıtlar:

YOLO-World'den mi geliyorsun? API aynı yapıda: YOLOWorld yerine YOLOE kullan, bir *-seg.pt kontrol noktası yükle ve set_classes() çağrını olduğu gibi bırak. Maskeler ve görsel ipuçları kazanırsın; dondurulmuş sınıflarla ilgili dışa aktarma notu her ikisi için de geçerlidir.

Kullanım Durumları ve Uygulamalar#

Açık kelime dağarcıklı algılama, sınıf başına yeniden eğitme adımını ortadan kaldırır; bu, özellikle hedef listenin önceden bilinmediği durumlarda önemlidir:

• Açık dünya algılaması — eğitim sırasında kimsenin numaralandırmadığı nesnelerle karşılaşan robotik ve güvenlik sistemleri.
• Bir örnekten tek atışta algılama — görsel ipuçları, tek bir referans kutusundan belirli bir parçayı, logoyu veya kusuru yakalar; endüstriyel denetimde yararlıdır.
• Uzun kuyruklu kataloglama — yerleşik 4.585 isimli kelime dağarcığı, biyolojik çeşitlilik izleme veya perakende envanter taramaları için yeterince geniştir.
• Veri seti önyüklemesi — insan incelemesinden önce görselleri kutular ve maskelerle önceden etiketle, ardından sonuç üzerinde hızlı bir kapalı küme modeli eğit.
• İsteğe bağlı hedeflerin segmentasyonu — yayınlanan *-seg.pt kontrol noktaları her tahminle birlikte bir maske döndürür, böylece tıbbi görüntüleme ve uydu analizi ikinci bir modele gerek kalmadan piksel hassasiyetinde çıktı elde eder.

Yaygın bir örüntü iki modu birleştirir: neyin mevcut olduğunu keşfetmek için bir kez ipucu gerektirmeyen modu çalıştır, ardından önemli olan kategoriler için metin ipuçlarına geç.

Sınırlamalar#

YOLOE, çıkarım zamanında sınıfları değiştirme yeteneği karşılığında doğruluğu feda eder. Taahhütte bulunmadan önce bilmeye değer sonuçlar şunlardır:

• Sıfır atışlı doğruluk, sınıflarınız üzerinde eğitilmiş bir modelin oldukça altındadır. İpucu verilen kontrol noktaları LVIS minival üzerinde kabaca 22-40 mAP bandına denk gelir; kendi verileriniz üzerinde eğitilmiş kapalı küme bir YOLO, bu sınıflarda bunu geçecektir. Eğitimin yerini almak için değil, eğitemediğiniz sınıfları kapsamak için YOLOE'ye başvurun.
• Nadir kategoriler zayıf noktadır. Performans tablosundaki mAP_r sütunu, özellikle LVIS'in nadir kategorilerindeki doğruluğu rapor eder ve metin ipucu verildiğinde her satırda yaygın ve sık sütunlarının altında yer alır. Hedefleriniz alışılmadık olduğunda ana mAP yerine bunu kontrol edin.
• Bir ipucu ilişkileri değil, görünümü tanımlar. Algılama, bölge özelliklerini ipucu gömüştürmesiyle karşılaştırarak çalışır; bu nedenle duruma, bağlama veya karşılaştırmaya bağlı olan ipuçları ("hasarlı", "en soldaki", "taşınmakta olan") eşleşecek güvenilir bir tutamağa sahip değildir. Günlük kategori adlarına yakın ifadeleri tercih edin.
• Büyük ipucu setleri gecikmeye mal olur. İpucu gömüştürmeleri bir kez hesaplanır, ancak her ileri geçişte bölge özellikleri ile karşılaştırılırlar. yoloe-26s-seg.pt ile CPU üzerinde ölçüldüğünde, ileri geçiş 80'den 1.203 sınıfa çıkarken yaklaşık %19, tam 4.585 isimli kelime dağarcığında ise yaklaşık %89 oranında büyür. Bildirilen FLOP'lar hiç hareket etmez, çünkü bölge-metin benzerliği sayılmaz, bu nedenle profil sizi uyarmaz.
• Sınıf adları, siz ipucu verene kadar yer tutucudur. Yeni yüklenen bir *-seg.pt kontrol noktası, sayısal adlarla (nc=80, "0", …) birlikte "1" rapor eder, bu nedenle etiketleri okumadan önce set_classes() çağrısı yapın. İpucu gerektirmeyen kontrol noktaları, tüm kelime dağarcığı halihazırda doldurulmuş olarak gelir.

Dağıtım Notları#

• Donanım. Çıkarım, 4-8 GB VRAM'e sahip bir NVIDIA GPU gerektirir; n ve s ölçekleri Jetson gibi uç GPU'larda veya azaltılmış çözünürlükte CPU üzerinde çalışır. İnce ayar tek bir GPU gerektirir.
• NMS varsayılan olarak sınıftan bağımsızdır. YOLOE, agnostic_nms=True ile tahmin yapar. YOLOE-11 ve YOLOE-v8'de bu, yalnızca aynı sınıf içinde değil, farklı sınıflardaki daha düşük puanlı çakışan kutuları bastırır; bu da bir nesne birkaç kategoriyle eşleştiğinde kopyaları önler. Uçtan uca YOLOE-26 modelleri hiçbir IoU bastırma uygulamaz; orada bağımsız mod, bir etiketçinin birkaç sınıf etiketi yaymasına izin vermek yerine, her çıpa için yalnızca en iyi tek sınıfı tutar. Geçersiz kılmak için agnostic_nms=False iletin.
• Toplu işleme. Toplu çıkarım doğrudan çalışır ve görsel ipuçları aynı çağrı içinde görsel başına farklılık gösterebilir.

Resmi Modelleri Sıfırdan Eğitmek#

Çoğu okuyucunun buna asla ihtiyacı olmaz. Bu, Objects365, GQA ve Flickr30k'daki yayınlanan açık kelime dağarcığı kontrol noktalarını — 8× RTX 4090 üzerinde yaklaşık 1,4 M eğitim örneği — yeniden üretir ve yukarıdaki Eğitim Kullanımı altında ele alınan kendi verileriniz üzerinde ince ayar yapma ile ilgili değildir.

Eğitim segment ek açıklamaları gerektirir. İşlenmiş dosyaları aşağıdan indirin veya SAM 2.1 tarafından desteklenen resmi ekibin sağladığı betik ile kendiniz oluşturun. Doğrulama LVIS minival kullanır.

Metin ipucu modeli önce eğitilir ve diğer iki ipucu modu bunun iyileştirmeleridir:

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOESegTrainerFromScratch

data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr/full_images/",
                "json_file": "flickr/annotations/final_flickr_separateGT_train_segm.json",
            },
            {
                "img_path": "mixed_grounding/gqa/images",
                "json_file": "mixed_grounding/annotations/final_mixed_train_no_coco_segm.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

model = YOLOE("yoloe-26l-seg.yaml")
model.train(
    data=data,  # or the path to a YAML file holding the same structure
    batch=128,
    epochs=30,
    close_mosaic=2,
    optimizer="AdamW",
    lr0=2e-3,
    warmup_bias_lr=0.0,
    weight_decay=0.025,
    momentum=0.9,
    workers=4,
    trainer=YOLOESegTrainerFromScratch,
    device="0,1,2,3,4,5,6,7",
)

Görsel ipucu ve ipucu gerektirmeyen kontrol noktaları, eğitilen bu metin ipucu modelinden başlar ve her biri bir modülü günceller. YOLOESegVPTrainer görsel ipucu tarifidir ve YOLOEPEFreeTrainer ipucu gerektirmeyendir, ancak her iki sınıf da kendi başına hiçbir şeyi dondurmaz: seçici eğitim, savpe (sırasıyla her sınıflandırma kulesi) hariç tüm kafa çocuklarını adlandıran ve yanından ilettiğiniz freeze listesinden gelir ve ipucu gerektirmeyen çalışmanın ayrıca single_cls=True'e ihtiyacı vardır. Yukarı akış YOLOE deposu, v8 ölçekli modeller için tam tarifleri taşır.

Tamamlanan ipucu gerektirmeyen bir çalışmanın parametreleri, get_vocab ve set_vocab kullanılarak, çıkarım sırasında hiçbir ipucu olmaksızın adlarını bildiren bir kontrol noktasına yeniden parametrelendirilir:

from ultralytics import YOLOE

# Weights written by the prompt-free run and by the text-prompt run it started from. Each
# rerun creates a new directory (train-2, train-3, ...), so take the paths the runs printed.
model = YOLOE("runs/segment/train-2/weights/best.pt")  # prompt-free run, its head is already fused
text_model = YOLOE("runs/segment/train/weights/best.pt")  # text-prompt run, its head is still unfused

names = list(YOLOE("yoloe-26l-seg-pf.pt").model.names.values())  # the 4,585-name vocabulary, or your own list
vocab = text_model.get_vocab(names)

model.set_vocab(vocab, names)
model.save("yoloe-26l-seg-pf-custom.pt")  # never overwrite the released checkpoint

Alıntılar ve Teşekkür#

YOLOE araştırmana veya projene katkıda bulunduysa, lütfen Tsinghua Üniversitesi'nden Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han ve Guiguang Ding tarafından yazılan orijinal makaleyi alıntıla:

@misc{wang2025yoloerealtimeseeing,
      title={YOLOE: Real-Time Seeing Anything},
      author={Ao Wang and Lihao Liu and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
      year={2025},
      eprint={2503.07465},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.07465},
}

Daha fazla okuma için orijinal YOLOE makalesi arXiv üzerinde mevcuttur. Projenin kaynak koduna ve ek kaynaklara GitHub depoları aracılığıyla erişilebilir.

SSS#