YOLOE: الكشف والتجزئة في الزمن الحقيقي باستخدام مفردات مفتوحة#

Ultralytics YOLOE (الرؤية الفورية لكل شيء) هو نموذج للكشف باستخدام مفردات مفتوحة وتجزئة الكائنات: فبدلاً من قائمة فئات ثابتة وقت التدريب، يستقبل الفئات التي تريدها وقت الاستدلال، على شكل مطالبة نصية أو مثال مرئي أو مفردات مدمجة تضم 4,585 اسماً. بُني النموذج على معماريات Ultralytics YOLO — YOLOv8 وYOLO11 وYOLO26 — واستُلهم من YOLO-World، ويحقق YOLOE دقة متقدمة عالمياً في الإعداد الصفري تقريباً بسرعة YOLO ذات مجموعة الفئات المغلقة.

بدء سريع#

حدّد الفئات التي تريدها ثم شغّل النموذج. يعيد YOLOE-26 مربعات وأقنعة تجزئة الكائنات للفئات التي لم يُدرَّب عليها قط.

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")

# "double-decker bus" is not a COCO class; YOLOE resolves it from the words alone
model.set_classes(["double-decker bus", "person"])

results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()

تعمل أول استدعاء لـ set_classes() على تنزيل مُرمّز نصي؛ راجع التثبيت والمتطلبات قبل النشر على جهاز لا يملك وصولاً إلى الشبكة.

اختيار وضع المطالبة#

يدعم YOLOE ثلاثة أوضاع للمطالبة، ويحدد الاختيار نقطة الفحص التي تحمّلها وشكل تسميات الفئات. اختر الصف الذي يطابق ما يمكنك توفيره وقت الاستدلال.

التثبيت والمتطلبات#

يتوفر YOLOE ضمن حزمة Ultralytics الرئيسية:

pip install -U ultralytics

تحتاج المطالبة النصية، بالإضافة إلى ذلك، إلى مُرمّز نصي، ويتم جلبه عند أول استخدام بدلاً من وقت التثبيت:

• يعمل أول استدعاء لـ set_classes() على تثبيت ultralytics/CLIP من GitHub باستخدام pip (إذ يوفر أداة تقسيم الرموز) وتنزيل مُرمّز نصي TorchScript إلى دليل العمل الحالي. ينزّل YOLOE-26 الملف mobileclip2_b.ts، وحجمه نحو 254 ميغابايت؛ بينما ينزّل YOLOE-11 وYOLOE-v8 الملف mobileclip_blt.ts. نفّذ التنزيل مرة واحدة من الدليل الذي ستشغّل منه، أو انسخ الملف إليه، وإلا فسيُجلب مرة أخرى.
• تحتاج كلتا الخطوتين إلى الوصول إلى الشبكة، لذا نفّذ تنبؤاً واحداً باستخدام المطالبة قبل النشر على جهاز غير متصل أو معزول عن الشبكة.
• لا تحتاج نقاط فحص المطالبات المرئية والخالية من المطالبات إلى مُرمّز نصي على الإطلاق.

تتطلب نقاط فحص YOLOE-26 الإصدار ultralytics 8.4.0 أو أحدث؛ أما عائلتا YOLOE-11 وYOLOE-v8 فمتاحتان في الإصدارات الأقدم. يختبر تنبؤ واحد باستخدام مطالبة نصية المسار بأكمله — تنزيل نقطة الفحص وتثبيت CLIP والمُرمّز النصي والاستدلال:

yolo predict model=yoloe-26s-seg.pt source="https://ultralytics.com/images/bus.jpg" classes="person"

لتجاوز تنزيل المُرمّز النصي وقت الاستدلال تماماً، ادمج المطالبات في الأوزان مرة واحدة وأعد استخدامها — راجع إعادة استخدام تضمينات المطالبة.

نظرة عامة على البنية#

يحافظ YOLOE على بنية YOLO القياسية — جذع تلافيفي لاستخراج السمات، وعنق لدمج المقاييس المتعددة، ورأس غير معتمد على المراسي ومفصول يتنبأ بالفئات والمربعات — ويضيف ثلاث وحدات، واحدة لكل وضع مطالبة:

• تعمل مواءمة المنطقة والنص القابلة لإعادة المعلمة (RepRTA) على تحسين تضمينات النص من CLIP عبر شبكة مساعدة صغيرة. تعمل هذه الشبكة مرة واحدة لكل استدعاء لـ set_classes() وتُدمج عند التصدير، ولذلك لا تفرض أي تكلفة لكل إطار. أما ما يعمل في كل تمريرة أمامية فهو مقارنة تضمينات المطالبة المخزنة بسمات المناطق؛ راجع القيود لمعرفة تكلفة ذلك مع مجموعة مطالبات كبيرة.
• تشفّر مُرمّز المطالبة المرئية المنشّط دلالياً (SAVPE) السمات الدلالية وسمات التنشيط من مربع مثال، وتكيّف النموذج مع الكائنات المشابهة له. وهذا هو المسار أحادي اللقطة للأهداف التي يصعب وصفها، مثل شعار أو جزء محدد.
• تطابق مقابلة مطالبة المنطقة الكسولة (LRPC) تضمينات المناطق مع مفردات مدمجة تضم 4,585 اسماً، ولذلك تتعرف نقاط الفحص الخالية من المطالبات على الكائنات دون مطالبة خارجية ودون مُرمّز نصي.

تأتي تجزئة الكائنات من فرع أقنعة في رأس الكشف، كما في YOLOv8-Seg، وتحمل كل تنبؤ قناعاً على results[0].masks. بعد تصدير النموذج، تُعاد معلمة وحدات العالم المفتوح لتصبح رأس YOLO قياسياً، ولذلك يشغّل الملف المُصدَّر مسار الكشف/التجزئة المعتاد.

النماذج المتاحة#

كل نقطة فحص أدناه هي نموذج لتجزئة الكائنات وتدعم val وpredict وexport وtrack. حمّل ملف *-seg.pt للمطالبة النصية أو المرئية وملف *-seg-pf.pt للاستدلال الخالي من المطالبات؛ وهما غير قابلين للتبادل، راجع اختيار وضع المطالبة. تدعم ملفات *-seg.pt فقط train؛ إذ تُنتج نقطة الفحص الخالية من المطالبات من نموذج مُدرَّب على المطالبات النصية، راجع تدريب النماذج الرسمية من الصفر.

أداء YOLOE على LVIS#

نتائج الإعداد الصفري على LVIS minival بدقة 640 بكسلاً، من ورقة Ultralytics YOLO26.

المطالبات النصية والمرئية#

تُقرأ كل خلية دقة ومعلمة بالشكل المطالبة النصية / المطالبة المرئية؛ وتُذكر FLOPs مرة واحدة. المعلمات وFLOPs خاصتان بتكوين الكشف الذي تقيّمه الورقة. الدقة هي قيمة Non-E2E في الورقة، وهو البروتوكول الوحيد الذي تعرضه لكل نموذج في المقارنة؛ ويتأخر رأس YOLOE-26 الشامل من البداية إلى النهاية عنه بحد أقصى قدره 1.1 AP تحت المطالبات النصية و2.6 AP تحت المطالبات المرئية.

الخالي من المطالبات#

تستجيب نقاط الفحص الخالية من المطالبات باستخدام مفرداتها المدمجة دون توفير مطالبة. تُقرأ كل خلية دقة بالشكل من البداية إلى النهاية / Non-E2E، وهما البروتوكولان اللذان تقيس الورقة أداء YOLOE-26 وفقاً لهما؛ وتعرض صفحة YOLO26 عمود Non-E2E.

تحت المطالبات النصية والمرئية، تتفوق نماذج YOLOE-26 على نظيراتها من YOLOE-11 وYOLOE-v8 عند كل مقياس مطابق في mAP_50-95، مع بقائها أدنى من خط v8 في عدد المعلمات وFLOPs. وفي التقسيم نفسه، تعرض الورقة YOLO-Worldv2 بقيم 24.4 (S) و32.4 (M) و35.5 (L)، وكواشف تعتمد على Transformer هي GLIP-T بقيمة 26.0 وGDINO-T بقيمة 27.4 وDetCLIP-T بقيمة 34.4، ويحمل كل منها من 155 إلى 232 مليون معلمة. وتضيف ورقة YOLOE الأصلية نتيجتين للنماذج ذات مقياس v8 التي قدمتها. على LVIS، يتفوق YOLOE-v8s على YOLO-Worldv2-S بمقدار 3.5 AP، مع ثلث تكلفة التدريب وسرعة استدلال تبلغ 1.4 ضعفاً. وعند نقله إلى COCO، يحقق YOLOE-v8l زيادة قدرها 0.6 box AP و0.4 mask AP مقارنةً بـ YOLOv8-L ذي المجموعة المغلقة، مع زمن تدريب أقل بنحو 4 مرات.

أمثلة على الاستخدام#

يعمل كل مثال YOLOE أدناه من خلال Python API. كما يعمل التنبؤ باستخدام مطالبة نصية والتحقق والتصدير والتتبع والتدريب العادي من خلال CLI؛ أما وصفات الضبط الدقيق وتمرير المطالبات المرئية فتتطلب تمرير فئة مدرّب أو متنبئ كوسيط، وهو ما تقبله Python API فقط.

استخدام التدريب#

اضبط دقيقاً لأي نقطة فحص *-seg.pt مُصدرة على مجموعة بيانات YOLO الخاصة بك. يتبع ذلك في الغالب إجراء تدريب YOLO القياسي؛ ويكمن الاختلاف في المدرّب الذي تمرره. يدمج YOLOEPESegTrainer أسماء فئاتك في الرأس ويجري الضبط الدقيق انطلاقاً من هناك، وهذا ما تريده عند استخدام تسمياتك الخاصة؛ أما المدرّب الافتراضي فلا يتدرّب على أسماء فئاتك.

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPESegTrainer

model = YOLOE("yoloe-26s-seg.pt")

results = model.train(
    data="coco128-seg.yaml",
    epochs=80,
    patience=10,
    trainer=YOLOEPESegTrainer,  # <- Important: the fine-tuning trainer, not the default
)

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPETrainer

model = YOLOE("yoloe-26s.yaml").load("yoloe-26s-seg.pt")

results = model.train(data="coco128.yaml", epochs=80, patience=10, trainer=YOLOEPETrainer)

استخدام التنبؤ#

استدعاء مطالبة النص هو الموضح في البدء السريع. ويحتاج النمطان الآخران إلى وسيط إضافي لكل منهما:

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

# One example box per target, each with its own class ID
visual_prompts = {
    "bboxes": np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # person, glasses
    "cls": np.array([0, 1]),
}

results = model.predict(
    "ultralytics/assets/bus.jpg",
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {"bboxes": np.array([[221.52, 405.8, 344.98, 857.54]]), "cls": np.array([0])}  # person

results = model.predict(
    "ultralytics/assets/zidane.jpg",  # Target image
    refer_image="ultralytics/assets/bus.jpg",  # Where the example boxes live
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

# refer_image also sets the classes permanently, so later calls need no prompts at all
results = model("ultralytics/assets/bus.jpg")
model.export(format="onnx")  # And the export keeps them

import numpy as np
import torch

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-11l-seg.pt")

img_tensor = torch.rand(1, 3, 480, 480)  # (1, 3, H, W) float tensor in [0, 1]
visual_prompts = {"bboxes": np.array([[10, 10, 50, 50]]), "cls": np.array([0])}

results = model.predict(
    img_tensor,
    refer_image=img_tensor,
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
    imgsz=640,
)

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {
    "bboxes": [
        np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # bus.jpg: person, glasses
        np.array([[150, 200, 1150, 700]]),  # zidane.jpg: person
    ],
    "cls": [np.array([0, 1]), np.array([0])],
}

results = model.predict(
    ["ultralytics/assets/bus.jpg", "ultralytics/assets/zidane.jpg"],
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

استخدام التحقق#

يُجرى التحقق مثل أي نموذج آخر على مجموعة بيانات تقسيم:

from ultralytics import YOLOE

model = YOLOE("yoloe-26l-seg.pt")  # or yoloe-26s/m-seg.pt for other sizes

metrics = model.val(data="coco128-seg.yaml")

يغطي تنويعان من الاستدعاء نفسه نمطي المطالبة الآخرين:

• المطالبات المرئية — يستخرج model.val(data="coco128-seg.yaml", load_vp=True) تضمينًا مرئيًا لكل فئة من مجموعة البيانات نفسها. أضف refer_data="coco.yaml" لأخذ التضمينات من مجموعة بيانات مختلفة، على أن تحتوي على الفئات نفسها تمامًا.
• من دون مطالبة — حمّل نقطة تحقق *-seg-pf.pt ومرّر single_cls=True.

استخدام التصدير#

يمكن حفظ تضمينات المطالبات مرةً واحدة وإعادة استخدامها عند إنتاج صادرات ثابتة مثل ONNX وOpenVINO وTensorRT وCoreML وLiteRT وRKNN. ويحمّل نموذج PyTorch الأصلي ملف تعريف NPZ قبل التصدير؛ ولا يُعد هذا الملف إدخالًا إضافيًا في وقت التشغيل، كما أن النموذج المُصدَّر لا يتطلب ملف NPZ.

from ultralytics import YOLOE

model = YOLOE("yoloe-26n-seg.pt")
model.set_classes(["person", "bus"])
model.save_prompt_embeddings("person-bus.npz")

# The profile is bound to the source checkpoint and can be reused for later exports.
model = YOLOE("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="onnx")

يمكن لملف تعريف المطالبة نفسه أيضًا تهيئة نموذج كشف فقط مبنيًا من بنية YOLOE المطابقة. ويزيل ذلك فرع القناع مع الإبقاء على الفئات المُطالب بها:

from ultralytics import YOLOE

model = YOLOE("yoloe-26n.yaml").load("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="rknn", name="rk3588", quantize=16)

استخدام التتبع#

تنتقل الفئات المُطالب بها مباشرةً إلى التتبع، ولذلك يمكنك تتبع كائنات لم يُدرَّب المتعقّب عليها قط:

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")
model.set_classes(["forklift", "pallet"])

# persist=True keeps track IDs stable across frames
for result in model.track("path/to/video.mp4", stream=True, persist=True):
    print(result.boxes.id)

مقارنة YOLOE#

يقع YOLOE بين كاشف ذي مجموعة فئات مغلقة ونموذج ثقيل ذي مفردات مفتوحة. وتحدد ثلاث مقارنات ما إذا كان الخيار المناسب:

• مقابل YOLO ذي مجموعة الفئات المغلقة. بعد ضبط المطالبات، يتنبأ YOLOE عبر مسار الكشف/التقسيم المعتاد ويُصدَّر مثل أي نموذج آخر. وما يضيفه هو إمكانية تغيير قائمة الفئات وقت الاستدلال بدلًا من إعادة التدريب؛ أما تكلفته فهي أن دقة اللقطة الصفرية أقل بكثير من دقة نموذج مُدرَّب على فئاتك الخاصة.
• مقابل عائلات YOLOE الأقدم. يرث YOLOE-26 رأسًا شاملًا من طرف إلى طرف بلا NMS من YOLO26، ويغطي خمسة مقاييس (n/s/m/l/x) مقابل ثلاثة فقط في الإصدارات الأقدم (s/m/l)، ويتفوق عند كل مقياس مطابق في الأداء.
• مقابل كواشف المفردات المفتوحة القائمة على Transformer. يشغّل GLIP وOWL-ViT محوّل رؤية-لغة أثناء الاستدلال. أما YOLOE فيشفّر المطالبات مرةً واحدة ثم يقارنها بميزات المناطق داخل رأس التفاف.

تقبل أقرب البدائل جميعها مطالبةً نصية، لكن YOLOE وSAM 3 وحدهما يعيدان أقنعة، وتجيب النماذج الثلاثة عن أسئلة مختلفة:

هل تنتقل من YOLO-World؟ تتماثل بنية API: استبدل YOLOWorld بـ YOLOE، وحمّل نقطة تحقق *-seg.pt، وأبقِ استدعاء set_classes() كما هو. وستحصل على الأقنعة والمطالبات المرئية؛ وتنطبق ملاحظة التصدير المتعلقة بالفئات المجمدة على كليهما.

حالات الاستخدام والتطبيقات#

يزيل الكشف عن المفردات المفتوحة خطوة إعادة التدريب لكل فئة، وهو أمر مهم خصوصًا عندما لا تكون القائمة المستهدفة معروفة مسبقًا:

• الكشف في عالم مفتوح — الروبوتات وأنظمة الأمان التي تصادف كائنات لم يحصرها أحد في تعداد وقت التدريب.
• الكشف من مثال واحد — تلتقط المطالبات المرئية جزءًا أو شعارًا أو عيبًا محددًا من مربع مرجعي واحد، وهو مفيد في الفحص الصناعي.
• فهرسة الذيل الطويل — تتميز المفردات المدمجة التي تضم 4,585 اسمًا باتساع يكفي لـمراقبة التنوع الحيوي أو جرد المخزون في متاجر التجزئة.
• تهيئة مجموعة البيانات — ضع تسميات أولية للصور بالمربعات والأقنعة قبل المراجعة البشرية، ثم درّب نموذجًا سريعًا ذا مجموعة فئات مغلقة على الناتج.
• تقسيم أهداف عشوائية — تعيد نقاط التحقق *-seg.pt المُصدرة قناعًا مع كل تنبؤ، ولذلك تحصل التصويرات الطبية وتحليلات الأقمار الصناعية على ناتج دقيق على مستوى البكسل من دون نموذج ثانٍ.

يجمع نمط شائع بين وضعين: شغّل الوضع من دون مطالبة مرةً لاكتشاف الموجود، ثم بدّل إلى المطالبات النصية للفئات المهمة.

القيود#

يستبدل YOLOE الدقة بالقدرة على تغيير الفئات وقت الاستدلال. وفيما يلي النتائج التي يجدر معرفتها قبل اعتماده:

• دقة اللقطة الصفرية أقل بكثير من دقة نموذج مُدرَّب على فئاتك. تحقق نقاط التحقق المُطالب بها نحو 22-40 mAP على LVIS minival؛ وسيتفوق YOLO ذي مجموعة الفئات المغلقة المُدرَّب على بياناتك الخاصة عليها في تلك الفئات. استخدم YOLOE لتغطية الفئات التي لا تستطيع التدريب عليها، لا لاستبدال التدريب.
• الفئات النادرة هي نقطة الضعف. ي report عمود mAP_r في الأداء الدقة على الفئات النادرة في LVIS تحديدًا، وتبقى قيمته في المطالبة النصية أدنى من عمودي الفئات الشائعة والمتكررة في كل صف. افحصه بدلًا من mAP الرئيسي عندما تكون أهدافك غير مألوفة.
• تصف المطالبة المظهر لا العلاقات. يعمل الكشف بمقارنة ميزات المناطق بتضمين المطالبة، ولذلك لا تملك المطالبات التي تعتمد على الحالة أو السياق أو المقارنة — «تالف» و«الأيسر» و«الذي يجري حمله» — سمةً موثوقة للمطابقة. فضّل صياغة قريبة من أسماء الفئات المتداولة.
• تؤدي مجموعات المطالبات الكبيرة إلى زيادة زمن الاستجابة. تُحسب تضمينات المطالبات مرةً واحدة، لكنها تُقارن بميزات المناطق في كل تمريرة أمامية. وبالقياس على CPU باستخدام yoloe-26s-seg.pt، تزداد التمريرة الأمامية بنحو 19% عند الانتقال من 80 إلى 1,203 فئات، وبنحو 89% عند استخدام المفردات الكاملة التي تضم 4,585 اسمًا. ولا تتغير قيمة FLOPs المُبلغ عنها إطلاقًا، لأن تشابه المنطقة-النص غير محسوب، ولذلك لن ينبهك الملف التعريفي إلى ذلك.
• أسماء الفئات مجرد عناصر نائبة إلى أن تُقدّم مطالبة. تُبلغ نقطة التحقق المحمّلة حديثًا *-seg.pt عن nc=80 بأسماء رقمية ("0" و"1" و…)، لذا استدعِ set_classes() قبل قراءة التسميات. أما نقاط التحقق من دون مطالبة فتأتي بالمفردات الكاملة مملوءة مسبقًا.

ملاحظات النشر#

• العتاد. يتطلب الاستدلال وحدة GPU من NVIDIA بذاكرة VRAM سعتها 4-8 GB؛ وتعمل مقاييس n وs على وحدات GPU طرفية مثل Jetson أو على CPU بدقة منخفضة. ويتطلب الضبط الدقيق وحدة GPU واحدة.
• يكون خوارزمية NMS (قمع التجاوز غير الحدود) مستقلة عن الفئات افتراضياً. يتنبأ نموذج YOLOE باستخدام agnostic_nms=True. افتراضياً، يقوم هذا بقمع المربعات المتداخلة ذات النقاط الأقل عبر الفئات المختلفة بدلاً من الفئة نفسها فقط، مما يمنع التكرارات عندما يتطابق كائن واحد مع عدة فئات. باستخدام nms=False, لا يطبق نموذج YOLOE-26 أي قمع لمؤشر التقاطع على الاتحاد (IoU)؛ حيث يحافظ وضع الاستقلالية عن الفئات على أفضل فئة واحدة فقط لكل مثبت بدلاً من السماح لمثبت واحد بإصدار تسميات فئات متعددة. مرر agnostic_nms=False للتجاوز.
• التجميع. يعمل الاستدلال الدفعي مباشرةً، ويمكن أن تختلف المطالبات المرئية لكل صورة في الاستدعاء نفسه.

تدريب النماذج الرسمية من الصفر#

لا يحتاج معظم القراء إلى ذلك. فهو يعيد إنتاج نقاط التحقق المنشورة للمفردات المفتوحة من Objects365 وGQA وFlickr30k — نحو 1.4 M عينة تدريبية على 8× RTX 4090 — ولا علاقة له بالضبط الدقيق على بياناتك الخاصة، المشروح ضمن استخدام التدريب أعلاه.

يتطلب التدريب تعليقات توضيحية للمقاطع. يمكنك إما تنزيل الملفات المعالجة أدناه، أو إنشاؤها بنفسك باستخدام البرنامج النصي الذي يقدمه الفريق الرسمي، والمدعوم بواسطة SAM 2.1. ويستخدم التحقق LVIS minival.

يُدرَّب نموذج المطالبة النصية أولًا، ويُعد النمطان الآخران من المطالبات تنقيحين له:

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOESegTrainerFromScratch

data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr/full_images/",
                "json_file": "flickr/annotations/final_flickr_separateGT_train_segm.json",
            },
            {
                "img_path": "mixed_grounding/gqa/images",
                "json_file": "mixed_grounding/annotations/final_mixed_train_no_coco_segm.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

model = YOLOE("yoloe-26l-seg.yaml")
model.train(
    data=data,  # or the path to a YAML file holding the same structure
    batch=128,
    epochs=30,
    close_mosaic=2,
    optimizer="AdamW",
    lr0=2e-3,
    warmup_bias_lr=0.0,
    weight_decay=0.025,
    momentum=0.9,
    workers=4,
    trainer=YOLOESegTrainerFromScratch,
    device="0,1,2,3,4,5,6,7",
)

تبدأ نقاط التحقق للمطالبة المرئية ومن دون مطالبة من نموذج المطالبة النصية المُدرَّب، وتحدّث كلٌّ منها وحدةً واحدة. ويمثل YOLOESegVPTrainer وصفة المطالبة المرئية، ويمثل YOLOEPEFreeTrainer الوصفة من دون مطالبة، لكن لا يجمّد أيٌّ من الصنفين شيئًا بمفرده: إذ يأتي التدريب الانتقائي من قائمة freeze التي تمررها إلى جانبه، والتي تسمّي كل ابن من أبناء الرأس باستثناء savpe (أي كل برج تصنيف)، كما يتطلب تشغيل الوضع من دون مطالبة single_cls=True إضافيًا. ويحتوي مستودع YOLOE الأساسي على الوصفات الكاملة للنماذج ذات مقياس v8.

تُعاد معلمة عملية مكتملة من دون مطالبة إلى نقطة تحقق تُبلغ عن أسمائها من دون مطالبة أثناء الاستدلال، باستخدام get_vocab وset_vocab:

from ultralytics import YOLOE

# Weights written by the prompt-free run and by the text-prompt run it started from. Each
# rerun creates a new directory (train-2, train-3, ...), so take the paths the runs printed.
model = YOLOE("runs/segment/train-2/weights/best.pt")  # prompt-free run, its head is already fused
text_model = YOLOE("runs/segment/train/weights/best.pt")  # text-prompt run, its head is still unfused

names = list(YOLOE("yoloe-26l-seg-pf.pt").model.names.values())  # the 4,585-name vocabulary, or your own list
vocab = text_model.get_vocab(names)

model.set_vocab(vocab, names)
model.save("yoloe-26l-seg-pf-custom.pt")  # never overwrite the released checkpoint

الاقتباسات والشكر والتقدير#

إذا أسهم YOLOE في بحثك أو مشروعك، فيُرجى الاستشهاد بالورقة الأصلية التي ألّفها Ao Wang وLihao Liu وHui Chen وZijia Lin وJungong Han وGuiguang Ding من جامعة تسينغهوا:

@misc{wang2025yoloerealtimeseeing,
      title={YOLOE: Real-Time Seeing Anything},
      author={Ao Wang and Lihao Liu and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
      year={2025},
      eprint={2503.07465},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.07465},
}

ولمزيد من القراءة، تتوفر ورقة YOLOE الأصلية على arXiv. ويمكن الوصول إلى الشيفرة المصدرية للمشروع والموارد الإضافية عبر مستودع GitHub.

الأسئلة الشائعة#