نموذج YOLO-World#

يقدّم نموذج YOLO-World نهجًا متقدمًا وآنيًا قائمًا على Ultralytics وYOLOv8 لمهام الكشف بالمفردات المفتوحة. ويتيح هذا الابتكار كشف أي جسم في الصورة استنادًا إلى النصوص الوصفية. ومن خلال خفض المتطلبات الحاسوبية بدرجة كبيرة مع الحفاظ على أداء تنافسي، يصبح YOLO-World أداة متعددة الاستخدامات للعديد من التطبيقات القائمة على الرؤية.

نظرة عامة#

يعالج YOLO-World التحديات التي تواجه نماذج الكشف التقليدية بالمفردات المفتوحة، التي تعتمد غالبًا على نماذج Transformer كبيرة تتطلب موارد حوسبة هائلة. كما أن اعتماد هذه النماذج على فئات أجسام محددة مسبقًا يحد من فائدتها في السيناريوهات الديناميكية. ويطوّر YOLO-World إطار عمل YOLOv8 بإضافة قدرات الكشف بالمفردات المفتوحة، مستخدمًا نمذجة الرؤية واللغة والتدريب المسبق على مجموعات بيانات واسعة، ليبرع في تحديد طيف واسع من الأجسام في سيناريوهات التعلّم دون أمثلة وبكفاءة لا مثيل لها.

للاستخدام بالمفردات المفتوحة عندما تحتاج أيضًا إلى أقنعة الكائنات أو المطالبات المرئية أو وضع خالٍ من المطالبات، راجع YOLOE، الذي يستخدم واجهة API نفسها set_classes().

الميزات الرئيسية#

1. حل آني: يستفيد YOLO-World من سرعة الحوسبة التي توفرها شبكات CNN لتقديم حل سريع للكشف بالمفردات المفتوحة، يلبي احتياجات القطاعات التي تتطلب نتائج فورية.

2. الكفاءة والأداء: يقلل YOLO-World المتطلبات الحاسوبية ومتطلبات الموارد دون التضحية بالأداء، مقدّمًا بديلًا قويًا لنماذج مثل SAM، ولكن بتكلفة حوسبية أقل بكثير، ما يتيح التطبيقات الآنية.

3. الاستدلال باستخدام مفردات غير متصلة بالإنترنت: يقدم YOLO-World استراتيجية «المطالبة ثم الكشف»، مستخدمًا مفردات غير متصلة بالإنترنت لتعزيز الكفاءة أكثر. ويتيح هذا النهج استخدام مطالبات مخصصة محسوبة مسبقًا، بما في ذلك التسميات التوضيحية أو الفئات، لترميزها وتخزينها في صورة تضمينات للمفردات غير المتصلة بالإنترنت، ما يبسّط عملية الكشف.

4. مدعوم بـ YOLOv8: يستند YOLO-World إلى Ultralytics YOLOv8، ويستفيد من أحدث التطورات في الكشف الآني عن الأجسام لتيسير الكشف بالمفردات المفتوحة بدقة وسرعة لا مثيل لهما.

5. التميز في المعايير المرجعية: يتفوق YOLO-World على كواشف المفردات المفتوحة الحالية، بما في ذلك سلسلتا MDETR وGLIP، من حيث السرعة والكفاءة في المعايير المرجعية القياسية، ما يبرز القدرات المتفوقة لـ YOLOv8 على وحدة NVIDIA V100 GPU واحدة.

6. تطبيقات متعددة الاستخدامات: يفتح النهج المبتكر لـ YOLO-World آفاقًا جديدة لمجموعة كبيرة من مهام الرؤية، محققًا تحسينات في السرعة تتجاوز الأساليب الحالية بمراتب عدة.

النماذج المتاحة والمهام المدعومة وأوضاع التشغيل#

يفصّل هذا القسم النماذج المتاحة وأوزانها المحددة المدرّبة مسبقًا والمهام التي تدعمها ومدى توافقها مع أنماط التشغيل المختلفة، مثل الاستدلال والتحقق والتدريب والتصدير، مع الإشارة إلى الأنماط المدعومة بالرمز ✅ وغير المدعومة بالرمز ❌.

النقل دون تدريب مسبق على مجموعة بيانات COCO#

أمثلة الاستخدام#

يسهل دمج نماذج YOLO-World في تطبيقات Python. وتوفر Ultralytics واجهة Python البرمجية وأوامر CLI سهلة الاستخدام لتبسيط عملية التطوير.

استخدام التدريب#

يُعد اكتشاف الكائنات سهلًا باستخدام طريقة train، كما هو موضح أدناه:

from ultralytics import YOLOWorld

# ⁨تحميل نموذج YOLOv8s-worldv2 مدرّب مسبقًا⁩
model = YOLOWorld("yolov8s-worldv2.pt")

# ⁨تدريب النموذج على مجموعة بيانات المثال COCO8 لمدة 100 حقبة⁩
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# ⁨تشغيل الاستدلال باستخدام نموذج YOLO-World على الصورة 'bus.jpg'⁩
results = model("path/to/bus.jpg")

الاستخدام للتنبؤ#

يُعد اكتشاف الكائنات سهلًا باستخدام طريقة predict، كما هو موضح أدناه:

from ultralytics import YOLOWorld

# ⁨تهيئة نموذج YOLO-World⁩
model = YOLOWorld("yolov8s-world.pt")  # ⁨أو اختر yolov8m/l-world.pt لأحجام مختلفة⁩

# ⁨تنفيذ الاستدلال باستخدام نموذج YOLOv8s-world على الصورة المحددة⁩
results = model.predict("path/to/image.jpg")

# ⁨عرض النتائج⁩
results[0].show()

يوضح هذا المقتطف سهولة تحميل نموذج مدرّب مسبقًا وإجراء تنبؤ على صورة.

الاستخدام للتحقق#

يُبسَّط التحقق من صحة النموذج على مجموعة بيانات كما يلي:

from ultralytics import YOLO

# ⁨إنشاء نموذج YOLO-World⁩
model = YOLO("yolov8s-world.pt")  # ⁨أو اختر yolov8m/l-world.pt لأحجام مختلفة⁩

# ⁨إجراء التحقق من صحة النموذج على مجموعة البيانات النموذجية COCO8⁩
metrics = model.val(data="coco8.yaml")

تتبُّع الاستخدام#

يُبسَّط تتبّع الكائنات باستخدام نموذج YOLO-World على فيديو أو صور كما يلي:

from ultralytics import YOLO

# ⁨إنشاء نموذج YOLO-World⁩
model = YOLO("yolov8s-world.pt")  # ⁨أو اختر yolov8m/l-world.pt لأحجام مختلفة⁩

# ⁨التتبّع باستخدام نموذج YOLO-World على فيديو⁩
results = model.track(source="path/to/video.mp4")

تعيين المطالبات#

يتيح إطار عمل YOLO-World تحديد الفئات ديناميكيًا من خلال مطالبات مخصصة، ما يمكّن المستخدمين من تكييف النموذج وفق احتياجاتهم الخاصة من دون إعادة تدريب. وتفيد هذه الميزة خصوصًا في تكييف النموذج مع مجالات جديدة أو مهام محددة لم تكن ضمن بيانات التدريب الأصلية. ومن خلال تعيين مطالبات مخصصة، يمكن للمستخدمين توجيه تركيز النموذج نحو الكائنات محل الاهتمام، مما يعزز مدى ملاءمة نتائج الكشف ودقتها.

على سبيل المثال، إذا كان تطبيقك يتطلب اكتشاف كائني «شخص» و«حافلة» فقط، فيمكنك تحديد هاتين الفئتين مباشرةً:

from ultralytics import YOLO

# ⁨تهيئة نموذج YOLO-World⁩
model = YOLO("yolov8s-world.pt")  # ⁨أو اختر yolov8m/l-world.pt⁩

# ⁨تعريف فئات مخصصة⁩
model.set_classes(["person", "bus"])

# ⁨تنفيذ التنبؤ للفئات المحددة في صورة⁩
results = model.predict("path/to/image.jpg")

# ⁨عرض النتائج⁩
results[0].show()

model.set_classes(["person", "bus", ""])

يمكنك أيضًا حفظ نموذج بعد تعيين فئات مخصصة. وبذلك تنشئ إصدارًا من نموذج YOLO-World متخصصًا لحالة الاستخدام الخاصة بك. تدمج هذه العملية تعريفات الفئات المخصصة مباشرةً في ملف النموذج، ليصبح جاهزًا للاستخدام مع الفئات المحددة من دون أي تعديلات إضافية. اتبع الخطوات التالية لحفظ نموذج YOLO-World المخصص وتحميله:

from ultralytics import YOLO

# ⁨تهيئة نموذج YOLO-World⁩
model = YOLO("yolov8s-world.pt")  # ⁨أو اختر yolov8m/l-world.pt⁩

# ⁨تعريف فئات مخصصة⁩
model.set_classes(["person", "bus"])

# ⁨حفظ النموذج مع المفردات غير المتصلة المحددة⁩
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# ⁨تحميل نموذجك المخصص⁩
model = YOLO("custom_yolov8s.pt")

# ⁨تشغيل الاستدلال لاكتشاف فئاتك المخصصة⁩
results = model.predict("path/to/image.jpg")

# ⁨عرض النتائج⁩
results[0].show()

فوائد الحفظ باستخدام مفردات مخصصة#

• الكفاءة: تبسيط عملية الكشف من خلال التركيز على الكائنات ذات الصلة، وتقليل العبء الحسابي وتسريع الاستدلال.
• المرونة: تتيح تكييف النموذج بسهولة مع مهام الكشف الجديدة أو المتخصصة من دون الحاجة إلى إعادة تدريب موسعة أو جمع بيانات إضافية.
• البساطة: تبسيط النشر من خلال إلغاء الحاجة إلى تحديد الفئات المخصصة مرارًا عند التشغيل، مما يجعل النموذج قابلًا للاستخدام مباشرةً بمفرداته المضمّنة.
• الأداء: تعزيز دقة الكشف عن الفئات المحددة من خلال تركيز انتباه النموذج وموارده على التعرّف على الكائنات المعرّفة.

يوفر هذا النهج وسيلة فعالة لتخصيص نماذج اكتشاف الكائنات المتطورة لمهام محددة، ما يجعل الذكاء الاصطناعي المتقدم أكثر إتاحةً وقابليةً للتطبيق على نطاق أوسع من التطبيقات العملية.

إعادة إنتاج النتائج الرسمية من الصفر (تجريبي)#

إعداد مجموعات البيانات#

• بيانات التدريب

• بيانات التحقق

بدء التدريب من الصفر#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# ⁨الخيار 1: استخدام قاموس Python⁩
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# ⁨الخيار 2: استخدام ملف YAML (yolo_world_data.yaml)⁩
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
# json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
# - img_path: mixed_grounding/gqa/images
# json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
# - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # ⁨أو data="yolo_world_data.yaml" عند استخدام ملف YAML⁩
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

الاستشهادات والشكر والتقدير#

نتقدم بخالص الشكر إلى مركز الرؤية الحاسوبية في مختبر Tencent للذكاء الاصطناعي على عملهم الرائد في الكشف الفوري عن الكائنات بمفردات مفتوحة باستخدام YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

لمزيد من القراءة، تتوفر ورقة YOLO-World الأصلية على arXiv. ويمكن الوصول إلى الشيفرة المصدرية للمشروع والموارد الإضافية عبر مستودع GitHub. ونقدّر التزامهم بتطوير هذا المجال ومشاركة رؤاهم القيّمة مع المجتمع.

الأسئلة الشائعة#