نموذج YOLO-World#

يقدّم نموذج YOLO-World نهجًا متقدمًا وآنيًا قائمًا على Ultralytics YOLOv8 لمهام الكشف بالمفردات المفتوحة. يتيح هذا الابتكار اكتشاف أي كائن داخل صورة استنادًا إلى نصوص وصفية. ومن خلال خفض المتطلبات الحاسوبية بدرجة كبيرة مع الحفاظ على أداء تنافسي، يبرز YOLO-World أداةً متعددة الاستخدامات للعديد من التطبيقات القائمة على الرؤية.

نظرة عامة#

يعالج YOLO-World التحديات التي تواجه نماذج الكشف التقليدية بالمفردات المفتوحة، والتي تعتمد غالبًا على نماذج Transformer مرهقة تتطلب موارد حاسوبية كبيرة. كما يقيّد اعتماد هذه النماذج على فئات الكائنات المحددة مسبقًا فائدتها في السيناريوهات الديناميكية. ويعيد YOLO-World إحياء إطار YOLOv8 بقدرات الكشف بالمفردات المفتوحة، مستخدمًا نمذجة الرؤية واللغة والتدريب المسبق على مجموعات بيانات واسعة للتفوق في تحديد مجموعة كبيرة من الكائنات ضمن سيناريوهات اللقطة الصفرية بكفاءة لا مثيل لها.

بالنسبة إلى العمل بالمفردات المفتوحة الذي يحتاج أيضًا إلى أقنعة المثيلات أو المطالبات المرئية أو وضع دون مطالبات، راجع YOLOE، الذي يحافظ على واجهة API نفسها set_classes().

الميزات الرئيسية#

1. حل آني: بالاستفادة من السرعة الحاسوبية لشبكات CNNs، يقدّم YOLO-World حلًا سريعًا للكشف بالمفردات المفتوحة، ليلبّي احتياجات الصناعات التي تتطلب نتائج فورية.

2. الكفاءة والأداء: يخفض YOLO-World المتطلبات الحاسوبية ومتطلبات الموارد دون التضحية بالأداء، موفرًا بديلًا قويًا لنماذج مثل SAM، ولكن بجزء بسيط من التكلفة الحاسوبية، مما يتيح التطبيقات الآنية.

3. الاستدلال باستخدام مفردات غير متصلة: يقدّم YOLO-World استراتيجية «المطالبة ثم الكشف»، مستخدمًا مفردات غير متصلة لتعزيز الكفاءة أكثر. ويتيح هذا النهج استخدام مطالبات مخصصة حُسبت مسبقًا، بما في ذلك التسميات التوضيحية أو الفئات، لترميزها وتخزينها كتضمينات مفردات غير متصلة، مما يبسّط عملية الكشف.

4. مدعوم بـ YOLOv8: بُني YOLO-World على Ultralytics YOLOv8، ويستفيد من أحدث التطورات في الكشف الآني عن الكائنات لتيسير الكشف بالمفردات المفتوحة بدقة وسرعة لا مثيل لهما.

5. التميز في المعايير المرجعية: يتفوق YOLO-World على كاشفات المفردات المفتوحة الحالية، بما فيها سلسلتا MDETR وGLIP، من حيث السرعة والكفاءة في المعايير المرجعية القياسية، مبرزًا القدرات المتفوقة لـ YOLOv8 على وحدة معالجة رسومات NVIDIA V100 واحدة.

6. تطبيقات متعددة الاستخدامات: يفتح نهج YOLO-World المبتكر إمكانات جديدة لمجموعة كبيرة من مهام الرؤية، محققًا تحسينات في السرعة تفوق الأساليب الحالية بفوارق كبيرة.

النماذج المتاحة والمهام المدعومة وأنماط التشغيل#

يوضح هذا القسم النماذج المتاحة مع أوزانها المحددة المُدرَّبة مسبقًا، والمهام التي تدعمها، وتوافقها مع أوضاع التشغيل المختلفة مثل الاستدلال والتحقق والتدريب والتصدير، حيث تشير ✅ إلى الأوضاع المدعومة و❌ إلى الأوضاع غير المدعومة.

النقل بالتعلّم الصفري على مجموعة بيانات COCO#

أمثلة على الاستخدام#

تتكامل نماذج YOLO-World بسهولة مع تطبيقات Python الخاصة بك. توفر Ultralytics واجهة Python API وأوامر CLI سهلة الاستخدام لتبسيط عملية التطوير.

استخدام التدريب#

يُعد كشف الكائنات أمرًا مباشرًا باستخدام الطريقة train، كما هو موضح أدناه:

from ultralytics import YOLOWorld

# Load a pretrained YOLOv8s-worldv2 model
model = YOLOWorld("yolov8s-worldv2.pt")

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the YOLO-World model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

استخدام التنبؤ#

يُعد كشف الكائنات أمرًا مباشرًا باستخدام الطريقة predict، كما هو موضح أدناه:

from ultralytics import YOLOWorld

# Initialize a YOLO-World model
model = YOLOWorld("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Execute inference with the YOLOv8s-world model on the specified image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

يوضح هذا المقتطف سهولة تحميل نموذج مُدرَّب مسبقًا وتشغيل تنبؤ على صورة.

استخدام التحقق#

تُبسَّط عملية التحقق من النموذج على مجموعة بيانات كما يلي:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Conduct model validation on the COCO8 example dataset
metrics = model.val(data="coco8.yaml")

استخدام التتبع#

تُبسَّط عملية تتبع الكائنات باستخدام نموذج YOLO-World على مقطع فيديو/صور كما يلي:

from ultralytics import YOLO

# Create a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt for different sizes

# Track with a YOLO-World model on a video
results = model.track(source="path/to/video.mp4")

تعيين المطالبات#

يتيح إطار YOLO-World تحديد الفئات ديناميكيًا من خلال مطالبات مخصصة، مما يمكّن المستخدمين من تكييف النموذج مع احتياجاتهم الخاصة دون إعادة التدريب. وتفيد هذه الميزة بوجه خاص في تكييف النموذج مع مجالات جديدة أو مهام محددة لم تكن جزءًا من بيانات التدريب الأصلية. ومن خلال تعيين مطالبات مخصصة، يمكن للمستخدمين توجيه تركيز النموذج نحو الكائنات محل الاهتمام، مما يعزز صلة نتائج الكشف ودقتها.

على سبيل المثال، إذا كان تطبيقك يتطلب اكتشاف كائنَي «person» و«bus» فقط، فيمكنك تحديد هاتين الفئتين مباشرةً:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or choose yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Execute prediction for specified categories on an image
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

model.set_classes(["person", "bus", ""])

يمكنك أيضًا حفظ نموذج بعد تعيين فئات مخصصة. وبذلك تنشئ إصدارًا من نموذج YOLO-World متخصصًا لحالة الاستخدام الخاصة بك. وتضمّن هذه العملية تعريفات الفئات المخصصة مباشرةً في ملف النموذج، مما يجعل النموذج جاهزًا للاستخدام مع الفئات المحددة من جانبك دون إجراء تعديلات إضافية. اتبع هذه الخطوات لحفظ نموذج YOLO-World المخصص وتحميله:

from ultralytics import YOLO

# Initialize a YOLO-World model
model = YOLO("yolov8s-world.pt")  # or select yolov8m/l-world.pt

# Define custom classes
model.set_classes(["person", "bus"])

# Save the model with the defined offline vocabulary
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Load your custom model
model = YOLO("custom_yolov8s.pt")

# Run inference to detect your custom classes
results = model.predict("path/to/image.jpg")

# Show results
results[0].show()

فوائد الحفظ باستخدام مفردات مخصصة#

• الكفاءة: تبسّط عملية الكشف من خلال التركيز على الكائنات ذات الصلة، مما يقلل العبء الحاسوبي ويسرّع الاستدلال.
• المرونة: تتيح تكييف النموذج بسهولة مع مهام الكشف الجديدة أو المتخصصة دون الحاجة إلى إعادة تدريب واسعة النطاق أو جمع بيانات إضافية.
• البساطة: تبسّط عملية النشر بإلغاء الحاجة إلى تحديد الفئات المخصصة بشكل متكرر أثناء التشغيل، مما يجعل النموذج قابلًا للاستخدام مباشرةً بمفرداته المضمّنة.
• الأداء: تعزز دقة الكشف للفئات المحددة من خلال تركيز انتباه النموذج وموارده على التعرّف على الكائنات المعرفة.

يوفر هذا النهج وسيلة قوية لتخصيص نماذج كشف الكائنات المتطورة لمهام محددة، مما يجعل الذكاء الاصطناعي المتقدم أكثر سهولةً وإفادةً في نطاق أوسع من التطبيقات العملية.

إعادة إنتاج النتائج الرسمية من الصفر (تجريبي)#

إعداد مجموعات البيانات#

• بيانات التدريب

• بيانات التحقق

بدء التدريب من الصفر#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Option 1: Use Python dictionary
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Option 2: Use YAML file (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
#       json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
#     - img_path: mixed_grounding/gqa/images
#       json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
#     - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # or data="yolo_world_data.yaml" if using YAML file
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

الاقتباسات والشكر والتقدير#

نتقدم بخالص الشكر إلى مركز Tencent AILab للرؤية الحاسوبية على عمله الرائد في الكشف الآني عن الكائنات بالمفردات المفتوحة باستخدام YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

لمزيد من القراءة، تتوفر ورقة YOLO-World الأصلية على arXiv. ويمكن الوصول إلى الشيفرة المصدرية للمشروع والموارد الإضافية عبر مستودع GitHub الخاص بهم. ونقدّر التزامهم بتطوير هذا المجال ومشاركة رؤاهم القيّمة مع المجتمع.

الأسئلة الشائعة#