Модель YOLO-World#

Модель YOLO-World представляет собой передовой подход на основе Ultralytics YOLOv8 для задач обнаружения объектов с открытым словарём в реальном времени. Эта технология позволяет обнаруживать на изображении любые объекты по текстовым описаниям. YOLO-World значительно снижает вычислительные требования, сохраняя конкурентоспособную производительность, и становится универсальным инструментом для множества приложений компьютерного зрения.

Обзор#

YOLO-World решает проблемы традиционных моделей обнаружения объектов с открытым словарём, которые часто зависят от громоздких моделей Transformer и требуют значительных вычислительных ресурсов. Зависимость таких моделей от заранее заданных категорий объектов также ограничивает их применение в динамичных сценариях. YOLO-World расширяет возможности фреймворка YOLOv8, добавляя обнаружение объектов с открытым словарём, используя моделирование «зрение — язык» и предварительное обучение на обширных наборах данных. Благодаря этому модель эффективно распознаёт широкий спектр объектов в сценариях zero-shot.

Для задач с открытым словарём, где также нужны маски экземпляров, визуальные подсказки или режим без подсказок, используй YOLOE: в нём сохранён тот же API set_classes().

Основные особенности#

1. Решение для работы в реальном времени: используя вычислительную скорость CNN, YOLO-World обеспечивает быстрое обнаружение объектов с открытым словарём и подходит отраслям, которым нужны немедленные результаты.

2. Эффективность и производительность: YOLO-World значительно сокращает вычислительные и ресурсные требования без потери производительности. Это надёжная альтернатива таким моделям, как SAM, но с гораздо меньшими вычислительными затратами, что позволяет использовать модель в приложениях реального времени.

3. Инференс с офлайн-словарём: YOLO-World использует стратегию «сначала подсказка, затем обнаружение» и офлайн-словарь для дальнейшего повышения эффективности. Этот подход позволяет заранее вычислять пользовательские подсказки, включая подписи или категории, кодировать их и сохранять в виде векторов офлайн-словаря, ускоряя процесс обнаружения.

4. На базе YOLOv8: созданная на основе Ultralytics YOLOv8, модель YOLO-World использует новейшие достижения в обнаружении объектов реального времени, обеспечивая обнаружение с открытым словарём с исключительной точностью и скоростью.

5. Превосходные результаты на бенчмарках: YOLO-World превосходит существующие детекторы с открытым словарём, включая серии MDETR и GLIP, по скорости и эффективности на стандартных бенчмарках, демонстрируя преимущества YOLOv8 на одном GPU NVIDIA V100.

6. Широкий спектр применений: инновационный подход YOLO-World открывает новые возможности для множества задач компьютерного зрения и обеспечивает ускорение на порядки по сравнению с существующими методами.

Доступные модели, поддерживаемые задачи и режимы работы#

В этом разделе описаны доступные модели и соответствующие предварительно обученные веса, поддерживаемые задачи и совместимость с различными режимами работы, такими как инференс, валидация, обучение и экспорт. ✅ обозначает поддерживаемые режимы, а ❌ — неподдерживаемые.

Перенос обучения без примеров на наборе данных COCO#

Примеры использования#

Модели YOLO-World легко интегрировать в приложения на Python. Ultralytics предоставляет удобные Python API и команды CLI, чтобы упростить разработку.

Использование для обучения#

Обнаружение объектов с помощью метода train не вызывает затруднений, как показано ниже:

from ultralytics import YOLOWorld

# Загрузить предварительно обученную модель YOLOv8s-worldv2
model = YOLOWorld("yolov8s-worldv2.pt")

# Обучить модель на демонстрационном наборе данных COCO8 в течение 100 эпох
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Запустить инференс модели YOLO-World на изображении 'bus.jpg'
results = model("path/to/bus.jpg")

Использование для предсказаний#

Обнаружение объектов с помощью метода predict не вызывает затруднений, как показано ниже:

from ultralytics import YOLOWorld

# Инициализировать модель YOLO-World
model = YOLOWorld("yolov8s-world.pt")  # или выбрать yolov8m/l-world.pt для моделей другого размера

# Выполнить инференс модели YOLOv8s-world на указанном изображении
results = model.predict("path/to/image.jpg")

# Показать результаты
results[0].show()

Этот фрагмент показывает, как просто загрузить предварительно обученную модель и выполнить предсказание для изображения.

Использование для валидации#

Проверить модель на наборе данных можно следующим образом:

from ultralytics import YOLO

# Создать модель YOLO-World
model = YOLO("yolov8s-world.pt")  # или выбрать yolov8m/l-world.pt для моделей другого размера

# Провести проверку модели на примере набора данных COCO8
metrics = model.val(data="coco8.yaml")

Отслеживание объектов#

Отслеживание объектов моделью YOLO-World на видео или изображениях выполняется следующим образом:

from ultralytics import YOLO

# Создать модель YOLO-World
model = YOLO("yolov8s-world.pt")  # или выбрать yolov8m/l-world.pt для моделей другого размера

# Отслеживание с помощью модели YOLO-World на видео
results = model.track(source="path/to/video.mp4")

Задание промптов#

Фреймворк YOLO-World позволяет динамически задавать классы с помощью пользовательских промптов, чтобы адаптировать модель под конкретные потребности без переобучения. Эта возможность особенно полезна, когда нужно адаптировать модель к новым предметным областям или конкретным задачам, которые изначально не входили в обучающие данные. Задавая пользовательские промпты, ты можешь направить внимание модели на интересующие объекты, повысив релевантность и точность результатов обнаружения.

Например, если твоему приложению нужно обнаруживать только объекты «человек» и «автобус», можно указать эти классы напрямую:

from ultralytics import YOLO

# Инициализировать модель YOLO-World
model = YOLO("yolov8s-world.pt")  # или выбрать yolov8m/l-world.pt

# Определить пользовательские классы
model.set_classes(["person", "bus"])

# Выполнить предсказание указанных категорий на изображении
results = model.predict("path/to/image.jpg")

# Показать результаты
results[0].show()

model.set_classes(["person", "bus", ""])

Также можно сохранить модель после задания пользовательских классов. Так ты создашь версию модели YOLO-World, специализированную для конкретного сценария использования. Этот процесс встраивает определения пользовательских классов непосредственно в файл модели, поэтому она будет готова к работе с указанными классами без дополнительных изменений. Выполни следующие действия, чтобы сохранить и загрузить пользовательскую модель YOLO-World:

from ultralytics import YOLO

# Инициализировать модель YOLO-World
model = YOLO("yolov8s-world.pt")  # или выбрать yolov8m/l-world.pt

# Определить пользовательские классы
model.set_classes(["person", "bus"])

# Сохранить модель с заданным автономным словарём
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Загрузить пользовательскую модель
model = YOLO("custom_yolov8s.pt")

# Запустить инференс для обнаружения пользовательских классов
results = model.predict("path/to/image.jpg")

# Показать результаты
results[0].show()

Преимущества сохранения модели с пользовательским словарём#

• Эффективность: Ускоряет процесс обнаружения, фокусируясь на релевантных объектах, сокращая вычислительные затраты и ускоряя инференс.
• Гибкость: Позволяет легко адаптировать модель к новым или узкоспециализированным задачам обнаружения без масштабного переобучения или сбора данных.
• Простота: Упрощает развёртывание: больше не нужно каждый раз указывать пользовательские классы во время выполнения, поскольку модель сразу готова к работе со встроенным словарём.
• Производительность: Повышает точность обнаружения заданных классов, направляя внимание и ресурсы модели на распознавание определённых объектов.

Этот подход позволяет эффективно адаптировать современные модели обнаружения объектов к конкретным задачам, делая передовые решения ИИ доступнее и полезнее для широкого круга практических приложений.

Воспроизведение официальных результатов с нуля (экспериментально)#

Подготовка наборов данных#

• Обучающие данные

• Валидационные данные

Запуск обучения с нуля#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Вариант 1: использовать словарь Python
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Вариант 2: использовать YAML-файл (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
# json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
# - img_path: mixed_grounding/gqa/images
# json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
# - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # или data="yolo_world_data.yaml", если используется YAML-файл
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Цитирование и благодарности#

Благодарим Tencent AILab Computer Vision Center за новаторскую работу в области обнаружения объектов с открытым словарём в реальном времени с помощью YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Подробнее об этом можно узнать из оригинальной статьи о YOLO-World на arXiv. Исходный код проекта и дополнительные материалы доступны в их репозитории GitHub. Мы ценим стремление команды развивать эту область и делиться ценными идеями с сообществом.

Часто задаваемые вопросы#