Набор данных VisDrone#
Набор данных VisDrone — крупномасштабный бенчмарк изображений с дронов. Его поднабор для обнаружения (VisDrone2019-DET) содержит 8 629 аэрофотоснимков — 6 471 для обучения, 548 для валидации и 1 610 для тестирования (test-dev) — с разметкой 10 классов объектов для обнаружения объектов. Набор создан командой AISKYEYE из лаборатории машинного обучения и интеллектуального анализа данных Тяньцзиньского университета в Китае.
Смотри: Как обучить Ultralytics YOLO на датасете VisDrone | Обнаружение объектов с воздуха | Полное руководство 🚀
Полный бенчмарк VisDrone включает 288 видеороликов (261 908 кадров) и 10 209 статичных изображений, снятых установленными на дронах камерами в 14 городах Китая. В нём представлены городская и сельская местность, малолюдные и многолюдные сцены, а также различные погодные условия и освещение. На кадрах вручную размечено более 2,6 миллиона ограничивающих рамок, дополненных такими атрибутами, как видимость сцены, класс объекта и степень перекрытия. В конфигурации Ultralytics VisDrone.yaml используется поднабор статичных изображений VisDrone2019-DET.
Основные особенности#
- Мелкие и плотно расположенные объекты: Съёмка с воздуха делает объекты крошечными и тесно сгруппированными: только на 548 изображениях для валидации размечено 38 759 рамок, в среднем около 70 объектов на изображение.
- Разнообразие сцен: Снимки из 14 китайских городов охватывают городскую и сельскую местность, день и ночь, а также различные погодные условия.
- Подробная разметка: Более 2,6 миллиона рамок по всему бенчмарку с атрибутами перекрытия и видимости.
- Заранее заданные разбиения: Фиксированные части train / val / test-dev (6 471 / 548 / 1 610 изображений) обеспечивают единообразную оценку.
Структура набора данных#
Конфигурация Ultralytics для VisDrone охватывает поднабор изображений VisDrone2019-DET, разделённый на три части:
| Подвыборка | Изображения | Описание |
|---|---|---|
| Обучение | 6,471 | Размеченные аэрофотоснимки, используемые для обучения детектора |
| Валидация | 548 | Изображения, используемые для оценки во время разработки |
| Test-dev | 1,610 | Отложенные изображения для итоговой оценки обученной модели |
Четвёртая часть, test-challenge (1 580 изображений), зарезервирована для соревнования VisDrone и не загружается, поэтому полный набор DET содержит 10 209 изображений.
В наборе размечено 10 классов объектов: пешеход, люди, велосипед, автомобиль, фургон, грузовик, трицикл, трицикл с навесом, автобус и мотоцикл. В VisDrone классы пешеход (человек, стоящий или идущий) и люди (человек в любой другой позе) различаются.
При первом использовании скрипт загрузки преобразует исходную разметку VisDrone в формат YOLO, пропуская области, помеченные как игнорируемые (это также исключает неиспользуемую категорию «others»).
Применение#
Плотные сцены и крошечные объекты в VisDrone делают этот набор стандартным бенчмарком для обнаружения мелких объектов на снимках с воздуха. Типичные области применения:
- Мониторинг дорожного движения и подсчёт автомобилей с БПЛА
- Анализ толпы и видеонаблюдение для обеспечения общественной безопасности
- Проверка инфраструктуры и строительных площадок
- Исследования в области компьютерного зрения для обнаружения мелких объектов в загруженных сценах
Другие бенчмарки аэрофотоснимков: ориентированный на спутниковые снимки набор данных xView и набор данных DOTA-v2 с ориентированными рамками.
Файл YAML набора данных#
Файл VisDrone.yaml задаёт конфигурацию набора данных: пути к данным, названия классов и скрипт автоматической загрузки и преобразования. Файл поддерживается в репозитории Ultralytics по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
# └── VisDrone ← downloads here (~2 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: VisDrone # dataset root dir
train: images/train # train images (relative to 'path') 6471 images
val: images/val # val images (relative to 'path') 548 images
test: images/test # test-dev images (optional) 1610 images
# Classes
names:
0: pedestrian
1: people
2: bicycle
3: car
4: van
5: truck
6: tricycle
7: awning-tricycle
8: bus
9: motor
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import os
from pathlib import Path
import shutil
from ultralytics.utils.downloads import download
from ultralytics.utils import ASSETS_URL, TQDM
def visdrone2yolo(dir, split, source_name=None):
"""Convert VisDrone annotations to YOLO format with images/{split} and labels/{split} structure."""
from PIL import Image
source_dir = dir / (source_name or f"VisDrone2019-DET-{split}")
images_dir = dir / "images" / split
labels_dir = dir / "labels" / split
labels_dir.mkdir(parents=True, exist_ok=True)
# Move images to new structure
if (source_images_dir := source_dir / "images").exists():
images_dir.mkdir(parents=True, exist_ok=True)
for img in source_images_dir.glob("*.jpg"):
img.rename(images_dir / img.name)
for f in TQDM((source_dir / "annotations").glob("*.txt"), desc=f"Converting {split}"):
img_size = Image.open(images_dir / f.with_suffix(".jpg").name).size
dw, dh = 1.0 / img_size[0], 1.0 / img_size[1]
lines = []
with open(f, encoding="utf-8") as file:
for row in [x.split(",") for x in file.read().strip().splitlines()]:
if row[4] != "0": # Skip ignored regions
x, y, w, h = map(int, row[:4])
cls = int(row[5]) - 1
# Convert to YOLO format
x_center, y_center = (x + w / 2) * dw, (y + h / 2) * dh
w_norm, h_norm = w * dw, h * dh
lines.append(f"{cls} {x_center:.6f} {y_center:.6f} {w_norm:.6f} {h_norm:.6f}\n")
(labels_dir / f.name).write_text("".join(lines), encoding="utf-8")
# Download (ignores test-challenge split)
dir = Path(yaml["path"]) # dataset root dir
urls = [
f"{ASSETS_URL}/VisDrone2019-DET-train.zip",
f"{ASSETS_URL}/VisDrone2019-DET-val.zip",
f"{ASSETS_URL}/VisDrone2019-DET-test-dev.zip",
# f"{ASSETS_URL}/VisDrone2019-DET-test-challenge.zip",
]
download(urls, dir=dir, threads=4)
# Convert
splits = {"VisDrone2019-DET-train": "train", "VisDrone2019-DET-val": "val", "VisDrone2019-DET-test-dev": "test"}
for folder, split in splits.items():
visdrone2yolo(dir, split, folder) # convert VisDrone annotations to YOLO labels
shutil.rmtree(dir / folder) # cleanup original directoryИспользование#
VisDrone загружается автоматически при первом запуске обучения — три архива общим размером около 2 ГБ. Во время распаковки и преобразования требуется примерно 4 ГБ свободного места на диске.
Чтобы обучить модель YOLO26n на наборе данных VisDrone в течение 100 эпох с размером изображения 640, используй следующие фрагменты кода. Полный список доступных аргументов смотри на странице Обучение моделей.
from ultralytics import YOLO
# Загрузить модель
model = YOLO("yolo26n.pt") # загрузить предварительно обученную модель (рекомендуется для обучения)
# Обучи модель — при первом запуске датасет скачается автоматически
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)Чтобы размечать дополнительные аэрофотоснимки и управлять запусками обучения VisDrone в браузере, используй Ultralytics Platform.
Примеры данных и аннотаций#
На примере ниже показана типичная сцена из VisDrone: вид с воздуха на оживлённую дорогу, где пешеходы и автомобили представлены мелкими, плотно расположенными объектами, многие из которых частично перекрывают друг друга.
Цитирование и благодарности#
Если ты используешь набор данных VisDrone в исследованиях или разработке, укажи следующую статью:
@ARTICLE{9573394,
author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
title={Detection and Tracking Meet Drones Challenge},
year={2022},
volume={44},
number={11},
pages={7380-7399},
doi={10.1109/TPAMI.2021.3119563}}Благодарим команду AISKYEYE из лаборатории машинного обучения и интеллектуального анализа данных Тяньцзиньского университета в Китае за создание и поддержку набора данных VisDrone. Подробнее смотри в репозитории VisDrone на GitHub.
Часто задаваемые вопросы#
VisDrone используют для обучения детекторов и оценки их качества на снимках с дронов, где объекты мелкие, плотно расположены и видны сверху. Сочетание ракурсов с воздуха, многолюдных сцен и разнообразных условий делает этот набор стандартной тестовой площадкой для мониторинга дорожного движения с помощью БПЛА, анализа толпы и исследований по обнаружению мелких объектов.
Конфигурация VisDrone в Ultralytics содержит 8 629 изображений: 6 471 для обучения, 548 для валидации и 1 610 для тестирования (test-dev). Во всех частях представлены одни и те же 10 классов: пешеход, люди, велосипед, автомобиль, фургон, грузовик, трицикл, трицикл с навесом, автобус и мотоцикл. Полную разбивку смотри в разделе Структура набора данных.
VisDrone автоматически загружается при первом запуске обучения с помощью
data="VisDrone.yaml"— вручную ничего делать не нужно. Скрипт скачивает три архива (около 2 ГБ) из ресурсов релиза Ultralytics на GitHub и преобразует разметку в формат YOLO. Зарезервированная для соревнования часть test-challenge не включена.Обучи модель YOLO26n на VisDrone в течение 100 эпох с размером изображения 640:
Пример обученияfrom ultralytics import YOLO # Загрузить модель model = YOLO("yolo26n.pt") # загрузить предварительно обученную модель (рекомендуется для обучения) # Обучить модель results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)Подробную информацию о конфигурации смотри на странице Обучение и в советах по обучению моделей.
Объекты в VisDrone очень мелкие относительно кадра — часто всего несколько десятков пикселей — и встречаются плотными группами с сильными перекрытиями, что затрудняет работу детекторов, настроенных на наземные фотографии. Обучение и предсказание при более высоком разрешении (например,
imgsz=1280с меньшим размером пакета) помогает обнаруживать мелкие объекты, а тайловый инференс SAHI разбивает большие изображения на фрагменты, чтобы мелкие объекты занимали большую часть каждого окна инференса.Полный бенчмарк VisDrone охватывает пять задач — обнаружение объектов на изображениях, обнаружение объектов в видео, отслеживание одного объекта, отслеживание нескольких объектов и подсчёт людей в толпе — на 288 видеороликах и 10 209 статичных изображениях. Конфигурация Ultralytics
VisDrone.yamlохватывает только задачу обнаружения на изображениях (VisDrone2019-DET) и загружает 6 471 изображение для обучения, 548 для валидации и 1 610 для test-dev.Укажи статью «Detection and Tracking Meet Drones Challenge» (IEEE TPAMI, том 44, № 11, 2022, DOI 10.1109/TPAMI.2021.3119563); полная запись BibTeX приведена выше в разделе Цитирование и благодарности.