Набор данных VisDrone
VisDrone Dataset - это масштабный бенчмарк, созданный командой AISKYEYE в лаборатории машинного обучения и добычи данных Тяньцзиньского университета, Китай. В нем содержатся тщательно аннотированные данные для различных задач компьютерного зрения, связанных с анализом изображений и видео с помощью дронов.
VisDrone состоит из 288 видеоклипов с 261 908 кадрами и 10 209 статичных изображений, снятых различными камерами, установленными на дронах. Набор данных охватывает широкий спектр аспектов, включая местоположение (14 разных городов Китая), окружение (городское и сельское), объекты (пешеходы, автомобили, велосипеды и т. д.) и плотность (разреженные и переполненные сцены). Набор данных был собран с помощью различных платформ дронов при разных сценариях, погодных условиях и освещении. Эти кадры вручную аннотированы и содержат более 2,6 миллиона ограничительных рамок таких объектов, как пешеходы, автомобили, велосипеды и трициклы. Для более эффективного использования данных также предусмотрены такие атрибуты, как видимость сцены, класс объекта и окклюзия.
Структура набора данных
Набор данных VisDrone разбит на пять основных подмножеств, каждое из которых посвящено определенной задаче:
- Задание 1: Обнаружение объектов на изображениях
- Задача 2: Обнаружение объектов на видео
- Задание 3: Слежение за одним объектом
- Задание 4: Слежение за несколькими объектами
- Задание 5: Подсчет толпы
Приложения
Набор данных VisDrone широко используется для обучения и оценки моделей глубокого обучения в задачах компьютерного зрения на основе дронов, таких как обнаружение объектов, отслеживание объектов и подсчет толпы. Разнообразный набор сенсорных данных, аннотаций объектов и атрибутов делает этот набор данных ценным ресурсом для исследователей и практиков в области беспилотного компьютерного зрения.
Набор данных YAML
Для определения конфигурации набора данных используется файл YAML (Yet Another Markup Language). Он содержит информацию о путях к набору данных, классах и другую необходимую информацию. В случае с набором данных Visdrone это VisDrone.yaml
файл хранится по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.
ultralytics/cfg/datasets/VisDrone.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone/
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
# └── VisDrone ← downloads here (2.3 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/VisDrone # dataset root dir
train: VisDrone2019-DET-train/images # train images (relative to 'path') 6471 images
val: VisDrone2019-DET-val/images # val images (relative to 'path') 548 images
test: VisDrone2019-DET-test-dev/images # test images (optional) 1610 images
# Classes
names:
0: pedestrian
1: people
2: bicycle
3: car
4: van
5: truck
6: tricycle
7: awning-tricycle
8: bus
9: motor
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import os
from pathlib import Path
from ultralytics.utils.downloads import download
def visdrone2yolo(dir):
from PIL import Image
from tqdm import tqdm
def convert_box(size, box):
# Convert VisDrone box to YOLO xywh box
dw = 1. / size[0]
dh = 1. / size[1]
return (box[0] + box[2] / 2) * dw, (box[1] + box[3] / 2) * dh, box[2] * dw, box[3] * dh
(dir / 'labels').mkdir(parents=True, exist_ok=True) # make labels directory
pbar = tqdm((dir / 'annotations').glob('*.txt'), desc=f'Converting {dir}')
for f in pbar:
img_size = Image.open((dir / 'images' / f.name).with_suffix('.jpg')).size
lines = []
with open(f, 'r') as file: # read annotation.txt
for row in [x.split(',') for x in file.read().strip().splitlines()]:
if row[4] == '0': # VisDrone 'ignored regions' class 0
continue
cls = int(row[5]) - 1
box = convert_box(img_size, tuple(map(int, row[:4])))
lines.append(f"{cls} {' '.join(f'{x:.6f}' for x in box)}\n")
with open(str(f).replace(f'{os.sep}annotations{os.sep}', f'{os.sep}labels{os.sep}'), 'w') as fl:
fl.writelines(lines) # write label.txt
# Download
dir = Path(yaml['path']) # dataset root dir
urls = ['https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-train.zip',
'https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-val.zip',
'https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-test-dev.zip',
'https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-test-challenge.zip']
download(urls, dir=dir, curl=True, threads=4)
# Convert
for d in 'VisDrone2019-DET-train', 'VisDrone2019-DET-val', 'VisDrone2019-DET-test-dev':
visdrone2yolo(dir / d) # convert VisDrone annotations to YOLO labels
Использование
Чтобы обучить модель YOLOv8n на наборе данных VisDrone в течение 100 эпох при размере изображения 640, ты можешь воспользоваться следующими фрагментами кода. Полный список доступных аргументов можно найти на странице обучения модели.
Пример поезда
Образцы данных и аннотации
Набор данных VisDrone содержит разнообразные изображения и видео, снятые камерами, установленными на дронах. Вот несколько примеров данных из этого набора, а также соответствующие аннотации к ним:
- Задание 1: Обнаружение объектов на изображениях - Это изображение демонстрирует пример обнаружения объектов на изображениях, где объекты аннотированы с помощью ограничительных рамок. В наборе данных представлен широкий спектр изображений, полученных из разных мест, окружений и с разной плотностью, что облегчает разработку моделей для этой задачи.
Этот пример демонстрирует разнообразие и сложность данных в наборе данных VisDrone и подчеркивает важность высококачественных сенсорных данных для задач компьютерного зрения, основанных на дронах.
Цитаты и благодарности
Если ты используешь набор данных VisDrone в своих исследованиях или разработках, пожалуйста, ссылайся на следующую статью:
@ARTICLE{9573394,
author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
title={Detection and Tracking Meet Drones Challenge},
year={2021},
volume={},
number={},
pages={1-1},
doi={10.1109/TPAMI.2021.3119563}}
Мы хотели бы выразить благодарность команде AISKYEYE из Лаборатории машинного обучения и добычи данных Тяньцзиньского университета (Китай) за создание и поддержку набора данных VisDrone как ценного ресурса для сообщества исследователей компьютерного зрения, основанного на дронах. Чтобы узнать больше о наборе данных VisDrone и его создателях, посети репозиторий VisDrone Dataset GitHub.