Набор данных VisDrone
VisDrone Dataset – это масштабный бенчмарк, созданный командой AISKYEYE в лаборатории Machine Learning и Data Mining Тяньцзиньского университета, Китай. Он содержит тщательно аннотированные данные ground truth для различных задач компьютерного зрения, связанных с анализом изображений и видео, полученных с дронов.
Смотреть: Как обучить модели Ultralytics YOLO на наборе данных VisDrone для анализа изображений с дронов
VisDrone состоит из 288 видеоклипов с 261 908 кадрами и 10 209 статическими изображениями, снятыми различными камерами, установленными на дронах. Набор данных охватывает широкий спектр аспектов, включая местоположение (14 различных городов по всему Китаю), окружающую среду (городская и сельская), объекты (пешеходы, транспортные средства, велосипеды и т. д.) и плотность (редкие и переполненные сцены). Набор данных был собран с использованием различных платформ дронов в различных сценариях, погодных и световых условиях. Эти кадры вручную аннотированы более чем 2,6 миллионами ограничивающих рамок целей, таких как пешеходы, автомобили, велосипеды и трехколесные велосипеды. Для лучшего использования данных также предоставлены атрибуты, такие как видимость сцены, класс объекта и окклюзия.
Структура набора данных
Набор данных VisDrone организован в пять основных подмножеств, каждое из которых посвящено конкретной задаче:
- Задача 1: Обнаружение объектов на изображениях
- Задача 2: Обнаружение объектов на видео
- Задача 3: Отслеживание единичного объекта
- Задача 4: Отслеживание нескольких объектов
- Задача 5: Подсчет людей в толпе
Приложения
Набор данных VisDrone широко используется для обучения и оценки моделей глубокого обучения в задачах компьютерного зрения на основе дронов, таких как обнаружение объектов, отслеживание объектов и подсчет толпы. Разнообразный набор данных датчиков, аннотаций объектов и атрибутов делает его ценным ресурсом для исследователей и практиков в области компьютерного зрения на основе дронов.
YAML-файл набора данных
YAML-файл (Yet Another Markup Language) используется для определения конфигурации набора данных. Он содержит информацию о путях, классах и другую релевантную информацию о наборе данных. В случае набора данных Visdrone, VisDrone.yaml
файл поддерживается по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.
ultralytics/cfg/datasets/VisDrone.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone/
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
# └── VisDrone ← downloads here (2.3 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: VisDrone # dataset root dir
train: images/train # train images (relative to 'path') 6471 images
val: images/val # val images (relative to 'path') 548 images
test: images/test # test-dev images (optional) 1610 images
# Classes
names:
0: pedestrian
1: people
2: bicycle
3: car
4: van
5: truck
6: tricycle
7: awning-tricycle
8: bus
9: motor
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import os
from pathlib import Path
import shutil
from ultralytics.utils.downloads import download
from ultralytics.utils import TQDM
def visdrone2yolo(dir, split, source_name=None):
"""Convert VisDrone annotations to YOLO format with images/{split} and labels/{split} structure."""
from PIL import Image
source_dir = dir / (source_name or f"VisDrone2019-DET-{split}")
images_dir = dir / "images" / split
labels_dir = dir / "labels" / split
labels_dir.mkdir(parents=True, exist_ok=True)
# Move images to new structure
if (source_images_dir := source_dir / "images").exists():
images_dir.mkdir(parents=True, exist_ok=True)
for img in source_images_dir.glob("*.jpg"):
img.rename(images_dir / img.name)
for f in TQDM((source_dir / "annotations").glob("*.txt"), desc=f"Converting {split}"):
img_size = Image.open(images_dir / f.with_suffix(".jpg").name).size
dw, dh = 1.0 / img_size[0], 1.0 / img_size[1]
lines = []
with open(f, encoding="utf-8") as file:
for row in [x.split(",") for x in file.read().strip().splitlines()]:
if row[4] != "0": # Skip ignored regions
x, y, w, h = map(int, row[:4])
cls = int(row[5]) - 1
# Convert to YOLO format
x_center, y_center = (x + w / 2) * dw, (y + h / 2) * dh
w_norm, h_norm = w * dw, h * dh
lines.append(f"{cls} {x_center:.6f} {y_center:.6f} {w_norm:.6f} {h_norm:.6f}\n")
(labels_dir / f.name).write_text("".join(lines), encoding="utf-8")
# Download (ignores test-challenge split)
dir = Path(yaml["path"]) # dataset root dir
urls = [
"https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-train.zip",
"https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-val.zip",
"https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-dev.zip",
# "https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-challenge.zip",
]
download(urls, dir=dir, threads=4)
# Convert
splits = {"VisDrone2019-DET-train": "train", "VisDrone2019-DET-val": "val", "VisDrone2019-DET-test-dev": "test"}
for folder, split in splits.items():
visdrone2yolo(dir, split, folder) # convert VisDrone annotations to YOLO labels
shutil.rmtree(dir / folder) # cleanup original directory
Использование
Чтобы обучить модель YOLO11n на наборе данных VisDrone в течение 100 эпох с размером изображения 640, вы можете использовать следующие фрагменты кода. Для получения полного списка доступных аргументов обратитесь к странице Обучение модели.
Пример обучения
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolo11n.pt epochs=100 imgsz=640
Примеры данных и аннотации
Набор данных VisDrone содержит разнообразный набор изображений и видео, снятых камерами, установленными на дронах. Вот несколько примеров данных из набора данных вместе с соответствующими аннотациями:
- Задача 1: Обнаружение объектов на изображениях - Это изображение демонстрирует пример обнаружения объектов на изображениях, где объекты аннотированы с помощью ограничивающих рамок. Набор данных предоставляет широкий спектр изображений, сделанных в разных местах, средах и с разной плотностью, чтобы облегчить разработку моделей для этой задачи.
Этот пример демонстрирует разнообразие и сложность данных в наборе данных VisDrone и подчеркивает важность высококачественных данных датчиков для задач компьютерного зрения на основе дронов.
Цитирование и благодарности
Если вы используете набор данных VisDrone в своих исследованиях или разработках, пожалуйста, сошлитесь на следующую статью:
@ARTICLE{9573394,
author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
title={Detection and Tracking Meet Drones Challenge},
year={2021},
volume={},
number={},
pages={1-1},
doi={10.1109/TPAMI.2021.3119563}}
Мы хотели бы поблагодарить команду AISKYEYE из Лаборатории машинного обучения и интеллектуального анализа данных Тяньцзиньского университета, Китай, за создание и поддержку набора данных VisDrone в качестве ценного ресурса для исследовательского сообщества компьютерного зрения на основе дронов. Для получения дополнительной информации о наборе данных VisDrone и его создателях посетите репозиторий VisDrone Dataset GitHub.
Часто задаваемые вопросы
Что такое набор данных VisDrone и каковы его ключевые особенности?
VisDrone Dataset – это масштабный бенчмарк, созданный командой AISKYEYE в Тяньцзиньском университете, Китай. Он предназначен для различных задач компьютерного зрения, связанных с анализом изображений и видео, полученных с дронов. Ключевые особенности включают в себя:
- Состав: 288 видеоклипов с 261 908 кадрами и 10 209 статическими изображениями.
- Аннотации: Более 2,6 миллиона ограничивающих рамок для таких объектов, как пешеходы, автомобили, велосипеды и трехколесные велосипеды.
- Разнообразие: Собран в 14 городах, в городских и сельских условиях, при различных погодных условиях и освещении.
- Задачи: Разделены на пять основных задач: обнаружение объектов на изображениях и видео, отслеживание единичных и множественных объектов, а также подсчет людей в толпе.
Как я могу использовать датасет VisDrone для обучения модели YOLO11 с помощью Ultralytics?
Чтобы обучить модель YOLO11 на наборе данных VisDrone в течение 100 эпох с размером изображения 640, вы можете выполнить следующие шаги:
Пример обучения
from ultralytics import YOLO
# Load a pretrained model
model = YOLO("yolo11n.pt")
# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolo11n.pt epochs=100 imgsz=640
Для получения дополнительных параметров конфигурации, пожалуйста, обратитесь к странице Обучение модели.
Каковы основные подмножества набора данных VisDrone и их применение?
Набор данных VisDrone разделен на пять основных подмножеств, каждое из которых предназначено для конкретной задачи компьютерного зрения:
- Задача 1: Обнаружение объектов на изображениях.
- Задача 2: Обнаружение объектов на видео.
- Задача 3: Отслеживание единичного объекта.
- Задача 4: Отслеживание множества объектов.
- Задача 5: Подсчет людей в толпе.
Эти подмножества широко используются для обучения и оценки моделей глубокого обучения в приложениях на основе дронов, таких как наблюдение, мониторинг трафика и общественная безопасность.
Где я могу найти файл конфигурации для набора данных VisDrone в Ultralytics?
Файл конфигурации для набора данных VisDrone, VisDrone.yaml
, можно найти в репозитории Ultralytics по следующей ссылке:
VisDrone.yaml.
Как мне сослаться на набор данных VisDrone, если я использую его в своих исследованиях?
Если вы используете набор данных VisDrone в своих исследованиях или разработках, пожалуйста, сошлитесь на следующую статью:
@ARTICLE{9573394,
author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
title={Detection and Tracking Meet Drones Challenge},
year={2021},
volume={},
number={},
pages={1-1},
doi={10.1109/TPAMI.2021.3119563}
}