Набор данных VisDrone

Q: Where can I find the configuration file for the VisDrone dataset in Ultralytics?

Конфигурационный файл для набора данных VisDrone, VisDrone.yaml, можно найти в репозитории Ultralytics по следующей ссылке: VisDrone.yaml.

Набор данных VisDrone - это масштабный эталон, созданный командой AISKYEYE в Лаборатории машинного обучения и добычи данных Тяньцзиньского университета, Китай. Он содержит тщательно аннотированные данные для различных задач компьютерного зрения, связанных с анализом изображений и видео с помощью дронов.

Смотреть: Как обучить модели Ultralytics YOLO на наборе данных VisDrone для анализа изображений с беспилотников

VisDrone состоит из 288 видеоклипов с 261 908 кадрами и 10 209 статичных изображений, снятых различными камерами, установленными на дронах. Набор данных охватывает широкий спектр аспектов, включая местоположение (14 различных городов Китая), окружающую среду (городская и сельская), объекты (пешеходы, автомобили, велосипеды и т. д.) и плотность (разреженные и переполненные сцены). Набор данных был собран с помощью различных беспилотных платформ в разных сценариях, при разных погодных условиях и освещении. Эти кадры вручную аннотированы более чем 2,6 миллионами ограничительных рамок таких объектов, как пешеходы, автомобили, велосипеды и трехколесные велосипеды. Для более эффективного использования данных также предусмотрены такие атрибуты, как видимость сцены, класс объекта и окклюзия.

Структура набора данных

Набор данных VisDrone состоит из пяти основных подмножеств, каждое из которых посвящено конкретной задаче:

Задание 1: Обнаружение объектов на изображениях
Задача 2: Обнаружение объектов на видео
Задача 3: Слежение за одним объектом
Задача 4: Слежение за несколькими объектами
Задание 5: Подсчет толпы

Приложения

Набор данных VisDrone широко используется для обучения и оценки моделей глубокого обучения в задачах компьютерного зрения на основе беспилотников, таких как обнаружение объектов, отслеживание объектов и подсчет толпы. Разнообразный набор данных датчиков, аннотаций объектов и атрибутов делает этот набор данных ценным ресурсом для исследователей и практиков в области беспилотного компьютерного зрения.

Набор данных YAML

Для определения конфигурации набора данных используется файл YAML (Yet Another Markup Language). Он содержит информацию о путях, классах и другую необходимую информацию о наборе данных. В случае с набором данных Visdrone файл VisDrone.yaml файл хранится по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.

ultralytics/cfg/datasets/VisDrone.yaml

# Ultralytics YOLO 🚀, AGPL-3.0 license
# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone/
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── VisDrone  ← downloads here (2.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/VisDrone # dataset root dir
train: VisDrone2019-DET-train/images # train images (relative to 'path')  6471 images
val: VisDrone2019-DET-val/images # val images (relative to 'path')  548 images
test: VisDrone2019-DET-test-dev/images # test images (optional)  1610 images

# Classes
names:
  0: pedestrian
  1: people
  2: bicycle
  3: car
  4: van
  5: truck
  6: tricycle
  7: awning-tricycle
  8: bus
  9: motor

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import os
  from pathlib import Path

  from ultralytics.utils.downloads import download

  def visdrone2yolo(dir):
      from PIL import Image
      from tqdm import tqdm

      def convert_box(size, box):
          # Convert VisDrone box to YOLO xywh box
          dw = 1. / size[0]
          dh = 1. / size[1]
          return (box[0] + box[2] / 2) * dw, (box[1] + box[3] / 2) * dh, box[2] * dw, box[3] * dh

      (dir / 'labels').mkdir(parents=True, exist_ok=True)  # make labels directory
      pbar = tqdm((dir / 'annotations').glob('*.txt'), desc=f'Converting {dir}')
      for f in pbar:
          img_size = Image.open((dir / 'images' / f.name).with_suffix('.jpg')).size
          lines = []
          with open(f, 'r') as file:  # read annotation.txt
              for row in [x.split(',') for x in file.read().strip().splitlines()]:
                  if row[4] == '0':  # VisDrone 'ignored regions' class 0
                      continue
                  cls = int(row[5]) - 1
                  box = convert_box(img_size, tuple(map(int, row[:4])))
                  lines.append(f"{cls} {' '.join(f'{x:.6f}' for x in box)}\n")
                  with open(str(f).replace(f'{os.sep}annotations{os.sep}', f'{os.sep}labels{os.sep}'), 'w') as fl:
                      fl.writelines(lines)  # write label.txt


  # Download
  dir = Path(yaml['path'])  # dataset root dir
  urls = ['https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-train.zip',
          'https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-val.zip',
          'https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-dev.zip',
          'https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-challenge.zip']
  download(urls, dir=dir, curl=True, threads=4)

  # Convert
  for d in 'VisDrone2019-DET-train', 'VisDrone2019-DET-val', 'VisDrone2019-DET-test-dev':
      visdrone2yolo(dir / d)  # convert VisDrone annotations to YOLO labels

Использование

Для обучения модели YOLO11n на наборе данных VisDrone в течение 100 эпох при размере изображения 640 можно использовать следующие фрагменты кода. Полный список доступных аргументов см. на странице обучения модели.

Пример поезда

PythonCLI

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolo11n.pt epochs=100 imgsz=640

Образцы данных и аннотации

Набор данных VisDrone содержит разнообразные изображения и видео, снятые камерами, установленными на дронах. Ниже приведены примеры данных из этого набора, а также соответствующие аннотации:

Образец изображения из набора данных

Задание 1: Обнаружение объектов на изображениях - Это изображение демонстрирует пример обнаружения объектов на изображениях, где объекты аннотированы с помощью ограничительных рамок. В наборе данных представлен широкий спектр изображений, полученных из разных мест, окружений и с разной плотностью, что облегчает разработку моделей для этой задачи.

Этот пример демонстрирует разнообразие и сложность данных в наборе данных VisDrone и подчеркивает важность высококачественных сенсорных данных для задач компьютерного зрения на основе беспилотников.

Цитаты и благодарности

Если вы используете набор данных VisDrone в своих исследованиях или разработках, пожалуйста, ссылайтесь на следующий документ:

BibTeX

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}}

Мы хотели бы выразить благодарность команде AISKYEYE из Лаборатории машинного обучения и добычи данных Университета Тяньцзинь, Китай, за создание и поддержку набора данных VisDrone как ценного ресурса для сообщества исследователей компьютерного зрения с помощью беспилотников. Для получения дополнительной информации о наборе данных VisDrone и его создателях посетите репозиторий VisDrone Dataset GitHub.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Что такое набор данных VisDrone и каковы его ключевые особенности?

VisDrone Dataset - это крупномасштабный эталон, созданный командой AISKYEYE из Тяньцзиньского университета, Китай. Он предназначен для решения различных задач компьютерного зрения, связанных с анализом изображений и видео с помощью дронов. Ключевые особенности включают:

Состав: 288 видеоклипов с 261 908 кадрами и 10 209 статичных изображений.
Аннотации: Более 2,6 миллиона ограничительных рамок для таких объектов, как пешеходы, автомобили, велосипеды и трехколесные велосипеды.
Разнообразие: Съемки проводились в 14 городах, в городской и сельской местности, при различных погодных условиях и освещении.
Задачи: Разделены на пять основных задач: обнаружение объектов на изображениях и видео, слежение за одним и несколькими объектами, подсчет толпы.

Как использовать набор данных VisDrone для обучения модели YOLO11 с помощью Ultralytics?

Чтобы обучить модель YOLO11 на наборе данных VisDrone в течение 100 эпох при размере изображения 640, выполните следующие действия:

Пример поезда

PythonCLI

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo11n.pt")

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolo11n.pt epochs=100 imgsz=640

Дополнительные возможности конфигурации см. на странице обучения модели.

Каковы основные подмножества набора данных VisDrone и их применение?

Набор данных VisDrone разделен на пять основных подмножеств, каждое из которых предназначено для решения конкретной задачи компьютерного зрения:

Задача 1: Обнаружение объектов на изображениях.
Задача 2: Обнаружение объектов на видео.
Задача 3: Слежение за одним объектом.
Задача 4: Слежение за несколькими объектами.
Задание 5: Подсчет толпы.

Эти подмножества широко используются для обучения и оценки моделей глубокого обучения в беспилотных приложениях, таких как наблюдение, мониторинг дорожного движения и общественная безопасность.

Где можно найти файл конфигурации для набора данных VisDrone в Ultralytics?

Конфигурационный файл для набора данных VisDrone, VisDrone.yamlможно найти в репозитории Ultralytics по следующей ссылке: VisDrone.yaml.

Как я могу ссылаться на набор данных VisDrone, если я использую его в своих исследованиях?

Если вы используете набор данных VisDrone в своих исследованиях или разработках, пожалуйста, ссылайтесь на следующий документ:

BibTeX

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}
}