Link to this sectionНабор данных VisDrone#

VisDrone Dataset — это крупномасштабный эталонный набор данных для аэрофотосъемки с дронов, чей поднабор для обнаружения (VisDrone2019-DET) содержит 8 629 изображений с воздуха — 6 471 обучающее, 548 валидационных и 1 610 тестовых (test-dev), аннотированных по 10 классам объектов для обнаружения объектов. Он был создан командой AISKYEYE в Лаборатории машинного обучения и интеллектуального анализа данных, Тяньцзиньский университет, Китай.

Полный эталонный набор VisDrone включает 288 видеоклипов (261 908 кадров) и 10 209 статических изображений, снятых камерами на дронах в 14 разных городах Китая, охватывая городские и сельские условия, разреженные и переполненные сцены, а также различные погодные и световые условия. Кадры содержат более 2,6 миллиона вручную аннотированных ограничивающих рамок с дополнительными атрибутами, такими как видимость сцены, класс объекта и окклюзия. Конфигурация Ultralytics VisDrone.yaml использует поднабор статических изображений VisDrone2019-DET из этого эталона.

Link to this sectionКлючевые особенности#

• Маленькие, плотные объекты: Аэрофотосъемка делает цели крошечными и скученными — только 548 изображений валидации содержат 38 759 размеченных рамок, в среднем около 70 объектов на изображение.
• Разнообразие сцен: Снимки из 14 китайских городов, охватывающие городские и сельские локации, день и ночь, а также различные погодные условия.
• Богатые аннотации: Более 2,6 миллиона рамок во всем наборе данных, включая атрибуты окклюзии и видимости.
• Предопределенные разделения: Фиксированные разделения на train / val / test-dev (6 471 / 548 / 1 610 изображений) для последовательной оценки.

Link to this sectionСтруктура набора данных#

Конфигурация Ultralytics VisDrone охватывает поднабор изображений VisDrone2019-DET, разделенный на три части:

Четвертое разделение, test-challenge (1 580 изображений), зарезервировано для соревнований VisDrone и не скачивается, поэтому полный набор DET насчитывает 10 209 изображений.

Набор данных аннотирует 10 классов объектов: pedestrian (пешеход), people (люди), bicycle (велосипед), car (автомобиль), van (фургон), truck (грузовик), tricycle (трехколесный велосипед), awning-tricycle (трехколесный велосипед с навесом), bus (автобус) и motor (мотоцикл). VisDrone различает pedestrian (человек, который стоит или идет) и people (человек в любой другой позе).

Link to this sectionПрименение#

Плотные сцены и крошечные цели VisDrone делают его стандартным эталоном для обнаружения объектов малого размера с воздуха. Распространенные области применения включают:

• Мониторинг дорожного движения и подсчет транспортных средств с помощью БПЛА
• Анализ толпы и наблюдение в целях общественной безопасности
• Инспекция инфраструктуры и строительных площадок
• Компьютерное зрение, исследования по обнаружению мелких объектов в захламленных сценах

Другие эталонные наборы данных аэрофотосъемки см. в наборе данных xView, ориентированном на спутниковые снимки, или в наборе DOTA-v2 с ориентированными рамками.

Link to this sectionYAML набора данных#

Файл VisDrone.yaml определяет конфигурацию набора данных — пути к данным, имена классов и скрипт автоматической загрузки и преобразования. Он поддерживается в репозитории Ultralytics по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── VisDrone ← downloads here (~2 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: VisDrone # dataset root dir
train: images/train # train images (relative to 'path') 6471 images
val: images/val # val images (relative to 'path') 548 images
test: images/test # test-dev images (optional) 1610 images

# Classes
names:
  0: pedestrian
  1: people
  2: bicycle
  3: car
  4: van
  5: truck
  6: tricycle
  7: awning-tricycle
  8: bus
  9: motor

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import os
  from pathlib import Path
  import shutil

  from ultralytics.utils.downloads import download
  from ultralytics.utils import ASSETS_URL, TQDM

  def visdrone2yolo(dir, split, source_name=None):
      """Convert VisDrone annotations to YOLO format with images/{split} and labels/{split} structure."""
      from PIL import Image

      source_dir = dir / (source_name or f"VisDrone2019-DET-{split}")
      images_dir = dir / "images" / split
      labels_dir = dir / "labels" / split
      labels_dir.mkdir(parents=True, exist_ok=True)

      # Move images to new structure
      if (source_images_dir := source_dir / "images").exists():
          images_dir.mkdir(parents=True, exist_ok=True)
          for img in source_images_dir.glob("*.jpg"):
              img.rename(images_dir / img.name)

      for f in TQDM((source_dir / "annotations").glob("*.txt"), desc=f"Converting {split}"):
          img_size = Image.open(images_dir / f.with_suffix(".jpg").name).size
          dw, dh = 1.0 / img_size[0], 1.0 / img_size[1]
          lines = []

          with open(f, encoding="utf-8") as file:
              for row in [x.split(",") for x in file.read().strip().splitlines()]:
                  if row[4] != "0":  # Skip ignored regions
                      x, y, w, h = map(int, row[:4])
                      cls = int(row[5]) - 1
                      # Convert to YOLO format
                      x_center, y_center = (x + w / 2) * dw, (y + h / 2) * dh
                      w_norm, h_norm = w * dw, h * dh
                      lines.append(f"{cls} {x_center:.6f} {y_center:.6f} {w_norm:.6f} {h_norm:.6f}\n")

          (labels_dir / f.name).write_text("".join(lines), encoding="utf-8")

  # Download (ignores test-challenge split)
  dir = Path(yaml["path"])  # dataset root dir
  urls = [
      f"{ASSETS_URL}/VisDrone2019-DET-train.zip",
      f"{ASSETS_URL}/VisDrone2019-DET-val.zip",
      f"{ASSETS_URL}/VisDrone2019-DET-test-dev.zip",
      # f"{ASSETS_URL}/VisDrone2019-DET-test-challenge.zip",
  ]
  download(urls, dir=dir, threads=4)

  # Convert
  splits = {"VisDrone2019-DET-train": "train", "VisDrone2019-DET-val": "val", "VisDrone2019-DET-test-dev": "test"}
  for folder, split in splits.items():
      visdrone2yolo(dir, split, folder)  # convert VisDrone annotations to YOLO labels
      shutil.rmtree(dir / folder)  # cleanup original directory

Link to this sectionИспользование#

Чтобы обучить модель YOLO26n на наборе данных VisDrone в течение 100 эпох с размером изображения 640, можешь использовать следующие фрагменты кода. Полный список доступных аргументов смотри на странице Обучение модели.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model - dataset will auto-download on first run
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

Чтобы разметить дополнительные аэрофотоснимки и управлять процессом обучения на VisDrone прямо в браузере, используй Ultralytics Platform.

Link to this sectionПримеры данных и разметки#

Пример ниже показывает типичную сцену VisDrone: вид с воздуха на оживленную дорогу, где пешеходы и транспортные средства выглядят как маленькие, плотно упакованные цели, многие из которых частично перекрыты друг другом.

Link to this sectionЦитирование и благодарности#

Если ты используешь набор данных VisDrone в своей исследовательской или проектной работе, пожалуйста, сошлися на следующую статью:

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2022},
  volume={44},
  number={11},
  pages={7380-7399},
  doi={10.1109/TPAMI.2021.3119563}}

Мы хотели бы поблагодарить команду AISKYEYE из Лаборатории машинного обучения и интеллектуального анализа данных, Тяньцзиньский университет, Китай, за создание и поддержку набора данных VisDrone. Для получения дополнительной информации посети GitHub-репозиторий набора данных VisDrone.

Link to this sectionFAQ#

Link to this sectionДля чего используется набор данных VisDrone?#

VisDrone используется для обучения и оценки детекторов на изображениях, полученных с дронов, где объекты малы, плотно расположены и видны сверху. Сочетание аэрофотосъемки, переполненных сцен и разнообразных условий делает его стандартной тестовой площадкой для мониторинга дорожного движения с помощью БПЛА, анализа толпы и исследований по обнаружению мелких объектов.

Link to this sectionСколько изображений и классов в VisDrone?#

Конфигурация Ultralytics VisDrone содержит 8 629 изображений: 6 471 для обучения, 548 для валидации и 1 610 для тестирования (test-dev). Все разделения используют одни и те же 10 классов: pedestrian, people, bicycle, car, van, truck, tricycle, awning-tricycle, bus и motor. Полную разбивку см. в разделе Структура набора данных.

Link to this sectionКак скачать набор данных VisDrone?#

VisDrone скачивается автоматически при первом обучении с параметром data="VisDrone.yaml" — ручные действия не требуются. Скрипт получает три архива (около 2 ГБ) из релизов Ultralytics на GitHub и преобразует аннотации в формат YOLO. Зарезервированное для соревнований разделение test-challenge не включено.

Link to this sectionКак обучить модель YOLO26 на наборе данных VisDrone?#

Обучи модель YOLO26n на VisDrone в течение 100 эпох с размером изображения 640:

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

Для получения подробных конфигураций смотри страницу Обучение и советы по обучению моделей.

Link to this sectionПочему VisDrone сложен для детекторов объектов, и как можно улучшить точность?#

Объекты в VisDrone крошечные относительно кадра — часто всего несколько десятков пикселей — и появляются в плотных, сильно перекрытых группах, что создает нагрузку на детекторы, настроенные на фотографии с уровня земли. Обучение и предсказание в более высоком разрешении (например, imgsz=1280 с меньшим размером пакета) позволяет восстановить мелкие цели, а плиточный вывод SAHI разбивает большие изображения так, чтобы маленькие объекты занимали большую часть каждого окна вывода.

Link to this sectionВ чем разница между VisDrone-DET и полным эталонным набором VisDrone?#

Полный эталонный набор VisDrone охватывает пять задач — обнаружение объектов на изображениях, обнаружение объектов на видео, отслеживание одного объекта, отслеживание нескольких объектов и подсчет толпы — по 288 видеоклипам и 10 209 статическим изображениям. Конфигурация Ultralytics VisDrone.yaml охватывает только задачу обнаружения на изображениях (VisDrone2019-DET), загружая 6 471 обучающее, 548 валидационных и 1 610 тестовых (test-dev) изображений.

Link to this sectionКак сослаться на VisDrone в моем исследовании?#

Цитируй статью "Detection and Tracking Meet Drones Challenge" (IEEE TPAMI, том 44, № 11, 2022, DOI 10.1109/TPAMI.2021.3119563); полная запись BibTeX находится в разделе Цитирование и благодарности выше.