Meet YOLO26: next-gen vision AI.

Link to this sectionНабор данных VisDrone#

Набор данных VisDrone — это масштабный бенчмарк, созданный командой AISKYEYE в Лаборатории машинного обучения и интеллектуального анализа данных Тяньцзиньского университета, Китай. Он содержит тщательно аннотированные данные «ground truth» для различных задач компьютерного зрения, связанных с анализом изображений и видео, полученных с дронов.



Watch: How to Train Ultralytics YOLO26 on the VisDrone Dataset | Aerial Detection | Complete Tutorial 🚀

VisDrone состоит из 288 видеоклипов, включающих 261 908 кадров, и 10 209 статических изображений, снятых различными камерами, установленными на дронах. Набор данных охватывает широкий спектр аспектов, включая местоположение (14 различных городов Китая), окружающую среду (городскую и сельскую), объекты (пешеходы, транспортные средства, велосипеды и т. д.) и плотность (разреженные и переполненные сцены). Набор данных был собран с использованием различных платформ дронов в разных сценариях, а также при различных погодных и световых условиях. Эти кадры вручную аннотированы более чем 2,6 миллионами ограничивающих рамок (bounding boxes) таких целей, как пешеходы, автомобили, велосипеды и трициклы. Атрибуты, такие как видимость сцены, класс объекта и окклюзия, также предоставлены для более эффективного использования данных.

Link to this sectionСтруктура набора данных#

Набор данных VisDrone организован в пять основных подмножеств, каждое из которых фокусируется на конкретной задаче:

  1. Задача 1: Обнаружение объектов на изображениях
  2. Задача 2: Обнаружение объектов на видео
  3. Задача 3: Отслеживание одного объекта
  4. Задача 4: Отслеживание нескольких объектов
  5. Задача 5: Подсчет людей в толпе

Link to this sectionПрименение#

Набор данных VisDrone широко используется для обучения и оценки моделей глубокого обучения в задачах компьютерного зрения, основанных на данных с дронов, таких как обнаружение объектов, отслеживание объектов и подсчет людей в толпе. Разнообразный набор сенсорных данных, аннотаций объектов и атрибутов делает этот датасет ценным ресурсом для исследователей и практиков в области компьютерного зрения с использованием дронов.

Link to this sectionYAML набора данных#

Для определения конфигурации набора данных используется YAML-файл (Yet Another Markup Language). Он содержит информацию о путях к данным, классах и другую важную информацию. В случае с набором данных VisDrone файл VisDrone.yaml поддерживается по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.

ultralytics/cfg/datasets/VisDrone.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── VisDrone ← downloads here (2.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: VisDrone # dataset root dir
train: images/train # train images (relative to 'path') 6471 images
val: images/val # val images (relative to 'path') 548 images
test: images/test # test-dev images (optional) 1610 images

# Classes
names:
  0: pedestrian
  1: people
  2: bicycle
  3: car
  4: van
  5: truck
  6: tricycle
  7: awning-tricycle
  8: bus
  9: motor

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import os
  from pathlib import Path
  import shutil

  from ultralytics.utils.downloads import download
  from ultralytics.utils import ASSETS_URL, TQDM

  def visdrone2yolo(dir, split, source_name=None):
      """Convert VisDrone annotations to YOLO format with images/{split} and labels/{split} structure."""
      from PIL import Image

      source_dir = dir / (source_name or f"VisDrone2019-DET-{split}")
      images_dir = dir / "images" / split
      labels_dir = dir / "labels" / split
      labels_dir.mkdir(parents=True, exist_ok=True)

      # Move images to new structure
      if (source_images_dir := source_dir / "images").exists():
          images_dir.mkdir(parents=True, exist_ok=True)
          for img in source_images_dir.glob("*.jpg"):
              img.rename(images_dir / img.name)

      for f in TQDM((source_dir / "annotations").glob("*.txt"), desc=f"Converting {split}"):
          img_size = Image.open(images_dir / f.with_suffix(".jpg").name).size
          dw, dh = 1.0 / img_size[0], 1.0 / img_size[1]
          lines = []

          with open(f, encoding="utf-8") as file:
              for row in [x.split(",") for x in file.read().strip().splitlines()]:
                  if row[4] != "0":  # Skip ignored regions
                      x, y, w, h = map(int, row[:4])
                      cls = int(row[5]) - 1
                      # Convert to YOLO format
                      x_center, y_center = (x + w / 2) * dw, (y + h / 2) * dh
                      w_norm, h_norm = w * dw, h * dh
                      lines.append(f"{cls} {x_center:.6f} {y_center:.6f} {w_norm:.6f} {h_norm:.6f}\n")

          (labels_dir / f.name).write_text("".join(lines), encoding="utf-8")

  # Download (ignores test-challenge split)
  dir = Path(yaml["path"])  # dataset root dir
  urls = [
      f"{ASSETS_URL}/VisDrone2019-DET-train.zip",
      f"{ASSETS_URL}/VisDrone2019-DET-val.zip",
      f"{ASSETS_URL}/VisDrone2019-DET-test-dev.zip",
      # f"{ASSETS_URL}/VisDrone2019-DET-test-challenge.zip",
  ]
  download(urls, dir=dir, threads=4)

  # Convert
  splits = {"VisDrone2019-DET-train": "train", "VisDrone2019-DET-val": "val", "VisDrone2019-DET-test-dev": "test"}
  for folder, split in splits.items():
      visdrone2yolo(dir, split, folder)  # convert VisDrone annotations to YOLO labels
      shutil.rmtree(dir / folder)  # cleanup original directory

Link to this sectionИспользование#

Чтобы обучить модель YOLO26n на наборе данных VisDrone в течение 100 эпох с размером изображения 640, можешь использовать следующие фрагменты кода. Полный список доступных аргументов смотри на странице Обучение модели.

Пример обучения
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

Link to this sectionПримеры данных и разметки#

Набор данных VisDrone содержит разнообразный набор изображений и видео, снятых камерами на дронах. Вот несколько примеров данных из этого набора вместе с соответствующими аннотациями:

Аэросъемка набора данных VisDrone с обнаружением объектов

  • Задача 1: Обнаружение объектов на изображениях — это изображение демонстрирует пример обнаружения объектов, где объекты аннотированы с помощью ограничивающих рамок. Набор данных предоставляет большое разнообразие изображений, снятых в различных локациях, условиях окружающей среды и плотности объектов, для содействия разработке моделей для этой задачи.

Пример демонстрирует разнообразие и сложность данных в наборе VisDrone и подчеркивает важность высококачественных сенсорных данных для задач компьютерного зрения на основе дронов.

Link to this sectionЦитирование и благодарности#

Если ты используешь набор данных VisDrone в своей исследовательской или проектной работе, пожалуйста, сошлися на следующую статью:

Цитата
@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}}

Мы хотим выразить признательность команде AISKYEYE из Лаборатории машинного обучения и интеллектуального анализа данных Тяньцзиньского университета (Китай) за создание и поддержку набора данных VisDrone как ценного ресурса для сообщества исследователей компьютерного зрения на базе дронов. Для получения дополнительной информации о наборе данных VisDrone и его создателях посети GitHub-репозиторий набора данных VisDrone.

Link to this sectionFAQ#

Link to this sectionЧто такое набор данных VisDrone и каковы его ключевые особенности?#

Набор данных VisDrone — это масштабный бенчмарк, созданный командой AISKYEYE в Тяньцзиньском университете (Китай). Он разработан для различных задач компьютерного зрения, связанных с анализом изображений и видео с дронов. Ключевые особенности включают:

  • Состав: 288 видеоклипов с 261 908 кадрами и 10 209 статических изображений.
  • Аннотации: Более 2,6 миллиона ограничивающих рамок для таких объектов, как пешеходы, автомобили, велосипеды и трициклы.
  • Разнообразие: Данные собраны в 14 городах, в городских и сельских условиях, при различных погодных и световых условиях.
  • Задачи: Разделен на пять основных задач — обнаружение объектов на изображениях и видео, отслеживание одного и нескольких объектов, а также подсчет людей в толпе.

Link to this sectionКак я могу использовать набор данных VisDrone для обучения модели YOLO26 с помощью Ultralytics?#

Чтобы обучить модель YOLO26 на наборе данных VisDrone в течение 100 эпох с размером изображения 640, ты можешь выполнить следующие шаги:

Пример обучения
from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo26n.pt")

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

Для получения дополнительных параметров конфигурации, пожалуйста, обратись к странице Обучение модели.

Link to this sectionКаковы основные подмножества набора данных VisDrone и их применение?#

Набор данных VisDrone разделен на пять основных подмножеств, каждое из которых адаптировано для конкретной задачи компьютерного зрения:

  1. Задача 1: Обнаружение объектов на изображениях.
  2. Задача 2: Обнаружение объектов на видео.
  3. Задача 3: Отслеживание одного объекта.
  4. Задача 4: Отслеживание нескольких объектов.
  5. Задача 5: Подсчет людей в толпе.

Эти подмножества широко используются для обучения и оценки моделей глубокого обучения в приложениях на базе дронов, таких как наблюдение, мониторинг трафика и общественная безопасность.

Link to this sectionГде я могу найти конфигурационный файл для набора данных VisDrone в Ultralytics?#

Конфигурационный файл для набора данных VisDrone, VisDrone.yaml, можно найти в репозитории Ultralytics по следующей ссылке: VisDrone.yaml.

Link to this sectionКак я могу сослаться на набор данных VisDrone, если использую его в своем исследовании?#

Если ты используешь набор данных VisDrone в своей исследовательской или проектной работе, пожалуйста, сошлися на следующую статью:

Цитата
@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}
}
Авторы
GLglenn-jocher12RIRizwanMunawar3MAMatthewNoyce1JKjk4e1

Комментарии