VisDrone-Datensatz

Der VisDrone-Datensatz ist ein umfangreicher Benchmark, der vom AISKYEYE-Team am Lab of Machine Learning and Data Mining der Universität Tianjin in China erstellt wurde. Er enthält sorgfältig kommentierte Ground-Truth-Daten für verschiedene Computer-Vision-Aufgaben im Zusammenhang mit der dronenbasierten Bild- und Videoanalyse.

VisDrone besteht aus 288 Videoclips mit 261.908 Einzelbildern und 10.209 statischen Bildern, die von verschiedenen an Drohnen montierten Kameras aufgenommen wurden. Der Datensatz deckt eine Vielzahl von Aspekten ab, darunter den Standort (14 verschiedene Städte in China), die Umgebung (städtisch und ländlich), Objekte (Fußgänger, Fahrzeuge, Fahrräder usw.) und die Dichte (spärliche und überfüllte Szenen). Der Datensatz wurde mit verschiedenen Drohnenplattformen in unterschiedlichen Szenarien und bei unterschiedlichen Wetter- und Lichtverhältnissen aufgenommen. Diese Frames wurden manuell mit über 2,6 Millionen Bounding Boxes von Zielen wie Fußgängern, Autos, Fahrrädern und Dreirädern beschriftet. Zur besseren Datennutzung werden auch Attribute wie Sichtbarkeit der Szene, Objektklasse und Verdeckung angegeben.

Struktur des Datensatzes

Der VisDrone-Datensatz ist in fünf Teilmengen unterteilt, die sich jeweils auf eine bestimmte Aufgabe konzentrieren:

1. Aufgabe 1: Objekterkennung in Bildern
2. Aufgabe 2: Objekterkennung in Videos
3. Aufgabe 3: Verfolgung eines einzelnen Objekts
4. Aufgabe 4: Multi-Objekt-Tracking
5. Aufgabe 5: Zählen von Menschenmassen

Anwendungen

Der VisDrone-Datensatz wird häufig für das Training und die Evaluierung von Deep-Learning-Modellen für Drohnen-basierte Computer-Vision-Aufgaben wie Objekterkennung, Objektverfolgung und das Zählen von Menschenmengen verwendet. Die vielfältigen Sensordaten, Objektannotationen und Attribute des Datensatzes machen ihn zu einer wertvollen Ressource für Forscher und Praktiker auf dem Gebiet des drohnenbasierten Computersehens.

Datensatz YAML

Eine YAML-Datei (Yet Another Markup Language) wird verwendet, um die Konfiguration des Datensatzes zu definieren. Sie enthält Informationen über die Pfade, Klassen und andere relevante Informationen des Datasets. Im Fall des Visdrone-Datensatzes ist die VisDrone.yaml Datei wird verwaltet unter https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.

# Ultralytics YOLO 🚀, AGPL-3.0 license
# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone/
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── VisDrone  ← downloads here (2.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/VisDrone # dataset root dir
train: VisDrone2019-DET-train/images # train images (relative to 'path')  6471 images
val: VisDrone2019-DET-val/images # val images (relative to 'path')  548 images
test: VisDrone2019-DET-test-dev/images # test images (optional)  1610 images

# Classes
names:
  0: pedestrian
  1: people
  2: bicycle
  3: car
  4: van
  5: truck
  6: tricycle
  7: awning-tricycle
  8: bus
  9: motor

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import os
  from pathlib import Path

  from ultralytics.utils.downloads import download

  def visdrone2yolo(dir):
      from PIL import Image
      from tqdm import tqdm

      def convert_box(size, box):
          # Convert VisDrone box to YOLO xywh box
          dw = 1. / size[0]
          dh = 1. / size[1]
          return (box[0] + box[2] / 2) * dw, (box[1] + box[3] / 2) * dh, box[2] * dw, box[3] * dh

      (dir / 'labels').mkdir(parents=True, exist_ok=True)  # make labels directory
      pbar = tqdm((dir / 'annotations').glob('*.txt'), desc=f'Converting {dir}')
      for f in pbar:
          img_size = Image.open((dir / 'images' / f.name).with_suffix('.jpg')).size
          lines = []
          with open(f, 'r') as file:  # read annotation.txt
              for row in [x.split(',') for x in file.read().strip().splitlines()]:
                  if row[4] == '0':  # VisDrone 'ignored regions' class 0
                      continue
                  cls = int(row[5]) - 1
                  box = convert_box(img_size, tuple(map(int, row[:4])))
                  lines.append(f"{cls} {' '.join(f'{x:.6f}' for x in box)}\n")
                  with open(str(f).replace(f'{os.sep}annotations{os.sep}', f'{os.sep}labels{os.sep}'), 'w') as fl:
                      fl.writelines(lines)  # write label.txt


  # Download
  dir = Path(yaml['path'])  # dataset root dir
  urls = ['https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-train.zip',
          'https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-val.zip',
          'https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-dev.zip',
          'https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-challenge.zip']
  download(urls, dir=dir, curl=True, threads=4)

  # Convert
  for d in 'VisDrone2019-DET-train', 'VisDrone2019-DET-val', 'VisDrone2019-DET-test-dev':
      visdrone2yolo(dir / d)  # convert VisDrone annotations to YOLO labels

Verwendung

Um ein YOLOv8n Modell auf dem VisDrone-Datensatz für 100 Epochen mit einer Bildgröße von 640 zu trainieren, kannst du die folgenden Codeschnipsel verwenden. Eine umfassende Liste der verfügbaren Argumente findest du auf der Seite Modelltraining.

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolov8n.pt epochs=100 imgsz=640

Beispieldaten und Anmerkungen

Der VisDrone-Datensatz enthält eine Vielzahl von Bildern und Videos, die von an Drohnen montierten Kameras aufgenommen wurden. Hier sind einige Beispiele für Daten aus dem Datensatz mit den dazugehörigen Kommentaren:

• Aufgabe 1: Objekterkennung in Bildern - Dieses Bild zeigt ein Beispiel für die Objekterkennung in Bildern, bei dem die Objekte mit Bounding Boxes versehen sind. Der Datensatz enthält eine Vielzahl von Bildern, die an unterschiedlichen Orten, in unterschiedlichen Umgebungen und in unterschiedlichen Dichten aufgenommen wurden, um die Entwicklung von Modellen für diese Aufgabe zu erleichtern.

Das Beispiel zeigt die Vielfalt und Komplexität der Daten im VisDrone-Datensatz und verdeutlicht, wie wichtig hochwertige Sensordaten für drohnenbasierte Computer Vision-Aufgaben sind.

Zitate und Danksagungen

Wenn du den VisDrone-Datensatz in deiner Forschungs- oder Entwicklungsarbeit verwendest, zitiere bitte das folgende Dokument:

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}}

Wir möchten dem AISKYEYE-Team im Lab of Machine Learning and Data Mining an der Universität Tianjin, China, für die Erstellung und Pflege des VisDrone-Datensatzes danken, der eine wertvolle Ressource für die dronenbasierte Computer-Vision-Forschungsgemeinschaft darstellt. Weitere Informationen über den VisDrone-Datensatz und seine Ersteller findest du im VisDrone Dataset GitHub Repository.

FAQ

Was ist der VisDrone-Datensatz und was sind seine wichtigsten Merkmale?

Der VisDrone-Datensatz ist ein umfangreicher Benchmark, der vom AISKYEYE-Team an der Universität Tianjin, China, entwickelt wurde. Er wurde für verschiedene Computer-Vision-Aufgaben im Zusammenhang mit drohnenbasierter Bild- und Videoanalyse entwickelt. Die wichtigsten Merkmale sind: - Zusammensetzung: 288 Videoclips mit 261.908 Frames und 10.209 statische Bilder. - Annotationen: Über 2,6 Millionen Bounding Boxes für Objekte wie Fußgänger, Autos, Fahrräder und Dreiräder. - Vielfältigkeit: Erhoben in 14 Städten, in städtischen und ländlichen Gebieten, bei unterschiedlichen Wetter- und Lichtverhältnissen. - Aufgaben: Aufgeteilt in fünf Hauptaufgaben: Objekterkennung in Bildern und Videos, Verfolgung von einzelnen und mehreren Objekten und Zählen von Menschenmengen.

Wie kann ich den VisDrone-Datensatz verwenden, um ein YOLOv8 Modell mit Ultralytics zu trainieren?

Um ein YOLOv8 Modell auf dem VisDrone-Datensatz für 100 Epochen mit einer Bildgröße von 640 zu trainieren, kannst du die folgenden Schritte ausführen:

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolov8n.pt")

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolov8n.pt epochs=100 imgsz=640

Weitere Konfigurationsmöglichkeiten findest du auf der Seite zum Modell Training.

Was sind die wichtigsten Untergruppen des VisDrone-Datensatzes und ihre Anwendungen?

Der VisDrone-Datensatz ist in fünf Teilmengen unterteilt, die jeweils auf eine bestimmte Computer-Vision-Aufgabe zugeschnitten sind: 1. Aufgabe 1: Objekterkennung in Bildern. 2. Aufgabe 2: Objekterkennung in Videos. 3. Aufgabe 3: Verfolgung von Einzelobjekten. 4. Aufgabe 4: Multi-Objekt-Tracking. 5. Aufgabe 5: Zählen von Menschenmengen.

Diese Teilmengen werden häufig für das Training und die Bewertung von Deep-Learning-Modellen in drohnenbasierten Anwendungen wie der Überwachung, der Verkehrsüberwachung und der öffentlichen Sicherheit verwendet.

Wo finde ich die Konfigurationsdatei für den VisDrone-Datensatz in Ultralytics?

Die Konfigurationsdatei für den VisDrone-Datensatz, VisDrone.yamlfindest du im Repository Ultralytics unter folgendem Link: VisDrone.yaml.

Wie kann ich den VisDrone-Datensatz zitieren, wenn ich ihn in meiner Forschung verwende?

Wenn du den VisDrone-Datensatz in deiner Forschungs- oder Entwicklungsarbeit verwendest, zitiere bitte das folgende Dokument:

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}}

Kommentare