コンテンツへスキップ

VisDroneデータセット

VisDroneデータセットは、中国天津大学機械学習・データマイニング研究室のAISKYEYEチームによって作成された大規模ベンチマークである。このデータセットには、ドローンベースの画像およびビデオ解析に関連するさまざまなコンピュータビジョンタスクのための、注意深く注釈が付けられたグランドトゥルースデータが含まれている。

VisDroneは、様々なドローン搭載カメラで撮影された261,908フレームの288のビデオクリップと10,209の静止画像で構成されている。データセットは、場所（中国全土の14の異なる都市）、環境（都市と農村）、対象（歩行者、車両、自転車など）、密度（疎らなシーンと混雑したシーン）など、幅広い側面をカバーしている。データセットは、様々なシナリオ、天候や照明条件下で、様々なドローンプラットフォームを使用して収集された。これらのフレームには、歩行者、車、自転車、三輪車などのターゲットの260万以上のバウンディングボックスが手動で注釈されている。より良いデータ活用のために、シーンの可視性、オブジェクトクラス、オクルージョンなどの属性も提供されている。

データセット構造

VisDroneデータセットは5つのサブセットに分かれており、それぞれが特定のタスクに焦点を当てている：

  1. タスク 1：画像中の物体検出
  2. タスク2：ビデオ内の物体検出
  3. タスク3：単一オブジェクトのトラッキング
  4. タスク4：マルチオブジェクト・トラッキング
  5. タスク5：群衆のカウント

アプリケーション

VisDroneデータセットは、物体検出、物体追跡、群衆カウントなどのドローンベースのコンピュータビジョンタスクにおけるディープラーニングモデルの訓練と評価に広く使用されています。このデータセットの多様なセンサーデータ、オブジェクトアノテーション、属性は、ドローンベースのコンピュータビジョン分野の研究者や実務家にとって貴重なリソースとなっている。

データセット YAML

YAML (Yet Another Markup Language) ファイルはデータセットの設定を定義するために使われる。このファイルには、データセットのパス、クラス、その他の関連情報が含まれている。Visdrone データセットの場合は VisDrone.yaml ファイルは https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.

ultralytics/cfg/datasets/VisDrone.yaml

# Ultralytics YOLO 🚀, AGPL-3.0 license
# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone/
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── VisDrone  ← downloads here (2.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/VisDrone # dataset root dir
train: VisDrone2019-DET-train/images # train images (relative to 'path')  6471 images
val: VisDrone2019-DET-val/images # val images (relative to 'path')  548 images
test: VisDrone2019-DET-test-dev/images # test images (optional)  1610 images

# Classes
names:
  0: pedestrian
  1: people
  2: bicycle
  3: car
  4: van
  5: truck
  6: tricycle
  7: awning-tricycle
  8: bus
  9: motor

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import os
  from pathlib import Path

  from ultralytics.utils.downloads import download

  def visdrone2yolo(dir):
      from PIL import Image
      from tqdm import tqdm

      def convert_box(size, box):
          # Convert VisDrone box to YOLO xywh box
          dw = 1. / size[0]
          dh = 1. / size[1]
          return (box[0] + box[2] / 2) * dw, (box[1] + box[3] / 2) * dh, box[2] * dw, box[3] * dh

      (dir / 'labels').mkdir(parents=True, exist_ok=True)  # make labels directory
      pbar = tqdm((dir / 'annotations').glob('*.txt'), desc=f'Converting {dir}')
      for f in pbar:
          img_size = Image.open((dir / 'images' / f.name).with_suffix('.jpg')).size
          lines = []
          with open(f, 'r') as file:  # read annotation.txt
              for row in [x.split(',') for x in file.read().strip().splitlines()]:
                  if row[4] == '0':  # VisDrone 'ignored regions' class 0
                      continue
                  cls = int(row[5]) - 1
                  box = convert_box(img_size, tuple(map(int, row[:4])))
                  lines.append(f"{cls} {' '.join(f'{x:.6f}' for x in box)}\n")
                  with open(str(f).replace(f'{os.sep}annotations{os.sep}', f'{os.sep}labels{os.sep}'), 'w') as fl:
                      fl.writelines(lines)  # write label.txt


  # Download
  dir = Path(yaml['path'])  # dataset root dir
  urls = ['https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-train.zip',
          'https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-val.zip',
          'https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-test-dev.zip',
          'https://github.com/ultralytics/yolov5/releases/download/v1.0/VisDrone2019-DET-test-challenge.zip']
  download(urls, dir=dir, curl=True, threads=4)

  # Convert
  for d in 'VisDrone2019-DET-train', 'VisDrone2019-DET-val', 'VisDrone2019-DET-test-dev':
      visdrone2yolo(dir / d)  # convert VisDrone annotations to YOLO labels

使用方法

VisDroneデータセットでYOLOv8n モデルを画像サイズ640で100エポック学習させるには、以下のコードスニペットを使用します。使用可能な引数の包括的なリストについては、モデルのトレーニングページを参照してください。

列車の例

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data='VisDrone.yaml', epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolov8n.pt epochs=100 imgsz=640

サンプルデータと注釈

VisDroneデータセットには、ドローンに搭載されたカメラで撮影された様々な画像や動画が含まれています。このデータセットに含まれるデータの例を、対応するアノテーションとともに紹介する：

データセットサンプル画像

  • タスク1：画像中の物体検出 - この画像は画像中の物体検出の例を示しており、物体はバウンディングボックスで注釈されている。データセットは、このタスクのモデル開発を容易にするために、異なる場所、環境、密度で撮影された多種多様な画像を提供する。

この例は、VisDroneデータセットのデータの多様性と複雑性を示し、ドローンベースのコンピュータビジョンタスクにおける高品質センサーデータの重要性を強調している。

引用と謝辞

研究開発でVisDroneデータセットを使用する場合は、以下の論文を引用してください：

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}}

VisDroneデータセットをドローンベースのコンピュータビジョン研究コミュニティの貴重なリソースとして作成・維持している中国天津大学機械学習・データマイニング研究室のAISKYEYEチームに感謝したい。VisDroneデータセットとその作成者についての詳細は、VisDrone Dataset GitHubリポジトリをご覧ください。



作成日：2023-11-12 更新日：2023-11-22
作成者：glenn-jocher(3),Laughing-q(1)

コメント