エンタープライズ対応のセキュリティ: ISO 27001 + SOC 2 Type I準拠。
No license

Link to this sectionVisDroneデータセット#

VisDrone Datasetは、大規模なドローン映像のベンチマークであり、その検出サブセット (VisDrone2019-DET) は、物体検出用の10個のオブジェクトクラスでアノテーションされた8,629枚の航空写真(トレーニング用6,471枚、検証用548枚、テスト用1,610枚)を提供しています。これは、中国天津大学の機械学習およびデータマイニング研究所のAISKYEYEチームによって作成されました。



Watch: How to Train Ultralytics YOLO on the VisDrone Dataset | Aerial Detection | Complete Tutorial 🚀

VisDroneベンチマーク全体では、中国全土の14都市でドローン搭載カメラによって撮影された288個の動画クリップ(261,908フレーム)と10,209枚の静止画像で構成されており、都市や農村の環境、まばらなシーンや混雑したシーン、そして多様な天候や照明条件を網羅しています。そのフレームには、シーンの視認性、オブジェクトクラス、遮蔽などの追加属性とともに、260万個以上の手動でアノテーションされたバウンディングボックスが含まれています。UltralyticsのVisDrone.yaml設定では、このベンチマークのVisDrone2019-DET静止画像サブセットを使用します。

Link to this section主な特徴#

  • 小さく密集したオブジェクト: 航空視点ではターゲットが非常に小さく密集しており、検証用画像548枚だけで38,759個のラベル付きボックスが含まれており、1画像あたり平均約70個のオブジェクトが存在します。
  • シーンの多様性: 中国の14都市からの映像であり、都市や農村の場所、昼夜、および異なる天候条件をカバーしています。
  • 豊富なアノテーション: ベンチマーク全体で260万個以上のボックスがあり、遮蔽や視認性の属性が含まれています。
  • 定義済みの分割: 一貫した評価のために、トレーニング/検証/テストの分割(6,471 / 548 / 1,610画像)が固定されています。

Link to this sectionデータセットの構造#

UltralyticsのVisDrone設定は、3つの部分に分割されたVisDrone2019-DET画像サブセットをカバーしています。

分割画像説明
トレーニング6,471検出器のトレーニングに使用されるラベル付き航空画像
バリデーション548開発中の評価に使用される画像
Test-dev1,610学習済みモデルの最終評価のために保持された画像

4つ目の分割であるtest-challenge(1,580画像)はVisDroneコンペティションのために保留されており、ダウンロードされません。これがDETセット全体で10,209画像となる理由です。

このデータセットは、歩行者(pedestrian)、人(people)、自転車(bicycle)、車(car)、バン(van)、トラック(truck)、三輪車(tricycle)、日除け付き三輪車(awning-tricycle)、バス(bus)、およびオートバイ(motor)の10個のオブジェクトクラスをアノテーションしています。VisDroneでは、歩行者(立っている、または歩いている人)と(その他の姿勢の人)を区別しています。

自動YOLO変換

初回使用時に、ダウンロードスクリプトは元のVisDroneアノテーションをYOLO形式に変換し、無視対象としてマークされた領域(未使用の「others」カテゴリも含む)をスキップします。

Link to this sectionアプリケーション#

VisDroneの密なシーンと小さなターゲットは、航空視点からの小物体検出における標準的なベンチマークとなっています。一般的なアプリケーションには以下が含まれます。

  • UAVからの交通監視および車両カウント
  • 群衆分析および公共安全の監視
  • インフラおよび建設現場の検査
  • 雑然としたシーンにおける小さな物体の検出に関するコンピュータビジョン研究

その他の航空画像ベンチマークについては、衛星に特化したxViewデータセットや、方向付きボックスのDOTA-v2データセットを参照してください。

Link to this sectionデータセット YAML#

VisDrone.yaml ファイルは、データセットの構成(データセットのパス、クラス名、および自動ダウンロードと変換用のスクリプト)を定義します。このファイルは、Ultralyticsリポジトリの https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml で管理されています。

ultralytics/cfg/datasets/VisDrone.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── VisDrone ← downloads here (~2 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: VisDrone # dataset root dir
train: images/train # train images (relative to 'path') 6471 images
val: images/val # val images (relative to 'path') 548 images
test: images/test # test-dev images (optional) 1610 images

# Classes
names:
  0: pedestrian
  1: people
  2: bicycle
  3: car
  4: van
  5: truck
  6: tricycle
  7: awning-tricycle
  8: bus
  9: motor

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import os
  from pathlib import Path
  import shutil

  from ultralytics.utils.downloads import download
  from ultralytics.utils import ASSETS_URL, TQDM

  def visdrone2yolo(dir, split, source_name=None):
      """Convert VisDrone annotations to YOLO format with images/{split} and labels/{split} structure."""
      from PIL import Image

      source_dir = dir / (source_name or f"VisDrone2019-DET-{split}")
      images_dir = dir / "images" / split
      labels_dir = dir / "labels" / split
      labels_dir.mkdir(parents=True, exist_ok=True)

      # Move images to new structure
      if (source_images_dir := source_dir / "images").exists():
          images_dir.mkdir(parents=True, exist_ok=True)
          for img in source_images_dir.glob("*.jpg"):
              img.rename(images_dir / img.name)

      for f in TQDM((source_dir / "annotations").glob("*.txt"), desc=f"Converting {split}"):
          img_size = Image.open(images_dir / f.with_suffix(".jpg").name).size
          dw, dh = 1.0 / img_size[0], 1.0 / img_size[1]
          lines = []

          with open(f, encoding="utf-8") as file:
              for row in [x.split(",") for x in file.read().strip().splitlines()]:
                  if row[4] != "0":  # Skip ignored regions
                      x, y, w, h = map(int, row[:4])
                      cls = int(row[5]) - 1
                      # Convert to YOLO format
                      x_center, y_center = (x + w / 2) * dw, (y + h / 2) * dh
                      w_norm, h_norm = w * dw, h * dh
                      lines.append(f"{cls} {x_center:.6f} {y_center:.6f} {w_norm:.6f} {h_norm:.6f}\n")

          (labels_dir / f.name).write_text("".join(lines), encoding="utf-8")

  # Download (ignores test-challenge split)
  dir = Path(yaml["path"])  # dataset root dir
  urls = [
      f"{ASSETS_URL}/VisDrone2019-DET-train.zip",
      f"{ASSETS_URL}/VisDrone2019-DET-val.zip",
      f"{ASSETS_URL}/VisDrone2019-DET-test-dev.zip",
      # f"{ASSETS_URL}/VisDrone2019-DET-test-challenge.zip",
  ]
  download(urls, dir=dir, threads=4)

  # Convert
  splits = {"VisDrone2019-DET-train": "train", "VisDrone2019-DET-val": "val", "VisDrone2019-DET-test-dev": "test"}
  for folder, split in splits.items():
      visdrone2yolo(dir, split, folder)  # convert VisDrone annotations to YOLO labels
      shutil.rmtree(dir / folder)  # cleanup original directory

Link to this section使用方法#

約2GBのダウンロード

VisDroneはトレーニングを初めて実行する際に自動的にダウンロードされます(合計約2GBの3つのアーカイブ)。抽出と変換の間、約4GBの空きディスク容量が必要です。

VisDroneデータセットでYOLO26nモデルを画像サイズ640で100epochsトレーニングするには、以下のコードスニペットを使用できます。利用可能な引数の詳細なリストについては、モデルTrainingページを参照してください。

学習例
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model - dataset will auto-download on first run
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

追加の航空画像にラベルを付け、ブラウザでVisDroneのトレーニング実行を管理するには、Ultralytics Platformを使用してください。

Link to this sectionサンプルデータとアノテーション#

以下のサンプルは、典型的なVisDroneシーンを示しています。交通量の多い道路を見下ろす航空視点であり、歩行者や車両が小さく密集したターゲットとして現れ、その多くが互いに部分的に遮蔽されています。

VisDroneデータセットの航空ドローン画像とオブジェクト検出

Link to this section引用と謝辞#

VisDroneデータセットを研究や開発で使用する場合は、以下の論文を引用してください。

引用
@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2022},
  volume={44},
  number={11},
  pages={7380-7399},
  doi={10.1109/TPAMI.2021.3119563}}

VisDroneデータセットを作成および維持している中国天津大学の機械学習およびデータマイニング研究所のAISKYEYEチームに感謝の意を表します。詳細については、VisDrone Dataset GitHubリポジトリをご覧ください。

Link to this sectionよくある質問 (FAQ)#

Link to this sectionVisDroneデータセットは何に使用されますか?#

VisDroneは、物体が小さく密集しており、上空から撮影されたドローン映像において検出器をトレーニングおよび評価するために使用されます。航空視点、混雑したシーン、多様な条件の組み合わせにより、UAVベースの交通監視、群衆分析、小物体検出研究の標準的なテストベッドとなっています。

Link to this sectionVisDroneにはいくつの画像とクラスがありますか?#

UltralyticsのVisDrone設定には8,629枚の画像が含まれています。トレーニング用に6,471枚、検証用に548枚、テスト(test-dev)用に1,610枚です。すべての分割で同じ10個のクラス(歩行者、人、自転車、車、バン、トラック、三輪車、日除け付き三輪車、バス、オートバイ)を共有しています。詳細な内訳については、データセット構造を参照してください。

Link to this sectionVisDroneデータセットをダウンロードするにはどうすればよいですか?#

VisDroneはdata="VisDrone.yaml"で初めてトレーニングを行う際に自動的にダウンロードされるため、手動の操作は必要ありません。スクリプトはUltralyticsのGitHubリリースアセットから3つのアーカイブ(約2GB)を取得し、アノテーションをYOLO形式に変換します。コンペティション用の保留されたtest-challenge分割は含まれていません。

Link to this sectionVisDroneデータセットでYOLO26モデルをトレーニングするにはどうすればよいですか?#

画像サイズ640で100エポック、VisDroneでYOLO26nモデルをトレーニングします:

学習例
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

詳細な設定については、学習ページおよびモデル学習のヒントを参照してください。

Link to this sectionなぜVisDroneは物体検出器にとって難しいのですか?また、精度を向上させるにはどうすればよいですか?#

VisDroneのオブジェクトはフレームに対して非常に小さく(多くの場合わずか数十ピクセル)、密集して激しく遮蔽されているため、地上レベルの写真で調整された検出器に負荷がかかります。解像度を上げてトレーニングおよび予測を行う(例:imgsz=1280でバッチサイズを小さくする)ことで小さなターゲットを回復でき、SAHIタイル推論を使用して大きな画像をスライスすることで、各推論ウィンドウ内で小さなオブジェクトが占める割合を増やすことができます。

Link to this sectionVisDrone-DETと完全なVisDroneベンチマークの違いは何ですか?#

完全なVisDroneベンチマークは、画像内の物体検出、動画内の物体検出、単一物体追跡、多物体追跡、および群衆カウントの5つのタスクにわたり、288個の動画クリップと10,209枚の静止画像で構成されています。UltralyticsのVisDrone.yaml設定は画像検出タスク(VisDrone2019-DET)のみをカバーしており、6,471枚のトレーニング、548枚の検証、1,610枚のテスト用画像をダウンロードします。

Link to this section自分の研究でVisDroneを引用するにはどうすればよいですか?#

論文「Detection and Tracking Meet Drones Challenge」(IEEE TPAMI, vol. 44, no. 11, 2022, DOI 10.1109/TPAMI.2021.3119563)を引用してください。完全なBibTeXエントリは上記の引用と謝辞セクションにあります。

コメント