跳转至内容

VisDrone 数据集

VisDrone 数据集 是由中国天津大学机器学习和数据挖掘实验室 AISKYEYE 团队创建的大规模基准。它包含用于与无人机图像和视频分析相关的各种计算机视觉任务的，经过仔细标注的真实数据。



观看： 如何在 VisDrone 数据集上训练 Ultralytics YOLO 模型以进行无人机图像分析

VisDrone 由 288 个视频片段（包含 261,908 帧）和 10,209 张静态图像组成，这些数据由各种无人机载摄像头拍摄。该数据集涵盖了广泛的方面，包括地点（中国 14 个不同的城市）、环境（城市和乡村）、物体（行人、车辆、自行车等）和密度（稀疏和拥挤的场景）。该数据集是在不同的场景以及天气和光照条件下，使用各种无人机平台收集的。这些帧通过手动方式进行了标注，包含超过 260 万个目标的边界框，例如行人、汽车、自行车和三轮车。此外，还提供了场景可见性、物体类别和遮挡等属性，以更好地利用数据。

数据集结构

VisDrone 数据集被组织成五个主要子集，每个子集都侧重于一个特定的任务：

  1. 任务 1：图像中的物体检测
  2. 任务 2：视频中的物体检测
  3. 任务 3：单目标跟踪
  4. 任务 4: 多目标跟踪
  5. 任务 5：人群计数

应用

VisDrone 数据集被广泛用于训练和评估基于无人机的计算机视觉任务（如物体检测、物体跟踪和人群计数）中的深度学习模型。该数据集包含各种传感器数据、物体注释和属性，使其成为无人机计算机视觉领域研究人员和从业人员的宝贵资源。

数据集 YAML

YAML（Yet Another Markup Language）文件用于定义数据集配置。它包含有关数据集路径、类别和其他相关信息。对于 Visdrone 数据集， VisDrone.yaml 文件保存在 https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/VisDrone.yaml.

ultralytics/cfg/datasets/VisDrone.yaml

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# VisDrone2019-DET dataset https://github.com/VisDrone/VisDrone-Dataset by Tianjin University
# Documentation: https://docs.ultralytics.com/datasets/detect/visdrone/
# Example usage: yolo train data=VisDrone.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── VisDrone ← downloads here (2.3 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: VisDrone # dataset root dir
train: images/train # train images (relative to 'path') 6471 images
val: images/val # val images (relative to 'path') 548 images
test: images/test # test-dev images (optional) 1610 images

# Classes
names:
  0: pedestrian
  1: people
  2: bicycle
  3: car
  4: van
  5: truck
  6: tricycle
  7: awning-tricycle
  8: bus
  9: motor

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import os
  from pathlib import Path
  import shutil

  from ultralytics.utils.downloads import download
  from ultralytics.utils import TQDM


  def visdrone2yolo(dir, split, source_name=None):
      """Convert VisDrone annotations to YOLO format with images/{split} and labels/{split} structure."""
      from PIL import Image

      source_dir = dir / (source_name or f"VisDrone2019-DET-{split}")
      images_dir = dir / "images" / split
      labels_dir = dir / "labels" / split
      labels_dir.mkdir(parents=True, exist_ok=True)

      # Move images to new structure
      if (source_images_dir := source_dir / "images").exists():
          images_dir.mkdir(parents=True, exist_ok=True)
          for img in source_images_dir.glob("*.jpg"):
              img.rename(images_dir / img.name)

      for f in TQDM((source_dir / "annotations").glob("*.txt"), desc=f"Converting {split}"):
          img_size = Image.open(images_dir / f.with_suffix(".jpg").name).size
          dw, dh = 1.0 / img_size[0], 1.0 / img_size[1]
          lines = []

          with open(f, encoding="utf-8") as file:
              for row in [x.split(",") for x in file.read().strip().splitlines()]:
                  if row[4] != "0":  # Skip ignored regions
                      x, y, w, h = map(int, row[:4])
                      cls = int(row[5]) - 1
                      # Convert to YOLO format
                      x_center, y_center = (x + w / 2) * dw, (y + h / 2) * dh
                      w_norm, h_norm = w * dw, h * dh
                      lines.append(f"{cls} {x_center:.6f} {y_center:.6f} {w_norm:.6f} {h_norm:.6f}\n")

          (labels_dir / f.name).write_text("".join(lines), encoding="utf-8")


  # Download (ignores test-challenge split)
  dir = Path(yaml["path"])  # dataset root dir
  urls = [
      "https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-train.zip",
      "https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-val.zip",
      "https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-dev.zip",
      # "https://github.com/ultralytics/assets/releases/download/v0.0.0/VisDrone2019-DET-test-challenge.zip",
  ]
  download(urls, dir=dir, threads=4)

  # Convert
  splits = {"VisDrone2019-DET-train": "train", "VisDrone2019-DET-val": "val", "VisDrone2019-DET-test-dev": "test"}
  for folder, split in splits.items():
      visdrone2yolo(dir, split, folder)  # convert VisDrone annotations to YOLO labels
      shutil.rmtree(dir / folder)  # cleanup original directory

用法

要在 VisDrone 数据集上训练 YOLO11n 模型 100 个 epochs，图像大小为 640，您可以使用以下代码片段。有关可用参数的完整列表，请参阅模型训练页面。

训练示例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolo11n.pt epochs=100 imgsz=640

样本数据和注释

VisDrone 数据集包含由无人机载摄像头拍摄的各种图像和视频。以下是数据集中一些数据的示例，以及它们对应的注释：

数据集样本图像

  • 任务 1: 图像中的目标检测 - 此图像演示了图像中目标检测的示例，其中对象使用边界框进行注释。该数据集提供了从不同位置、环境和密度拍摄的各种图像，以促进此任务模型的开发。

该示例展示了 VisDrone 数据集中数据的多样性和复杂性，并强调了高质量传感器数据对于基于无人机的计算机视觉任务的重要性。

引用和致谢

如果您在研究或开发工作中使用 VisDrone 数据集，请引用以下论文：

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}}

我们要感谢中国天津大学机器学习与数据挖掘实验室的 AISKYEYE 团队创建并维护 VisDrone 数据集，使其成为无人机计算机视觉研究领域的一项宝贵资源。有关 VisDrone 数据集及其创建者的更多信息，请访问 VisDrone 数据集 GitHub 存储库。

常见问题

什么是 VisDrone 数据集，它的主要功能是什么？

VisDrone 数据集是由中国天津大学 AISKYEYE 团队创建的大规模基准。它专为与基于无人机的图像和视频分析相关的各种计算机视觉任务而设计。主要功能包括：

  • 组成：288 个视频片段，包含 261,908 帧和 10,209 张静态图像。
  • 注释：超过 260 万个边界框，用于标注行人、汽车、自行车和三轮车等物体。
  • 多样性：在 14 个城市、城市和乡村环境中，以及不同的天气和光照条件下收集。
  • 任务：分为五个主要任务——图像和视频中的物体检测、单目标和多目标跟踪以及人群计数。

如何使用 VisDrone 数据集通过 Ultralytics 训练 YOLO11 模型？

要在 VisDrone 数据集上训练 YOLO11 模型 100 个 epochs，图像大小为 640，您可以按照以下步骤操作：

训练示例

from ultralytics import YOLO

# Load a pretrained model
model = YOLO("yolo11n.pt")

# Train the model
results = model.train(data="VisDrone.yaml", epochs=100, imgsz=640)

# Start training from a pretrained *.pt model
yolo detect train data=VisDrone.yaml model=yolo11n.pt epochs=100 imgsz=640

有关其他配置选项，请参阅模型训练页面。

VisDrone 数据集的主要子集及其应用是什么？

VisDrone 数据集分为五个主要子集，每个子集都针对特定的计算机视觉任务定制：

  1. 任务 1: 图像中的目标检测。
  2. 任务 2: 视频中的目标检测。
  3. 任务 3: 单目标跟踪。
  4. 任务 4: 多目标跟踪。
  5. 任务 5: 人群计数。

这些子集广泛用于训练和评估无人机应用（如监控、交通监测和公共安全）中的深度学习模型。

在哪里可以找到 Ultralytics 中 VisDrone 数据集的配置文件？

VisDrone数据集的配置文件， VisDrone.yaml可以在 Ultralytics 仓库中的以下链接找到： VisDrone.yaml.

如果我在研究中使用 VisDrone 数据集，如何引用它？

如果您在研究或开发工作中使用 VisDrone 数据集，请引用以下论文：

@ARTICLE{9573394,
  author={Zhu, Pengfei and Wen, Longyin and Du, Dawei and Bian, Xiao and Fan, Heng and Hu, Qinghua and Ling, Haibin},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  title={Detection and Tracking Meet Drones Challenge},
  year={2021},
  volume={},
  number={},
  pages={1-1},
  doi={10.1109/TPAMI.2021.3119563}
}


📅 创建于 1 年前 ✏️ 更新于 6 个月前
glenn-jocher RizwanMunawar UltralyticsAssistant MatthewNoyce jk4e Laughing-q

评论