跳转至内容

xView 数据集

xView 数据集是公开可用的最大的高空图像数据集之一,包含来自世界各地复杂场景的图像,并使用边界框进行标注。xView 数据集的目标是加速四个计算机视觉前沿领域的发展:

  1. 降低检测的最小分辨率。
  2. 提高学习效率。
  3. 支持发现更多对象类别。
  4. 提高对细粒度类别的检测。

xView 建立在诸如 Common Objects in Context (COCO) 等挑战赛的成功之上,旨在利用计算机视觉分析太空中日益增长的可用图像,从而以新的方式理解视觉世界,并解决一系列重要的应用。

需要手动下载

Ultralytics 脚本不会自动下载 xView 数据集。您必须先从官方来源手动下载数据集:

重要提示: 下载必要的文件后(例如, train_images.tif, val_images.tif, xView_train.geojson),您需要提取它们并将它们放入正确的目录结构中,通常应位于 datasets/xView/ 文件夹, 之前 运行下面提供的训练命令。确保按照挑战说明正确设置数据集。

主要功能

  • xView 包含超过 100 万个对象实例,涵盖 60 个类别。
  • 该数据集的分辨率为 0.3 米,比大多数公共卫星图像数据集提供更高的分辨率图像。
  • xView 包含各种小型、稀有、细粒度和多类型的对象,并带有 边界框 注释。
  • 带有一个使用 TensorFlow 对象检测 API 预训练的基线模型和一个 PyTorch 示例。

数据集结构

xView 数据集由从 WorldView-3 卫星收集的卫星图像组成,地面采样距离为 0.3 米。它包含超过 1400 平方公里的图像中超过 100 万个对象,分为 60 个类别。该数据集对于遥感应用和环境监测尤其有价值。

应用

xView 数据集广泛用于训练和评估用于架空图像中对象检测的 深度学习 模型。该数据集具有多样化的对象类别和高分辨率图像,使其成为计算机视觉领域(尤其是卫星图像分析)的研究人员和从业人员的宝贵资源。应用包括:

  • 军事和国防侦察
  • 城市规划与发展
  • 环境监测
  • 灾害响应与评估
  • 基础设施测绘与管理

数据集 YAML

YAML(Yet Another Markup Language)文件用于定义数据集配置。它包含关于数据集的路径、类和其他相关信息。在 xView 数据集的情况下, xView.yaml 文件保存在 https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/xView.yaml.

ultralytics/cfg/datasets/xView.yaml

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# DIUx xView 2018 Challenge https://challenge.xviewdataset.org by U.S. National Geospatial-Intelligence Agency (NGA)
# --------  DOWNLOAD DATA MANUALLY and jar xf val_images.zip to 'datasets/xView' before running train command!  --------
# Documentation: https://docs.ultralytics.com/datasets/detect/xview/
# Example usage: yolo train data=xView.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── xView ← downloads here (20.7 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: xView # dataset root dir
train: images/autosplit_train.txt # train images (relative to 'path') 90% of 847 train images
val: images/autosplit_val.txt # train images (relative to 'path') 10% of 847 train images

# Classes
names:
  0: Fixed-wing Aircraft
  1: Small Aircraft
  2: Cargo Plane
  3: Helicopter
  4: Passenger Vehicle
  5: Small Car
  6: Bus
  7: Pickup Truck
  8: Utility Truck
  9: Truck
  10: Cargo Truck
  11: Truck w/Box
  12: Truck Tractor
  13: Trailer
  14: Truck w/Flatbed
  15: Truck w/Liquid
  16: Crane Truck
  17: Railway Vehicle
  18: Passenger Car
  19: Cargo Car
  20: Flat Car
  21: Tank car
  22: Locomotive
  23: Maritime Vessel
  24: Motorboat
  25: Sailboat
  26: Tugboat
  27: Barge
  28: Fishing Vessel
  29: Ferry
  30: Yacht
  31: Container Ship
  32: Oil Tanker
  33: Engineering Vehicle
  34: Tower crane
  35: Container Crane
  36: Reach Stacker
  37: Straddle Carrier
  38: Mobile Crane
  39: Dump Truck
  40: Haul Truck
  41: Scraper/Tractor
  42: Front loader/Bulldozer
  43: Excavator
  44: Cement Mixer
  45: Ground Grader
  46: Hut/Tent
  47: Shed
  48: Building
  49: Aircraft Hangar
  50: Damaged Building
  51: Facility
  52: Construction Site
  53: Vehicle Lot
  54: Helipad
  55: Storage Tank
  56: Shipping container lot
  57: Shipping Container
  58: Pylon
  59: Tower

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import json
  import os
  from pathlib import Path

  import numpy as np
  from PIL import Image

  from ultralytics.utils import TQDM
  from ultralytics.data.utils import autosplit
  from ultralytics.utils.ops import xyxy2xywhn


  def convert_labels(fname=Path("xView/xView_train.geojson")):
      """Converts xView geoJSON labels to YOLO format, mapping classes to indices 0-59 and saving as text files."""
      path = fname.parent
      with open(fname, encoding="utf-8") as f:
          print(f"Loading {fname}...")
          data = json.load(f)

      # Make dirs
      labels = Path(path / "labels" / "train")
      os.system(f"rm -rf {labels}")
      labels.mkdir(parents=True, exist_ok=True)

      # xView classes 11-94 to 0-59
      xview_class2index = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, -1, 3, -1, 4, 5, 6, 7, 8, -1, 9, 10, 11,
                           12, 13, 14, 15, -1, -1, 16, 17, 18, 19, 20, 21, 22, -1, 23, 24, 25, -1, 26, 27, -1, 28, -1,
                           29, 30, 31, 32, 33, 34, 35, 36, 37, -1, 38, 39, 40, 41, 42, 43, 44, 45, -1, -1, -1, -1, 46,
                           47, 48, 49, -1, 50, 51, -1, 52, -1, -1, -1, 53, 54, -1, 55, -1, -1, 56, -1, 57, -1, 58, 59]

      shapes = {}
      for feature in TQDM(data["features"], desc=f"Converting {fname}"):
          p = feature["properties"]
          if p["bounds_imcoords"]:
              id = p["image_id"]
              file = path / "train_images" / id
              if file.exists():  # 1395.tif missing
                  try:
                      box = np.array([int(num) for num in p["bounds_imcoords"].split(",")])
                      assert box.shape[0] == 4, f"incorrect box shape {box.shape[0]}"
                      cls = p["type_id"]
                      cls = xview_class2index[int(cls)]  # xView class to 0-60
                      assert 59 >= cls >= 0, f"incorrect class index {cls}"

                      # Write YOLO label
                      if id not in shapes:
                          shapes[id] = Image.open(file).size
                      box = xyxy2xywhn(box[None].astype(np.float), w=shapes[id][0], h=shapes[id][1], clip=True)
                      with open((labels / id).with_suffix(".txt"), "a", encoding="utf-8") as f:
                          f.write(f"{cls} {' '.join(f'{x:.6f}' for x in box[0])}\n")  # write label.txt
                  except Exception as e:
                      print(f"WARNING: skipping one label for {file}: {e}")


  # Download manually from https://challenge.xviewdataset.org
  dir = Path(yaml["path"])  # dataset root dir
  # urls = [
  #     "https://d307kc0mrhucc3.cloudfront.net/train_labels.zip",  # train labels
  #     "https://d307kc0mrhucc3.cloudfront.net/train_images.zip",  # 15G, 847 train images
  #     "https://d307kc0mrhucc3.cloudfront.net/val_images.zip",  # 5G, 282 val images (no labels)
  # ]
  # download(urls, dir=dir)

  # Convert labels
  convert_labels(dir / "xView_train.geojson")

  # Move images
  images = Path(dir / "images")
  images.mkdir(parents=True, exist_ok=True)
  Path(dir / "train_images").rename(dir / "images" / "train")
  Path(dir / "val_images").rename(dir / "images" / "val")

  # Split
  autosplit(dir / "images" / "train")

用法

要在 xView 数据集上训练模型 100 个 epochs,图像大小为 640,您可以使用以下代码片段。有关可用参数的完整列表,请参阅模型训练页面。

训练示例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="xView.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=xView.yaml model=yolo11n.pt epochs=100 imgsz=640

样本数据和注释

xView 数据集包含高分辨率卫星图像,其中使用边界框注释了各种对象。以下是来自数据集的一些数据示例以及它们对应的注释:

数据集样本图像

  • 俯视图像: 此图像演示了目标检测在俯视图像中的一个示例,其中目标用边界框进行注释。该数据集提供高分辨率卫星图像,以促进此任务的模型开发。

该示例展示了 xView 数据集中数据的多样性和复杂性,并突出了高质量卫星图像对于目标检测任务的重要性。

如果您正在处理卫星图像,您可能也会有兴趣探索以下相关数据集:

  • DOTA-v2:用于航空图像中定向目标检测的数据集
  • VisDrone:一个用于无人机拍摄图像中的对象检测和跟踪的数据集
  • Argoverse:用于自动驾驶的数据集,带有3D跟踪注释

引用和致谢

如果您在研究或开发工作中使用 xView 数据集,请引用以下论文:

@misc{lam2018xview,
      title={xView: Objects in Context in Overhead Imagery},
      author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
      year={2018},
      eprint={1802.07856},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

我们要感谢 国防创新部门 (DIU) 和 xView 数据集的创建者,他们为计算机视觉研究社区做出了宝贵贡献。 有关 xView 数据集及其创建者的更多信息,请访问 xView 数据集网站

常见问题

xView 数据集是什么?它如何使计算机视觉研究受益?

xView 数据集是最大的公开可用的高分辨率高空图像集合之一,包含超过 60 个类别的 100 多万个对象实例。它旨在增强计算机视觉研究的各个方面,例如降低检测的最小分辨率、提高学习效率、发现更多对象类别以及推进细粒度对象检测。

如何使用 Ultralytics YOLO 在 xView 数据集上训练模型?

要使用 Ultralytics YOLO 在 xView 数据集上训练模型,请按照以下步骤操作:

训练示例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="xView.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=xView.yaml model=yolo11n.pt epochs=100 imgsz=640

有关详细的参数和设置,请参阅模型训练页面。

xView 数据集的主要特点是什么?

xView 数据集因其全面的功能集而脱颖而出:

  • 超过 100 万个对象实例,涵盖 60 个不同的类别。
  • 0.3 米的高分辨率图像。
  • 包含小型、稀有和精细物体在内的各种对象类型,全部使用边界框进行标注。
  • TensorFlow 和 PyTorch 中预训练基线模型和示例的可用性。

xView 数据集的数据集结构是什么?它是如何被标注的?

xView 数据集包含由 WorldView-3 卫星以 0.3 米地面采样距离捕获的高分辨率卫星图像,覆盖约 1,400 平方公里的带注释图像中的 60 个不同类别中的超过 100 万个对象。每个对象都标有边界框,这使得该数据集非常适合训练和评估用于高空视图中目标检测的 深度学习 模型。有关详细信息,请参阅数据集结构部分

如何在我的研究中引用 xView 数据集?

如果您的研究中使用了 xView 数据集,请引用以下论文:

@misc{lam2018xview,
    title={xView: Objects in Context in Overhead Imagery},
    author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
    year={2018},
    eprint={1802.07856},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

有关 xView 数据集的更多信息,请访问官方 xView 数据集网站



📅 创建于 1 年前 ✏️ 更新于 4 个月前

评论