Набор данных xView

Набор данных xView — один из крупнейших общедоступных наборов изображений с обзором сверху, содержащий снимки сложных сцен со всего мира, размеченные с помощью ограничивающих рамок. Цель набора данных xView — ускорить прогресс в четырех рубежах компьютерного зрения:

Снижение минимального разрешения для детекции.
Повышение эффективности обучения.
Обеспечение обнаружения большего количества классов объектов.
Улучшение обнаружения мелкозернистых классов.

xView опирается на успех таких задач, как Common Objects in Context (COCO), и стремится использовать компьютерное зрение для анализа растущего объема доступных снимков из космоса, чтобы понимать визуальный мир по-новому и решать ряд важных прикладных задач.

Требуется загрузка вручную

Набор данных xView не загружается автоматически скриптами Ultralytics. Ты должен сначала вручную загрузить набор данных из официального источника:

Источник: Конкурс DIUx xView 2018 от Национального агентства геопространственной разведки США (NGA)
URL: https://challenge.xviewdataset.org

Важно: После загрузки необходимых файлов (например, train_images.tif, val_images.tif, xView_train.geojson) тебе нужно распаковать их и поместить в правильную структуру каталогов, которая обычно ожидается в папке datasets/xView/, перед запуском команд обучения, представленных ниже. Убедись, что набор данных правильно настроен в соответствии с инструкциями конкурса.

Основные характеристики

xView содержит более 1 миллиона экземпляров объектов в 60 классах.
Набор данных имеет разрешение 0,3 метра, что обеспечивает более высокое разрешение снимков, чем большинство общедоступных наборов спутниковых данных.
xView отличается разнообразной коллекцией мелких, редких, мелкозернистых и разнотипных объектов с аннотациями в виде ограничивающих рамок.
Поставляется с предварительно обученной базовой моделью, использующей API для обнаружения объектов TensorFlow, и примером для PyTorch.

Структура набора данных

Набор данных xView состоит из спутниковых снимков, полученных со спутников WorldView-3 с пространственным разрешением 0,3 м на пиксель. Он содержит более 1 миллиона объектов в 60 классах на более чем 1400 км² снимков. Этот набор данных особенно ценен для задач дистанционного зондирования и экологического мониторинга.

Приложения

Набор данных xView широко используется для обучения и оценки моделей глубокого обучения для обнаружения объектов на снимках с обзором сверху. Разнообразный набор классов объектов и снимки высокого разрешения делают его ценным ресурсом для исследователей и практиков в области компьютерного зрения, особенно для анализа спутниковых данных. Приложения включают:

Военная и оборонная разведка
Городское планирование и развитие
Экологический мониторинг
Реагирование на стихийные бедствия и их оценка
Картографирование и управление инфраструктурой

YAML набора данных

Для определения конфигурации набора данных используется файл YAML (Yet Another Markup Language). Он содержит информацию о путях к набору данных, классах и другую актуальную информацию. В случае с набором данных xView файл xView.yaml поддерживается по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/xView.yaml.

ultralytics/cfg/datasets/xView.yaml

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# DIUx xView 2018 Challenge dataset https://challenge.xviewdataset.org by U.S. National Geospatial-Intelligence Agency (NGA)
# --------  Download and extract data manually to `datasets/xView` before running the train command.  --------
# Documentation: https://docs.ultralytics.com/datasets/detect/xview/
# Example usage: yolo train data=xView.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── xView ← downloads here (20.7 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: xView # dataset root dir
train: images/autosplit_train.txt # train images (relative to 'path') 90% of 847 train images
val: images/autosplit_val.txt # val images (relative to 'path') 10% of 847 train images

# Classes
names:
  0: Fixed-wing Aircraft
  1: Small Aircraft
  2: Cargo Plane
  3: Helicopter
  4: Passenger Vehicle
  5: Small Car
  6: Bus
  7: Pickup Truck
  8: Utility Truck
  9: Truck
  10: Cargo Truck
  11: Truck w/Box
  12: Truck Tractor
  13: Trailer
  14: Truck w/Flatbed
  15: Truck w/Liquid
  16: Crane Truck
  17: Railway Vehicle
  18: Passenger Car
  19: Cargo Car
  20: Flat Car
  21: Tank car
  22: Locomotive
  23: Maritime Vessel
  24: Motorboat
  25: Sailboat
  26: Tugboat
  27: Barge
  28: Fishing Vessel
  29: Ferry
  30: Yacht
  31: Container Ship
  32: Oil Tanker
  33: Engineering Vehicle
  34: Tower crane
  35: Container Crane
  36: Reach Stacker
  37: Straddle Carrier
  38: Mobile Crane
  39: Dump Truck
  40: Haul Truck
  41: Scraper/Tractor
  42: Front loader/Bulldozer
  43: Excavator
  44: Cement Mixer
  45: Ground Grader
  46: Hut/Tent
  47: Shed
  48: Building
  49: Aircraft Hangar
  50: Damaged Building
  51: Facility
  52: Construction Site
  53: Vehicle Lot
  54: Helipad
  55: Storage Tank
  56: Shipping container lot
  57: Shipping Container
  58: Pylon
  59: Tower

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import json
  from pathlib import Path
  import shutil

  import numpy as np
  from PIL import Image

  from ultralytics.utils import TQDM
  from ultralytics.data.split import autosplit
  from ultralytics.utils.ops import xyxy2xywhn

  def convert_labels(fname=Path("xView/xView_train.geojson")):
      """Convert xView GeoJSON labels to YOLO format (classes 0-59) and save them as text files."""
      path = fname.parent
      with open(fname, encoding="utf-8") as f:
          print(f"Loading {fname}...")
          data = json.load(f)

      # Make dirs
      labels = path / "labels" / "train"
      shutil.rmtree(labels, ignore_errors=True)
      labels.mkdir(parents=True, exist_ok=True)

      # xView classes 11-94 to 0-59
      xview_class2index = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, -1, 3, -1, 4, 5, 6, 7, 8, -1, 9, 10, 11,
                           12, 13, 14, 15, -1, -1, 16, 17, 18, 19, 20, 21, 22, -1, 23, 24, 25, -1, 26, 27, -1, 28, -1,
                           29, 30, 31, 32, 33, 34, 35, 36, 37, -1, 38, 39, 40, 41, 42, 43, 44, 45, -1, -1, -1, -1, 46,
                           47, 48, 49, -1, 50, 51, -1, 52, -1, -1, -1, 53, 54, -1, 55, -1, -1, 56, -1, 57, -1, 58, 59]

      shapes = {}
      for feature in TQDM(data["features"], desc=f"Converting {fname}"):
          p = feature["properties"]
          if p["bounds_imcoords"]:
              image_id = p["image_id"]
              image_file = path / "train_images" / image_id
              if image_file.exists():  # 1395.tif missing
                  try:
                      box = np.array([int(num) for num in p["bounds_imcoords"].split(",")])
                      assert box.shape[0] == 4, f"incorrect box shape {box.shape[0]}"
                      cls = p["type_id"]
                      cls = xview_class2index[int(cls)]  # xView class to 0-59
                      assert 59 >= cls >= 0, f"incorrect class index {cls}"

                      # Write YOLO label
                      if image_id not in shapes:
                          shapes[image_id] = Image.open(image_file).size
                      box = xyxy2xywhn(box[None].astype(float), w=shapes[image_id][0], h=shapes[image_id][1], clip=True)
                      with open((labels / image_id).with_suffix(".txt"), "a", encoding="utf-8") as f:
                          f.write(f"{cls} {' '.join(f'{x:.6f}' for x in box[0])}\n")  # write label.txt
                  except Exception as e:
                      print(f"WARNING: skipping one label for {image_file}: {e}")

  # Download manually from https://challenge.xviewdataset.org
  dir = Path(yaml["path"])  # dataset root dir
  # urls = [
  #     "https://d307kc0mrhucc3.cloudfront.net/train_labels.zip",  # train labels
  #     "https://d307kc0mrhucc3.cloudfront.net/train_images.zip",  # 15G, 847 train images
  #     "https://d307kc0mrhucc3.cloudfront.net/val_images.zip",  # 5G, 282 val images (no labels)
  # ]
  # download(urls, dir=dir)

  # Convert labels
  convert_labels(dir / "xView_train.geojson")

  # Move images
  images = Path(dir / "images")
  images.mkdir(parents=True, exist_ok=True)
  Path(dir / "train_images").rename(dir / "images" / "train")
  Path(dir / "val_images").rename(dir / "images" / "val")

  # Split
  autosplit(dir / "images" / "train")

Использование

Чтобы обучить модель на наборе данных xView в течение 100 эпох с размером изображения 640, ты можешь использовать следующие фрагменты кода. Полный список доступных аргументов смотри на странице Обучение модели.

Пример обучения

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="xView.yaml", epochs=100, imgsz=640)

Примеры данных и аннотаций

Набор данных xView содержит спутниковые снимки высокого разрешения с разнообразным набором объектов, размеченных с помощью ограничивающих рамок. Вот несколько примеров данных из этого набора, вместе с соответствующими аннотациями:

Спутниковые снимки с обзором сверху из набора данных xView с обнаружением объектов

Снимки с обзором сверху: Этот рисунок демонстрирует пример обнаружения объектов на изображениях с обзором сверху, где объекты размечены ограничивающими рамками. Набор данных предоставляет спутниковые снимки высокого разрешения для облегчения разработки моделей для этой задачи.

Этот пример демонстрирует разнообразие и сложность данных в наборе xView и подчеркивает важность высококачественных спутниковых снимков для задач обнаружения объектов.

Связанные наборы данных

Если ты работаешь со спутниковыми снимками, возможно, тебе будет интересно изучить следующие связанные наборы данных:

DOTA-v2: Набор данных для обнаружения ориентированных объектов на аэрофотоснимках
VisDrone: Набор данных для обнаружения и отслеживания объектов на видео, снятом с дронов
Argoverse: Набор данных для автономного вождения с аннотациями для 3D-отслеживания

Цитирование и благодарности

Если ты используешь набор данных xView в своей исследовательской или проектной работе, пожалуйста, сошлися на следующую публикацию:

Цитата

@misc{lam2018xview,
      title={xView: Objects in Context in Overhead Imagery},
      author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
      year={2018},
      eprint={1802.07856},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Мы хотели бы выразить признательность Defense Innovation Unit (DIU) и создателям набора данных xView за их ценный вклад в сообщество исследователей компьютерного зрения. Дополнительную информацию о наборе данных xView и его создателях можно найти на веб-сайте набора данных xView.

Часто задаваемые вопросы (FAQ)

Что такое набор данных xView и как он помогает исследованиям в области компьютерного зрения?

Набор данных xView — одна из крупнейших общедоступных коллекций снимков с обзором сверху высокого разрешения, содержащая более 1 миллиона экземпляров объектов в 60 классах. Он создан для улучшения различных аспектов исследований в компьютерном зрении, таких как снижение минимального разрешения для обнаружения, повышение эффективности обучения, открытие новых классов объектов и развитие методов обнаружения мелкозернистых объектов.

Как я могу использовать Ultralytics YOLO для обучения модели на наборе данных xView?

Чтобы обучить модель на наборе данных xView с помощью Ultralytics YOLO, выполни следующие шаги:

Пример обучения

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="xView.yaml", epochs=100, imgsz=640)

Подробные аргументы и настройки смотри на странице Обучение модели.

Каковы ключевые особенности набора данных xView?

Набор данных xView выделяется благодаря своему всестороннему набору характеристик:

Более 1 миллиона экземпляров объектов в 60 различных классах.
Снимки высокого разрешения с детализацией 0,3 метра.
Разнообразные типы объектов, включая мелкие, редкие и мелкозернистые объекты, все они размечены ограничивающими рамками.
Наличие предварительно обученной базовой модели и примеров для TensorFlow и PyTorch.

Какова структура набора данных xView и как он размечен?

Набор данных xView содержит спутниковые снимки высокого разрешения, полученные со спутников WorldView-3 с пространственным разрешением 0,3 м на пиксель, охватывающие более 1 миллиона объектов в 60 различных классах на примерно 1400 км² размеченных снимков. Каждый объект размечен ограничивающими рамками, что делает набор данных очень подходящим для обучения и оценки моделей глубокого обучения для обнаружения объектов на снимках с обзором сверху. Подробный разбор смотри в разделе Структура набора данных.

Как сослаться на набор данных xView в моем исследовании?

Если ты используешь набор данных xView в своем исследовании, пожалуйста, сошлися на следующую публикацию: