xView Dataset
Набор данных xView - это один из крупнейших общедоступных наборов данных накладных изображений, содержащий изображения сложных сцен по всему миру, аннотированные с помощью ограничительных рамок. Цель создания набора данных xView - ускорить прогресс в четырех областях компьютерного зрения:
- Уменьшите минимальное разрешение для обнаружения.
- Повышение эффективности обучения.
- Позволяет обнаруживать больше классов объектов.
- Улучшение обнаружения мелкодисперсных классов.
xView опирается на успех таких задач, как Common Objects in Context (COCO), и нацелен на использование компьютерного зрения для анализа растущего объема доступных снимков из космоса, чтобы по-новому понять визуальный мир и решить ряд важных задач.
Основные характеристики
- xView содержит более 1 миллиона экземпляров объектов, относящихся к 60 классам.
- Разрешение набора данных составляет 0,3 метра, что обеспечивает более высокое разрешение снимков, чем у большинства общедоступных наборов спутниковых снимков.
- В xView представлена разнообразная коллекция мелких, редких, мелкозернистых и многотипных объектов с аннотацией ограничительных рамок.
- Поставляется с предварительно обученной базовой моделью с использованием TensorFlow API для обнаружения объектов и пример для PyTorch.
Структура набора данных
Набор данных xView состоит из спутниковых изображений, полученных со спутников WorldView-3 на расстоянии 0,3 м от поверхности земли. Он содержит более 1 миллиона объектов 60 классов на площади более 1 400 км². Этот набор данных особенно ценен для приложений дистанционного зондирования и мониторинга окружающей среды.
Приложения
Набор данных xView широко используется для обучения и оценки моделей глубокого обучения для обнаружения объектов на снимках с высоты. Разнообразие классов объектов и высокое разрешение снимков делают этот набор данных ценным ресурсом для исследователей и практиков в области компьютерного зрения, особенно для анализа спутниковых снимков. Приложения включают:
- Военная и оборонная разведка
- Городское планирование и развитие
- Экологический мониторинг
- Реагирование и оценка последствий стихийных бедствий
- Картирование и управление инфраструктурой
Набор данных YAML
Для определения конфигурации набора данных используется файл YAML (Yet Another Markup Language). Он содержит информацию о путях, классах и другую необходимую информацию о наборе данных. В случае набора данных xView файл xView.yaml файл хранится по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/xView.yaml.
ultralytics/cfg/datasets/xView.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# DIUx xView 2018 Challenge https://challenge.xviewdataset.org by U.S. National Geospatial-Intelligence Agency (NGA)
# -------- DOWNLOAD DATA MANUALLY and jar xf val_images.zip to 'datasets/xView' before running train command! --------
# Documentation: https://docs.ultralytics.com/datasets/detect/xview/
# Example usage: yolo train data=xView.yaml
# parent
# ├── ultralytics
# └── datasets
# └── xView ← downloads here (20.7 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/xView # dataset root dir
train: images/autosplit_train.txt # train images (relative to 'path') 90% of 847 train images
val: images/autosplit_val.txt # train images (relative to 'path') 10% of 847 train images
# Classes
names:
0: Fixed-wing Aircraft
1: Small Aircraft
2: Cargo Plane
3: Helicopter
4: Passenger Vehicle
5: Small Car
6: Bus
7: Pickup Truck
8: Utility Truck
9: Truck
10: Cargo Truck
11: Truck w/Box
12: Truck Tractor
13: Trailer
14: Truck w/Flatbed
15: Truck w/Liquid
16: Crane Truck
17: Railway Vehicle
18: Passenger Car
19: Cargo Car
20: Flat Car
21: Tank car
22: Locomotive
23: Maritime Vessel
24: Motorboat
25: Sailboat
26: Tugboat
27: Barge
28: Fishing Vessel
29: Ferry
30: Yacht
31: Container Ship
32: Oil Tanker
33: Engineering Vehicle
34: Tower crane
35: Container Crane
36: Reach Stacker
37: Straddle Carrier
38: Mobile Crane
39: Dump Truck
40: Haul Truck
41: Scraper/Tractor
42: Front loader/Bulldozer
43: Excavator
44: Cement Mixer
45: Ground Grader
46: Hut/Tent
47: Shed
48: Building
49: Aircraft Hangar
50: Damaged Building
51: Facility
52: Construction Site
53: Vehicle Lot
54: Helipad
55: Storage Tank
56: Shipping container lot
57: Shipping Container
58: Pylon
59: Tower
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
import os
from pathlib import Path
import numpy as np
from PIL import Image
from tqdm import tqdm
from ultralytics.data.utils import autosplit
from ultralytics.utils.ops import xyxy2xywhn
def convert_labels(fname=Path("xView/xView_train.geojson")):
"""Converts xView geoJSON labels to YOLO format, mapping classes to indices 0-59 and saving as text files."""
path = fname.parent
with open(fname, encoding="utf-8") as f:
print(f"Loading {fname}...")
data = json.load(f)
# Make dirs
labels = Path(path / "labels" / "train")
os.system(f"rm -rf {labels}")
labels.mkdir(parents=True, exist_ok=True)
# xView classes 11-94 to 0-59
xview_class2index = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, -1, 3, -1, 4, 5, 6, 7, 8, -1, 9, 10, 11,
12, 13, 14, 15, -1, -1, 16, 17, 18, 19, 20, 21, 22, -1, 23, 24, 25, -1, 26, 27, -1, 28, -1,
29, 30, 31, 32, 33, 34, 35, 36, 37, -1, 38, 39, 40, 41, 42, 43, 44, 45, -1, -1, -1, -1, 46,
47, 48, 49, -1, 50, 51, -1, 52, -1, -1, -1, 53, 54, -1, 55, -1, -1, 56, -1, 57, -1, 58, 59]
shapes = {}
for feature in tqdm(data["features"], desc=f"Converting {fname}"):
p = feature["properties"]
if p["bounds_imcoords"]:
id = p["image_id"]
file = path / "train_images" / id
if file.exists(): # 1395.tif missing
try:
box = np.array([int(num) for num in p["bounds_imcoords"].split(",")])
assert box.shape[0] == 4, f"incorrect box shape {box.shape[0]}"
cls = p["type_id"]
cls = xview_class2index[int(cls)] # xView class to 0-60
assert 59 >= cls >= 0, f"incorrect class index {cls}"
# Write YOLO label
if id not in shapes:
shapes[id] = Image.open(file).size
box = xyxy2xywhn(box[None].astype(np.float), w=shapes[id][0], h=shapes[id][1], clip=True)
with open((labels / id).with_suffix(".txt"), "a", encoding="utf-8") as f:
f.write(f"{cls} {' '.join(f'{x:.6f}' for x in box[0])}\n") # write label.txt
except Exception as e:
print(f"WARNING: skipping one label for {file}: {e}")
# Download manually from https://challenge.xviewdataset.org
dir = Path(yaml["path"]) # dataset root dir
# urls = [
# "https://d307kc0mrhucc3.cloudfront.net/train_labels.zip", # train labels
# "https://d307kc0mrhucc3.cloudfront.net/train_images.zip", # 15G, 847 train images
# "https://d307kc0mrhucc3.cloudfront.net/val_images.zip", # 5G, 282 val images (no labels)
# ]
# download(urls, dir=dir)
# Convert labels
convert_labels(dir / "xView_train.geojson")
# Move images
images = Path(dir / "images")
images.mkdir(parents=True, exist_ok=True)
Path(dir / "train_images").rename(dir / "images" / "train")
Path(dir / "val_images").rename(dir / "images" / "val")
# Split
autosplit(dir / "images" / "train")
Использование
Для обучения модели на наборе данных xView в течение 100 эпох при размере изображения 640 можно использовать следующие фрагменты кода. Полный список доступных аргументов см. на странице "Обучение модели".
Пример поезда
Образцы данных и аннотации
Набор данных xView содержит спутниковые снимки высокого разрешения с разнообразными объектами, аннотированными с помощью ограничительных рамок. Вот несколько примеров данных из этого набора, а также соответствующие аннотации к ним:
- Съемка сверху: Это изображение демонстрирует пример обнаружения объектов на снимках сверху, где объекты аннотированы ограничительными рамками. В наборе данных представлены спутниковые изображения высокого разрешения, что облегчает разработку моделей для этой задачи.
Этот пример демонстрирует разнообразие и сложность данных в наборе данных xView и подчеркивает важность высококачественных спутниковых снимков для задач обнаружения объектов.
Связанные наборы данных
Если вы работаете со спутниковыми снимками, вам также может быть интересно изучить эти связанные наборы данных:
- DOTA-v2: Набор данных для ориентированного обнаружения объектов на аэрофотоснимках
- VisDrone: Набор данных для обнаружения и отслеживания объектов на снимках, сделанных дронами
- Арговерс: Набор данных для автономного вождения с аннотациями 3D-слежения
Цитаты и благодарности
Если вы используете набор данных xView в своих исследованиях или разработках, пожалуйста, ссылайтесь на следующий документ:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Мы хотели бы выразить благодарность оборонному инновационному подразделению (DIU) и создателям набора данных xView за их ценный вклад в сообщество исследователей компьютерного зрения. Дополнительную информацию о наборе данных xView и его создателях можно найти на сайте набора данных xView.
ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Что такое набор данных xView и чем он полезен для исследований в области компьютерного зрения?
Набор данных xView - это одна из крупнейших общедоступных коллекций изображений высокого разрешения, содержащая более 1 миллиона экземпляров объектов, относящихся к 60 классам. Он предназначен для улучшения различных аспектов исследований в области компьютерного зрения, таких как снижение минимального разрешения для обнаружения, повышение эффективности обучения, обнаружение большего количества классов объектов и продвижение в области тонкого обнаружения объектов.
Как использовать Ultralytics YOLO для обучения модели на наборе данных xView?
Чтобы обучить модель на наборе данных xView с помощью Ultralytics YOLOвыполните следующие действия:
Пример поезда
Подробные аргументы и настройки см. на странице обучения модели.
Каковы ключевые особенности набора данных xView?
Набор данных xView выделяется своим обширным набором функций:
- Более 1 миллиона экземпляров объектов в 60 различных классах.
- Снимки высокого разрешения на расстоянии 0,3 метра.
- Разнообразные типы объектов, включая мелкие, редкие и мелкомасштабные, все аннотированы с ограничительными рамками.
- Доступность предварительно обученной базовой модели и примеров в TensorFlow и PyTorch.
Какова структура набора данных в xView и как он аннотируется?
Набор данных xView включает в себя спутниковые снимки высокого разрешения, полученные со спутников WorldView-3 с расстояния 0,3 м от поверхности земли. Он включает в себя более 1 миллиона объектов 60 классов на площади около 1400 км². Каждый объект в наборе данных аннотирован с ограничительными рамками, что делает его идеальным для обучения и оценки моделей глубокого обучения для обнаружения объектов на снимках сверху. Подробный обзор структуры набора данных можно посмотреть здесь.
Как использовать набор данных xView в своих исследованиях?
Если вы используете набор данных xView в своих исследованиях, пожалуйста, ссылайтесь на следующую статью:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Более подробную информацию о наборе данных xView можно найти на официальном сайте набора данных xView.
