Conjunto de dados xView#
O conjunto de dados xView é uma das maiores referências de imagens de satélite disponíveis publicamente para object detection, fornecendo mais de 1 milhão de instâncias de objetos em 60 classes anotadas com bounding boxes em mais de 1.400 km² de imagens do WorldView-3 a 0,3 m. Foi lançado para o desafio DIUx xView 2018 pela Agência Nacional de Inteligência Geoespacial dos EUA (NGA) e requer uma transferência manual de cerca de 20,7 GB.
O conjunto de dados foi criado para impulsionar quatro fronteiras de computer vision:
- Reduzir a resolução mínima para detecção.
- Melhorar a eficiência do aprendizado.
- Possibilitar a descoberta de mais classes de objetos.
- Melhorar a detecção de classes de granulação fina.
Com base em referências como o COCO, o xView foca em imagens aéreas, onde os objetos são muito menores e mais densamente agrupados do que em fotos tiradas ao nível do solo.
O conjunto de dados xView não é descarregado automaticamente. Regista-te no site do DIUx xView 2018 Challenge para descarregar train_images.zip (~15 GB), train_labels.zip e val_images.zip (~5 GB), e depois extrai-os em datasets/xView/ para que contenha:
datasets/xView/
├── train_images/ # 847 TIF satellite images
├── val_images/ # 282 TIF images (no public labels)
└── xView_train.geojson # bounding-box annotationsNa primeira execução de treinamento, a Ultralytics converte as anotações GeoJSON para o formato YOLO e divide automaticamente as imagens rotuladas em aproximadamente 90/10 para conjuntos de treinamento e validação — não é necessária nenhuma conversão manual.
Principais recursos#
- Classes de granulação fina: 60 classes de objetos abrangendo aeronaves, veículos, material ferroviário, embarcações marítimas, equipamentos de construção e edifícios — muitos pequenos, raros e visualmente semelhantes.
- Alta resolução: distância de amostragem de solo de 0,3 m coletada de satélites WorldView-3.
- Anotação densa: mais de 1 milhão de instâncias de objetos em mais de 1.400 km² de imagens, todas rotuladas com caixas delimitadoras horizontais.
- Conversão automática: o script de download da Ultralytics converte os rótulos GeoJSON originais para o formato YOLO e gera a divisão de treino/val na primeira utilização.
Estrutura do Dataset#
As imagens do xView são grandes cenas de satélite em formato TIF, e apenas as 847 imagens de treino vêm com rótulos públicos — o conjunto de validação do desafio de 282 imagens não tem nenhum. A configuração xView.yaml do Ultralytics divide, portanto, as imagens rotuladas automaticamente na primeira utilização:
| Divisão | Imagens | Descrição |
|---|---|---|
| Treinar | ~90% de 847 | Imagens rotuladas listadas em autosplit_train.txt, geradas na primeira execução |
| Validação | ~10% de 847 | Imagens rotuladas listadas em autosplit_val.txt, usadas para evaluation |
As 60 classes cobrem categorias detalhadas como Aeronave de Asa Fixa, Avião de Carga, Carro Pequeno, Autocarro, Locomotiva, Embarcação Marítima, Escavadora, Edifício, hangar de aeronaves e Tanque de Armazenamento; a lista completa está no Dataset YAML abaixo. Durante a conversão, os IDs de classe originais do desafio (11–94) são remapeados para índices contíguos 0–59.
Aplicações#
As classes detalhadas do xView e o ponto de vista aéreo de alta resolução tornam-no uma referência padrão para treinar e avaliar modelos de deep learning em remote sensing. As aplicações comuns incluem:
- Reconhecimento militar e de defesa
- Planejamento urbano e desenvolvimento
- Monitoramento ambiental
- Resposta e avaliação de desastres
- Mapeamento e gestão de infraestrutura
Para outras referências de imagens aéreas, consulta o VisDrone dataset focado em drones ou o DOTA-v2 dataset com caixas orientadas.
YAML do Dataset#
O ficheiro xView.yaml define a configuração do conjunto de dados — os caminhos do conjunto de dados, os 60 nomes de classes e o script de transferência que converte as anotações GeoJSON e gera a divisão automática. É mantido no repositório do Ultralytics em https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/xView.yaml.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# DIUx xView 2018 Challenge dataset https://challenge.xviewdataset.org by U.S. National Geospatial-Intelligence Agency (NGA)
# -------- Download and extract data manually to `datasets/xView` before running the train command. --------
# Documentation: https://docs.ultralytics.com/datasets/detect/xview
# Example usage: yolo train data=xView.yaml
# parent
# ├── ultralytics
# └── datasets
# └── xView ← downloads here (20.7 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: xView # dataset root dir
train: images/autosplit_train.txt # train images (relative to 'path') 90% of 847 train images
val: images/autosplit_val.txt # val images (relative to 'path') 10% of 847 train images
# Classes
names:
0: Fixed-wing Aircraft
1: Small Aircraft
2: Cargo Plane
3: Helicopter
4: Passenger Vehicle
5: Small Car
6: Bus
7: Pickup Truck
8: Utility Truck
9: Truck
10: Cargo Truck
11: Truck w/Box
12: Truck Tractor
13: Trailer
14: Truck w/Flatbed
15: Truck w/Liquid
16: Crane Truck
17: Railway Vehicle
18: Passenger Car
19: Cargo Car
20: Flat Car
21: Tank car
22: Locomotive
23: Maritime Vessel
24: Motorboat
25: Sailboat
26: Tugboat
27: Barge
28: Fishing Vessel
29: Ferry
30: Yacht
31: Container Ship
32: Oil Tanker
33: Engineering Vehicle
34: Tower crane
35: Container Crane
36: Reach Stacker
37: Straddle Carrier
38: Mobile Crane
39: Dump Truck
40: Haul Truck
41: Scraper/Tractor
42: Front loader/Bulldozer
43: Excavator
44: Cement Mixer
45: Ground Grader
46: Hut/Tent
47: Shed
48: Building
49: Aircraft Hangar
50: Damaged Building
51: Facility
52: Construction Site
53: Vehicle Lot
54: Helipad
55: Storage Tank
56: Shipping container lot
57: Shipping Container
58: Pylon
59: Tower
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
from pathlib import Path
import shutil
import numpy as np
from PIL import Image
from ultralytics.utils import TQDM
from ultralytics.data.split import autosplit
from ultralytics.utils.ops import xyxy2xywhn
def convert_labels(fname=Path("xView/xView_train.geojson")):
"""Convert xView GeoJSON labels to YOLO format (classes 0-59) and save them as text files."""
path = fname.parent
with open(fname, encoding="utf-8") as f:
print(f"Loading {fname}...")
data = json.load(f)
# Make dirs
labels = path / "labels" / "train"
shutil.rmtree(labels, ignore_errors=True)
labels.mkdir(parents=True, exist_ok=True)
# xView classes 11-94 to 0-59
xview_class2index = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, -1, 3, -1, 4, 5, 6, 7, 8, -1, 9, 10, 11,
12, 13, 14, 15, -1, -1, 16, 17, 18, 19, 20, 21, 22, -1, 23, 24, 25, -1, 26, 27, -1, 28, -1,
29, 30, 31, 32, 33, 34, 35, 36, 37, -1, 38, 39, 40, 41, 42, 43, 44, 45, -1, -1, -1, -1, 46,
47, 48, 49, -1, 50, 51, -1, 52, -1, -1, -1, 53, 54, -1, 55, -1, -1, 56, -1, 57, -1, 58, 59]
shapes = {}
for feature in TQDM(data["features"], desc=f"Converting {fname}"):
p = feature["properties"]
if p["bounds_imcoords"]:
image_id = p["image_id"]
image_file = path / "train_images" / image_id
if image_file.exists(): # 1395.tif missing
try:
box = np.array([int(num) for num in p["bounds_imcoords"].split(",")])
assert box.shape[0] == 4, f"incorrect box shape {box.shape[0]}"
cls = p["type_id"]
cls = xview_class2index[int(cls)] # xView class to 0-59
assert 59 >= cls >= 0, f"incorrect class index {cls}"
# Write YOLO label
if image_id not in shapes:
shapes[image_id] = Image.open(image_file).size
box = xyxy2xywhn(box[None].astype(float), w=shapes[image_id][0], h=shapes[image_id][1], clip=True)
with open((labels / image_id).with_suffix(".txt"), "a", encoding="utf-8") as f:
f.write(f"{cls} {' '.join(f'{x:.6f}' for x in box[0])}\n") # write label.txt
except Exception as e:
print(f"WARNING: skipping one label for {image_file}: {e}")
# Download manually from https://challenge.xviewdataset.org
dir = Path(yaml["path"]) # dataset root dir
# urls = [
# "https://d307kc0mrhucc3.cloudfront.net/train_labels.zip", # train labels
# "https://d307kc0mrhucc3.cloudfront.net/train_images.zip", # 15G, 847 train images
# "https://d307kc0mrhucc3.cloudfront.net/val_images.zip", # 5G, 282 val images (no labels)
# ]
# download(urls, dir=dir)
# Convert labels
convert_labels(dir / "xView_train.geojson")
# Move images
images = Path(dir / "images")
images.mkdir(parents=True, exist_ok=True)
Path(dir / "train_images").rename(dir / "images" / "train")
Path(dir / "val_images").rename(dir / "images" / "val")
# Split
autosplit(dir / "images" / "train")Uso#
O treino espera que a transferência manual descrita acima seja extraída em datasets/xView/; a conversão de anotações e a divisão de treino/val são executadas automaticamente.
Para treinar um modelo no conjunto de dados xView durante 100 epochs com um tamanho de imagem de 640, podes utilizar os seguintes snippets de código. Para obteres uma lista abrangente de argumentos disponíveis, consulta a página de Training do modelo.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="xView.yaml", epochs=100, imgsz=640)Para rotular imagens de satélite adicionais e gerir as execuções de treino do xView no teu browser, utiliza a Ultralytics Platform.
Dados de Amostra e Anotações#
O exemplo abaixo mostra uma cena típica do xView: imagens aéreas de alta resolução nas quais pequenos objetos, como veículos e edifícios, são anotados com caixas delimitadoras, ilustrando o porquê de a object detection em imagens de satélite exigir uma localização detalhada.
Citações e Agradecimentos#
Se você usar o conjunto de dados xView em seu trabalho de pesquisa ou desenvolvimento, cite o seguinte artigo:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Gostaríamos de agradecer à Defense Innovation Unit (DIU) e aos criadores do conjunto de dados xView pela sua valiosa contribuição para a comunidade de investigação em visão computacional. Para mais informações, visita o xView dataset website.
FAQ#
O conjunto de dados xView é uma referência de imagens de satélite lançada para o desafio DIUx xView 2018 pela Agência Nacional de Inteligência Geoespacial dos EUA, fornecendo mais de 1 milhão de instâncias de objetos em 60 classes detalhadas em imagens do WorldView-3 a 0,3 m. Apoia a investigação sobre a deteção de objetos pequenos, raros e detalhados em vistas aéreas, que são alvos muito mais difíceis do que aqueles em fotos tiradas ao nível do solo.
O xView requer uma transferência manual: regista-te no site do DIUx xView 2018 Challenge, descarrega
train_images.zip(~15 GB),train_labels.zipeval_images.zip(~5 GB) — cerca de 20,7 GB no total — e extrai-os emdatasets/xView/seguindo o layout apresentado no aviso no topo desta página. Na primeira execução de treino, o Ultralytics converte automaticamente as anotações GeoJSON para o formato YOLO e cria a divisão de treino/validação.O xView contém 847 imagens de treino rotuladas e 282 imagens de validação sem rótulos públicos, todas capturadas por satélites WorldView-3 a uma resolução de 0,3 m. As anotações cobrem mais de 1 milhão de instâncias de objetos em 60 classes. Como apenas os rótulos de treino são públicos, a configuração
xView.yamldo Ultralytics divide as 847 imagens rotuladas em aproximadamente 90/10 para os conjuntos de treino e validação; consulta a Dataset Structure para obter detalhes.Treina um modelo YOLO26n no xView durante 100 épocas com um tamanho de imagem de 640:
Exemplo de Treinamentofrom ultralytics import YOLO # Load a model model = YOLO("yolo26n.pt") # load a pretrained model (recommended for training) # Train the model results = model.train(data="xView.yaml", epochs=100, imgsz=640)Para argumentos e definições detalhadas, consulta a página de Training do modelo.
Cita o artigo "xView: Objects in Context in Overhead Imagery" (Lam et al., arXiv:1802.07856, 2018); a entrada BibTeX completa está na seção Citations and Acknowledgments acima.