Dataset xView#
O dataset xView é um dos maiores benchmarks de imagens de satélite disponíveis publicamente para deteção de objetos, fornecendo mais de 1 milhão de instâncias de objetos distribuídas por 60 classes, anotadas com caixas delimitadoras em mais de 1.400 km² de imagens WorldView-3 de 0,3 m. Foi lançado para o Desafio DIUx xView 2018 pela Agência Nacional de Inteligência Geoespacial dos EUA (NGA) e requer uma transferência manual de cerca de 20,7 GB.
O dataset foi criado para ampliar quatro fronteiras da visão computacional:
- Reduzir a resolução mínima para a deteção.
- Melhorar a eficiência da aprendizagem.
- Permitir a descoberta de mais classes de objetos.
- Melhorar a deteção de classes mais específicas.
Com base em benchmarks como o COCO, o xView é direcionado a imagens aéreas, nas quais os objetos são muito menores e estão mais densamente agrupados do que em fotografias ao nível do solo.
O dataset xView não é transferido automaticamente. Regista-te no site do Desafio DIUx xView 2018 para transferir train_images.zip (~15 GB), train_labels.zip e val_images.zip (~5 GB); depois, extrai-os em datasets/xView/ para que contenha:
datasets/xView/
├── train_images/ # 847 TIF satellite images
├── val_images/ # 282 TIF images (no public labels)
└── xView_train.geojson # bounding-box annotationsNa primeira execução do treino, o Ultralytics converte automaticamente as anotações GeoJSON para o formato YOLO e divide as imagens anotadas aproximadamente numa proporção de 90/10 entre conjuntos de treino e validação — não é necessária qualquer conversão manual.
Principais funcionalidades#
- Classes específicas: 60 classes de objetos abrangendo aeronaves, veículos, material ferroviário, embarcações marítimas, equipamentos de construção e edifícios — muitas delas pequenas, raras e visualmente semelhantes.
- Alta resolução: distância de amostragem no solo de 0,3 m, obtida por satélites WorldView-3.
- Anotação densa: mais de 1 milhão de instâncias de objetos em mais de 1.400 km² de imagens, todas anotadas com caixas delimitadoras horizontais.
- Conversão automática: o script de transferência do Ultralytics converte os rótulos GeoJSON originais para o formato YOLO e gera a divisão entre treino e validação na primeira utilização.
Estrutura do Conjunto de Dados#
As imagens xView são grandes cenas de satélite no formato TIF, e apenas as 847 imagens de treino são fornecidas com rótulos públicos — o conjunto de validação do desafio, com 282 imagens, não tem rótulos. Por isso, a configuração xView.yaml do Ultralytics divide automaticamente as imagens anotadas na primeira utilização:
| Divisão | Imagens | Descrição |
|---|---|---|
| Treinar | ~90% de 847 | Imagens anotadas listadas em autosplit_train.txt, geradas na primeira execução |
| Validação | ~10% de 847 | Imagens anotadas listadas em autosplit_val.txt, utilizadas para avaliação |
As 60 classes abrangem categorias específicas como aeronave de asa fixa, avião de carga, carro pequeno, autocarro, locomotiva, embarcação marítima, escavadora, edifício, hangar de aeronaves e tanque de armazenamento; a lista completa encontra-se no YAML do dataset abaixo. Durante a conversão, os IDs de classe originais do desafio (11–94) são remapeados para índices contíguos de 0–59.
Aplicações#
As classes específicas e a perspetiva aérea de alta resolução do xView fazem dele um benchmark padrão para treinar e avaliar modelos de aprendizagem profunda em deteção remota. As aplicações comuns incluem:
- Reconhecimento militar e de defesa
- Planeamento e desenvolvimento urbano
- Monitorização ambiental
- Resposta e avaliação de catástrofes
- Mapeamento e gestão de infraestruturas
Para conhecer outros benchmarks de imagens aéreas, consulta o dataset VisDrone, focado em drones, ou o dataset DOTA-v2, com caixas orientadas.
YAML do Conjunto de Dados#
O ficheiro xView.yaml define a configuração do dataset — os caminhos do dataset, os nomes das 60 classes e o script de transferência que converte as anotações GeoJSON e gera a divisão automática. É mantido no repositório do Ultralytics em https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/xView.yaml.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# DIUx xView 2018 Challenge dataset https://challenge.xviewdataset.org by U.S. National Geospatial-Intelligence Agency (NGA)
# -------- Download and extract data manually to `datasets/xView` before running the train command. --------
# Documentation: https://docs.ultralytics.com/datasets/detect/xview
# Example usage: yolo train data=xView.yaml
# parent
# ├── ultralytics
# └── datasets
# └── xView ← downloads here (20.7 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: xView # dataset root dir
train: images/autosplit_train.txt # train images (relative to 'path') 90% of 847 train images
val: images/autosplit_val.txt # val images (relative to 'path') 10% of 847 train images
# Classes
names:
0: Fixed-wing Aircraft
1: Small Aircraft
2: Cargo Plane
3: Helicopter
4: Passenger Vehicle
5: Small Car
6: Bus
7: Pickup Truck
8: Utility Truck
9: Truck
10: Cargo Truck
11: Truck w/Box
12: Truck Tractor
13: Trailer
14: Truck w/Flatbed
15: Truck w/Liquid
16: Crane Truck
17: Railway Vehicle
18: Passenger Car
19: Cargo Car
20: Flat Car
21: Tank car
22: Locomotive
23: Maritime Vessel
24: Motorboat
25: Sailboat
26: Tugboat
27: Barge
28: Fishing Vessel
29: Ferry
30: Yacht
31: Container Ship
32: Oil Tanker
33: Engineering Vehicle
34: Tower crane
35: Container Crane
36: Reach Stacker
37: Straddle Carrier
38: Mobile Crane
39: Dump Truck
40: Haul Truck
41: Scraper/Tractor
42: Front loader/Bulldozer
43: Excavator
44: Cement Mixer
45: Ground Grader
46: Hut/Tent
47: Shed
48: Building
49: Aircraft Hangar
50: Damaged Building
51: Facility
52: Construction Site
53: Vehicle Lot
54: Helipad
55: Storage Tank
56: Shipping container lot
57: Shipping Container
58: Pylon
59: Tower
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
from pathlib import Path
import shutil
import numpy as np
from PIL import Image
from ultralytics.utils import TQDM
from ultralytics.data.split import autosplit
from ultralytics.utils.ops import xyxy2xywhn
def convert_labels(fname=Path("xView/xView_train.geojson")):
"""Convert xView GeoJSON labels to YOLO format (classes 0-59) and save them as text files."""
path = fname.parent
with open(fname, encoding="utf-8") as f:
print(f"Loading {fname}...")
data = json.load(f)
# Make dirs
labels = path / "labels" / "train"
shutil.rmtree(labels, ignore_errors=True)
labels.mkdir(parents=True, exist_ok=True)
# xView classes 11-94 to 0-59
xview_class2index = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, -1, 3, -1, 4, 5, 6, 7, 8, -1, 9, 10, 11,
12, 13, 14, 15, -1, -1, 16, 17, 18, 19, 20, 21, 22, -1, 23, 24, 25, -1, 26, 27, -1, 28, -1,
29, 30, 31, 32, 33, 34, 35, 36, 37, -1, 38, 39, 40, 41, 42, 43, 44, 45, -1, -1, -1, -1, 46,
47, 48, 49, -1, 50, 51, -1, 52, -1, -1, -1, 53, 54, -1, 55, -1, -1, 56, -1, 57, -1, 58, 59]
shapes = {}
for feature in TQDM(data["features"], desc=f"Converting {fname}"):
p = feature["properties"]
if p["bounds_imcoords"]:
image_id = p["image_id"]
image_file = path / "train_images" / image_id
if image_file.exists(): # 1395.tif missing
try:
box = np.array([int(num) for num in p["bounds_imcoords"].split(",")])
assert box.shape[0] == 4, f"incorrect box shape {box.shape[0]}"
cls = p["type_id"]
cls = xview_class2index[int(cls)] # xView class to 0-59
assert 59 >= cls >= 0, f"incorrect class index {cls}"
# Write YOLO label
if image_id not in shapes:
shapes[image_id] = Image.open(image_file).size
box = xyxy2xywhn(box[None].astype(float), w=shapes[image_id][0], h=shapes[image_id][1], clip=True)
with open((labels / image_id).with_suffix(".txt"), "a", encoding="utf-8") as f:
f.write(f"{cls} {' '.join(f'{x:.6f}' for x in box[0])}\n") # write label.txt
except Exception as e:
print(f"WARNING: skipping one label for {image_file}: {e}")
# Download manually from https://challenge.xviewdataset.org
dir = Path(yaml["path"]) # dataset root dir
# urls = [
# "https://d307kc0mrhucc3.cloudfront.net/train_labels.zip", # train labels
# "https://d307kc0mrhucc3.cloudfront.net/train_images.zip", # 15G, 847 train images
# "https://d307kc0mrhucc3.cloudfront.net/val_images.zip", # 5G, 282 val images (no labels)
# ]
# download(urls, dir=dir)
# Convert labels
convert_labels(dir / "xView_train.geojson")
# Move images
images = Path(dir / "images")
images.mkdir(parents=True, exist_ok=True)
Path(dir / "train_images").rename(dir / "images" / "train")
Path(dir / "val_images").rename(dir / "images" / "val")
# Split
autosplit(dir / "images" / "train")Utilização#
O treino espera que a transferência manual descrita acima seja extraída em datasets/xView/; a conversão das anotações e a divisão entre treino e validação são então executadas automaticamente.
Para treinar um modelo no dataset xView durante 100 épocas, com um tamanho de imagem de 640, podes utilizar os seguintes trechos de código. Para obter uma lista completa dos argumentos disponíveis, consulta a página de Treino do modelo.
from ultralytics import YOLO
# Load a model
model = YOLO("yolo26n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="xView.yaml", epochs=100, imgsz=640)Para anotar imagens de satélite adicionais e gerir as execuções de treino do xView no teu navegador, utiliza a Ultralytics Platform.
Dados e anotações de exemplo#
O exemplo abaixo mostra uma cena xView típica: imagens aéreas de alta resolução nas quais objetos pequenos, como veículos e edifícios, são anotados com caixas delimitadoras, ilustrando por que motivo a deteção de objetos em imagens de satélite exige uma localização específica.
Citações e agradecimentos#
Se utilizares o dataset xView no teu trabalho de investigação ou desenvolvimento, cita o seguinte artigo:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Gostaríamos de reconhecer a Unidade de Inovação da Defesa (DIU) e os criadores do dataset xView pela sua valiosa contribuição para a comunidade de investigação em visão computacional. Para obter mais informações, visita o site do dataset xView.
Perguntas frequentes#
O dataset xView é um benchmark de imagens de satélite lançado para o Desafio DIUx xView 2018 pela Agência Nacional de Inteligência Geoespacial dos EUA, fornecendo mais de 1 milhão de instâncias de objetos distribuídas por 60 classes específicas em imagens WorldView-3 de 0,3 m. É utilizado em investigação sobre a deteção de objetos pequenos, raros e específicos em vistas aéreas, que são alvos muito mais difíceis do que os presentes em fotografias ao nível do solo.
O xView requer uma transferência manual: regista-te no site do Desafio DIUx xView 2018, transfere
train_images.zip(~15 GB),train_labels.zipeval_images.zip(~5 GB) — cerca de 20,7 GB no total — e extrai-os emdatasets/xView/, seguindo a estrutura apresentada no aviso no topo desta página. Na primeira execução do treino, o Ultralytics converte automaticamente as anotações GeoJSON para o formato YOLO e cria a divisão entre treino e validação.O xView contém 847 imagens de treino anotadas e 282 imagens de validação sem rótulos públicos, todas captadas por satélites WorldView-3 com resolução de 0,3 m. As anotações abrangem mais de 1 milhão de instâncias de objetos distribuídas por 60 classes. Como apenas os rótulos de treino são públicos, a configuração
xView.yamldo Ultralytics divide as 847 imagens anotadas aproximadamente numa proporção de 90/10 entre conjuntos de treino e validação; consulta Estrutura do dataset para obter mais informações.Treina um modelo YOLO26n no xView durante 100 épocas, com um tamanho de imagem de 640:
Exemplo de treinofrom ultralytics import YOLO # Load a model model = YOLO("yolo26n.pt") # load a pretrained model (recommended for training) # Train the model results = model.train(data="xView.yaml", epochs=100, imgsz=640)Para obter argumentos e definições detalhados, consulta a página de Treino do modelo.
Cita o artigo "xView: Objects in Context in Overhead Imagery" (Lam et al., arXiv:1802.07856, 2018); a entrada BibTeX completa encontra-se na secção Citações e agradecimentos acima.