Tập dữ liệu xView
Bộ dữ liệu xView là một trong những bộ dữ liệu hình ảnh trên cao lớn nhất có sẵn công khai, chứa hình ảnh từ các cảnh phức tạp trên khắp thế giới được chú thích bằng hộp giới hạn. Mục tiêu của bộ dữ liệu xView là đẩy nhanh tiến độ trong bốn ranh giới thị giác máy tính :
- Giảm độ phân giải tối thiểu để phát hiện.
- Nâng cao hiệu quả học tập.
- Cho phép khám phá nhiều lớp đối tượng hơn.
- Cải thiện việc phát hiện các lớp học chi tiết.
xView xây dựng dựa trên sự thành công của các thách thức như Đối tượng chung trong ngữ cảnh (COCO) và nhằm mục đích tận dụng thị giác máy tính để phân tích số lượng hình ảnh có sẵn ngày càng tăng từ không gian nhằm hiểu thế giới thị giác theo những cách mới và giải quyết một loạt các ứng dụng quan trọng.
Các tính năng chính
- xView chứa hơn 1 triệu phiên bản đối tượng trên 60 lớp.
- Bộ dữ liệu có độ phân giải 0,3 mét, cung cấp hình ảnh có độ phân giải cao hơn hầu hết các bộ dữ liệu hình ảnh vệ tinh công cộng.
- xView có bộ sưu tập đa dạng các đối tượng nhỏ, hiếm, chi tiết và nhiều loại với chú thích hộp giới hạn .
- Đi kèm với một mô hình cơ sở được đào tạo trước bằng cách sử dụng TensorFlow API phát hiện đối tượng và ví dụ về PyTorch .
Cấu trúc tập dữ liệu
Bộ dữ liệu xView bao gồm các hình ảnh vệ tinh được thu thập từ vệ tinh WorldView-3 ở khoảng cách mẫu mặt đất 0,3m. Nó chứa hơn 1 triệu đối tượng trên 60 lớp trong hơn 1.400 km² hình ảnh.
Ứng dụng
Bộ dữ liệu xView được sử dụng rộng rãi để đào tạo và đánh giá các mô hình học sâu để phát hiện đối tượng trong hình ảnh trên cao. Tập hợp các lớp đối tượng đa dạng và hình ảnh có độ phân giải cao của bộ dữ liệu làm cho nó trở thành một nguồn tài nguyên quý giá cho các nhà nghiên cứu và các học viên trong lĩnh vực thị giác máy tính, đặc biệt là phân tích hình ảnh vệ tinh.
Tập dữ liệu YAML
Tệp YAML (Yet Another Markup Language) được sử dụng để xác định cấu hình tập dữ liệu. Nó chứa thông tin về đường dẫn, lớp và thông tin liên quan khác của tập dữ liệu. Trong trường hợp tập dữ liệu xView, xView.yaml Tệp được duy trì tại https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/xView.yaml.
ultralytics/cfg/datasets/xView.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# DIUx xView 2018 Challenge https://challenge.xviewdataset.org by U.S. National Geospatial-Intelligence Agency (NGA)
# -------- DOWNLOAD DATA MANUALLY and jar xf val_images.zip to 'datasets/xView' before running train command! --------
# Documentation: https://docs.ultralytics.com/datasets/detect/xview/
# Example usage: yolo train data=xView.yaml
# parent
# ├── ultralytics
# └── datasets
# └── xView ← downloads here (20.7 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/xView # dataset root dir
train: images/autosplit_train.txt # train images (relative to 'path') 90% of 847 train images
val: images/autosplit_val.txt # train images (relative to 'path') 10% of 847 train images
# Classes
names:
0: Fixed-wing Aircraft
1: Small Aircraft
2: Cargo Plane
3: Helicopter
4: Passenger Vehicle
5: Small Car
6: Bus
7: Pickup Truck
8: Utility Truck
9: Truck
10: Cargo Truck
11: Truck w/Box
12: Truck Tractor
13: Trailer
14: Truck w/Flatbed
15: Truck w/Liquid
16: Crane Truck
17: Railway Vehicle
18: Passenger Car
19: Cargo Car
20: Flat Car
21: Tank car
22: Locomotive
23: Maritime Vessel
24: Motorboat
25: Sailboat
26: Tugboat
27: Barge
28: Fishing Vessel
29: Ferry
30: Yacht
31: Container Ship
32: Oil Tanker
33: Engineering Vehicle
34: Tower crane
35: Container Crane
36: Reach Stacker
37: Straddle Carrier
38: Mobile Crane
39: Dump Truck
40: Haul Truck
41: Scraper/Tractor
42: Front loader/Bulldozer
43: Excavator
44: Cement Mixer
45: Ground Grader
46: Hut/Tent
47: Shed
48: Building
49: Aircraft Hangar
50: Damaged Building
51: Facility
52: Construction Site
53: Vehicle Lot
54: Helipad
55: Storage Tank
56: Shipping container lot
57: Shipping Container
58: Pylon
59: Tower
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
import os
from pathlib import Path
import numpy as np
from PIL import Image
from tqdm import tqdm
from ultralytics.data.utils import autosplit
from ultralytics.utils.ops import xyxy2xywhn
def convert_labels(fname=Path('xView/xView_train.geojson')):
# Convert xView geoJSON labels to YOLO format
path = fname.parent
with open(fname) as f:
print(f'Loading {fname}...')
data = json.load(f)
# Make dirs
labels = Path(path / 'labels' / 'train')
os.system(f'rm -rf {labels}')
labels.mkdir(parents=True, exist_ok=True)
# xView classes 11-94 to 0-59
xview_class2index = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, -1, 3, -1, 4, 5, 6, 7, 8, -1, 9, 10, 11,
12, 13, 14, 15, -1, -1, 16, 17, 18, 19, 20, 21, 22, -1, 23, 24, 25, -1, 26, 27, -1, 28, -1,
29, 30, 31, 32, 33, 34, 35, 36, 37, -1, 38, 39, 40, 41, 42, 43, 44, 45, -1, -1, -1, -1, 46,
47, 48, 49, -1, 50, 51, -1, 52, -1, -1, -1, 53, 54, -1, 55, -1, -1, 56, -1, 57, -1, 58, 59]
shapes = {}
for feature in tqdm(data['features'], desc=f'Converting {fname}'):
p = feature['properties']
if p['bounds_imcoords']:
id = p['image_id']
file = path / 'train_images' / id
if file.exists(): # 1395.tif missing
try:
box = np.array([int(num) for num in p['bounds_imcoords'].split(",")])
assert box.shape[0] == 4, f'incorrect box shape {box.shape[0]}'
cls = p['type_id']
cls = xview_class2index[int(cls)] # xView class to 0-60
assert 59 >= cls >= 0, f'incorrect class index {cls}'
# Write YOLO label
if id not in shapes:
shapes[id] = Image.open(file).size
box = xyxy2xywhn(box[None].astype(np.float), w=shapes[id][0], h=shapes[id][1], clip=True)
with open((labels / id).with_suffix('.txt'), 'a') as f:
f.write(f"{cls} {' '.join(f'{x:.6f}' for x in box[0])}\n") # write label.txt
except Exception as e:
print(f'WARNING: skipping one label for {file}: {e}')
# Download manually from https://challenge.xviewdataset.org
dir = Path(yaml['path']) # dataset root dir
# urls = ['https://d307kc0mrhucc3.cloudfront.net/train_labels.zip', # train labels
# 'https://d307kc0mrhucc3.cloudfront.net/train_images.zip', # 15G, 847 train images
# 'https://d307kc0mrhucc3.cloudfront.net/val_images.zip'] # 5G, 282 val images (no labels)
# download(urls, dir=dir)
# Convert labels
convert_labels(dir / 'xView_train.geojson')
# Move images
images = Path(dir / 'images')
images.mkdir(parents=True, exist_ok=True)
Path(dir / 'train_images').rename(dir / 'images' / 'train')
Path(dir / 'val_images').rename(dir / 'images' / 'val')
# Split
autosplit(dir / 'images' / 'train')
Sử dụng
Để đào tạo mô hình trên tập dữ liệu xView trong 100 kỷ nguyên với kích thước hình ảnh là 640, bạn có thể sử dụng các đoạn mã sau. Để biết danh sách đầy đủ các đối số khả dụng, hãy tham khảo trang Đào tạo mô hình.
Ví dụ về tàu hỏa
Dữ liệu mẫu và chú thích
Bộ dữ liệu xView chứa hình ảnh vệ tinh có độ phân giải cao với một tập hợp các đối tượng đa dạng được chú thích bằng cách sử dụng các hộp giới hạn. Dưới đây là một số ví dụ về dữ liệu từ tập dữ liệu, cùng với các chú thích tương ứng của chúng:
- Hình ảnh trên cao : Hình ảnh này minh họa một ví dụ về phát hiện đối tượng trong hình ảnh trên cao, trong đó các đối tượng được chú thích bằng hộp giới hạn. Bộ dữ liệu cung cấp hình ảnh vệ tinh có độ phân giải cao để tạo điều kiện thuận lợi cho việc phát triển các mô hình cho nhiệm vụ này.
Ví dụ này cho thấy sự đa dạng và phức tạp của dữ liệu trong tập dữ liệu xView và nhấn mạnh tầm quan trọng của hình ảnh vệ tinh chất lượng cao đối với các tác vụ phát hiện đối tượng.
Trích dẫn và xác nhận
Nếu bạn sử dụng tập dữ liệu xView trong công việc nghiên cứu hoặc phát triển của mình, vui lòng trích dẫn bài báo sau:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Chúng tôi muốn ghi nhận Đơn vị Đổi mới Quốc phòng (DIU) và những người tạo ra bộ dữ liệu xView vì những đóng góp có giá trị của họ cho cộng đồng nghiên cứu thị giác máy tính. Để biết thêm thông tin về tập dữ liệu xView và người tạo ra nó, hãy truy cập trang web tập dữ liệu xView.
FAQ
Tập dữ liệu xView là gì và nó mang lại lợi ích như thế nào cho nghiên cứu thị giác máy tính?
Bộ dữ liệu xView là một trong những bộ sưu tập hình ảnh trên cao có độ phân giải cao có sẵn công khai lớn nhất, chứa hơn 1 triệu phiên bản đối tượng trên 60 lớp. Nó được thiết kế để tăng cường các khía cạnh khác nhau của nghiên cứu thị giác máy tính như giảm độ phân giải tối thiểu để phát hiện, cải thiện hiệu quả học tập, khám phá nhiều lớp đối tượng hơn và thúc đẩy phát hiện đối tượng chi tiết.
Tôi có thể sử dụng như thế nào Ultralytics YOLO để đào tạo một mô hình trên tập dữ liệu xView?
Để huấn luyện mô hình trên tập dữ liệu xView bằng cách sử dụng Ultralytics YOLO, hãy làm theo các bước sau:
Ví dụ về tàu hỏa
Để biết các đối số và cài đặt chi tiết, hãy tham khảo trang Đào tạo mẫu.
Các tính năng chính của tập dữ liệu xView là gì?
Bộ dữ liệu xView nổi bật nhờ bộ tính năng toàn diện của nó:
- Hơn 1 triệu trường hợp đối tượng trên 60 lớp riêng biệt.
- Hình ảnh có độ phân giải cao ở 0,3 mét.
- Nhiều loại đối tượng khác nhau bao gồm các đối tượng nhỏ, hiếm và có độ chi tiết cao, tất cả đều được chú thích bằng hộp giới hạn.
- Sự sẵn có của một mô hình cơ sở được đào tạo trước và các ví dụ trong TensorFlow và PyTorch .
Cấu trúc tập dữ liệu của xView là gì và nó được chú thích như thế nào?
Bộ dữ liệu xView bao gồm các hình ảnh vệ tinh có độ phân giải cao được thu thập từ vệ tinh WorldView-3 ở khoảng cách mẫu mặt đất 0,3m. Nó bao gồm hơn 1 triệu đối tượng trên 60 lớp trong khoảng 1.400 km² hình ảnh. Mỗi đối tượng trong bộ dữ liệu được chú thích bằng các hộp giới hạn, làm cho nó trở nên lý tưởng để đào tạo và đánh giá các mô hình học sâu để phát hiện đối tượng trong hình ảnh trên cao. Để biết tổng quan chi tiết, bạn có thể xem phần cấu trúc bộ dữ liệu tại đây .
Làm cách nào để trích dẫn tập dữ liệu xView trong nghiên cứu của tôi?
Nếu bạn sử dụng tập dữ liệu xView trong nghiên cứu của mình, vui lòng trích dẫn bài báo sau:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Để biết thêm thông tin về tập dữ liệu xView, hãy truy cập trang web chính thức của tập dữ liệu xView.
