Bộ dữ liệu xView
Bộ dữ liệu xView là một trong những bộ dữ liệu hình ảnh trên cao lớn nhất có sẵn công khai, chứa hình ảnh từ các cảnh phức tạp trên khắp thế giới được chú thích bằng hộp giới hạn. Mục tiêu của bộ dữ liệu xView là đẩy nhanh tiến độ trong bốn ranh giới thị giác máy tính :
- Giảm độ phân giải tối thiểu để phát hiện.
- Nâng cao hiệu quả học tập.
- Cho phép khám phá thêm nhiều lớp đối tượng.
- Cải thiện khả năng phát hiện các lớp chi tiết.
xView được xây dựng dựa trên thành công của các thử thách như Đối tượng chung trong bối cảnh (COCO) và hướng tới mục tiêu tận dụng thị giác máy tính để phân tích lượng hình ảnh ngày càng tăng có sẵn từ không gian nhằm hiểu thế giới trực quan theo những cách mới và giải quyết một loạt các ứng dụng quan trọng.
Các tính năng chính
- xView chứa hơn 1 triệu phiên bản đối tượng trên 60 lớp.
- Bộ dữ liệu có độ phân giải 0,3 mét, cung cấp hình ảnh có độ phân giải cao hơn hầu hết các bộ dữ liệu hình ảnh vệ tinh công cộng.
- xView có bộ sưu tập đa dạng các đối tượng nhỏ, hiếm, chi tiết và nhiều loại với chú thích hộp giới hạn .
- Đi kèm với một mô hình cơ sở được đào tạo trước bằng cách sử dụng TensorFlow API phát hiện đối tượng và ví dụ về PyTorch .
Cấu trúc tập dữ liệu
Bộ dữ liệu xView bao gồm các hình ảnh vệ tinh được thu thập từ vệ tinh WorldView-3 ở khoảng cách mẫu mặt đất 0,3m. Bộ dữ liệu này chứa hơn 1 triệu đối tượng trên 60 lớp trong hơn 1.400 km² hình ảnh.
Ứng dụng
Bộ dữ liệu xView được sử dụng rộng rãi để đào tạo và đánh giá các mô hình học sâu để phát hiện đối tượng trong hình ảnh trên cao. Bộ dữ liệu đa dạng các lớp đối tượng và hình ảnh có độ phân giải cao khiến nó trở thành nguồn tài nguyên có giá trị cho các nhà nghiên cứu và chuyên gia trong lĩnh vực thị giác máy tính, đặc biệt là để phân tích hình ảnh vệ tinh.
Bộ dữ liệu YAML
Tệp YAML (Yet Another Markup Language) được sử dụng để xác định cấu hình tập dữ liệu. Tệp này chứa thông tin về đường dẫn, lớp và các thông tin liên quan khác của tập dữ liệu. Trong trường hợp của tập dữ liệu xView, xView.yaml tập tin được duy trì tại https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/xView.yaml.
ultralytics /cfg/datasets/xView.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# DIUx xView 2018 Challenge https://challenge.xviewdataset.org by U.S. National Geospatial-Intelligence Agency (NGA)
# -------- DOWNLOAD DATA MANUALLY and jar xf val_images.zip to 'datasets/xView' before running train command! --------
# Documentation: https://docs.ultralytics.com/datasets/detect/xview/
# Example usage: yolo train data=xView.yaml
# parent
# ├── ultralytics
# └── datasets
# └── xView ← downloads here (20.7 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/xView # dataset root dir
train: images/autosplit_train.txt # train images (relative to 'path') 90% of 847 train images
val: images/autosplit_val.txt # train images (relative to 'path') 10% of 847 train images
# Classes
names:
0: Fixed-wing Aircraft
1: Small Aircraft
2: Cargo Plane
3: Helicopter
4: Passenger Vehicle
5: Small Car
6: Bus
7: Pickup Truck
8: Utility Truck
9: Truck
10: Cargo Truck
11: Truck w/Box
12: Truck Tractor
13: Trailer
14: Truck w/Flatbed
15: Truck w/Liquid
16: Crane Truck
17: Railway Vehicle
18: Passenger Car
19: Cargo Car
20: Flat Car
21: Tank car
22: Locomotive
23: Maritime Vessel
24: Motorboat
25: Sailboat
26: Tugboat
27: Barge
28: Fishing Vessel
29: Ferry
30: Yacht
31: Container Ship
32: Oil Tanker
33: Engineering Vehicle
34: Tower crane
35: Container Crane
36: Reach Stacker
37: Straddle Carrier
38: Mobile Crane
39: Dump Truck
40: Haul Truck
41: Scraper/Tractor
42: Front loader/Bulldozer
43: Excavator
44: Cement Mixer
45: Ground Grader
46: Hut/Tent
47: Shed
48: Building
49: Aircraft Hangar
50: Damaged Building
51: Facility
52: Construction Site
53: Vehicle Lot
54: Helipad
55: Storage Tank
56: Shipping container lot
57: Shipping Container
58: Pylon
59: Tower
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
import os
from pathlib import Path
import numpy as np
from PIL import Image
from tqdm import tqdm
from ultralytics.data.utils import autosplit
from ultralytics.utils.ops import xyxy2xywhn
def convert_labels(fname=Path('xView/xView_train.geojson')):
# Convert xView geoJSON labels to YOLO format
path = fname.parent
with open(fname) as f:
print(f'Loading {fname}...')
data = json.load(f)
# Make dirs
labels = Path(path / 'labels' / 'train')
os.system(f'rm -rf {labels}')
labels.mkdir(parents=True, exist_ok=True)
# xView classes 11-94 to 0-59
xview_class2index = [-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, 0, 1, 2, -1, 3, -1, 4, 5, 6, 7, 8, -1, 9, 10, 11,
12, 13, 14, 15, -1, -1, 16, 17, 18, 19, 20, 21, 22, -1, 23, 24, 25, -1, 26, 27, -1, 28, -1,
29, 30, 31, 32, 33, 34, 35, 36, 37, -1, 38, 39, 40, 41, 42, 43, 44, 45, -1, -1, -1, -1, 46,
47, 48, 49, -1, 50, 51, -1, 52, -1, -1, -1, 53, 54, -1, 55, -1, -1, 56, -1, 57, -1, 58, 59]
shapes = {}
for feature in tqdm(data['features'], desc=f'Converting {fname}'):
p = feature['properties']
if p['bounds_imcoords']:
id = p['image_id']
file = path / 'train_images' / id
if file.exists(): # 1395.tif missing
try:
box = np.array([int(num) for num in p['bounds_imcoords'].split(",")])
assert box.shape[0] == 4, f'incorrect box shape {box.shape[0]}'
cls = p['type_id']
cls = xview_class2index[int(cls)] # xView class to 0-60
assert 59 >= cls >= 0, f'incorrect class index {cls}'
# Write YOLO label
if id not in shapes:
shapes[id] = Image.open(file).size
box = xyxy2xywhn(box[None].astype(np.float), w=shapes[id][0], h=shapes[id][1], clip=True)
with open((labels / id).with_suffix('.txt'), 'a') as f:
f.write(f"{cls} {' '.join(f'{x:.6f}' for x in box[0])}\n") # write label.txt
except Exception as e:
print(f'WARNING: skipping one label for {file}: {e}')
# Download manually from https://challenge.xviewdataset.org
dir = Path(yaml['path']) # dataset root dir
# urls = ['https://d307kc0mrhucc3.cloudfront.net/train_labels.zip', # train labels
# 'https://d307kc0mrhucc3.cloudfront.net/train_images.zip', # 15G, 847 train images
# 'https://d307kc0mrhucc3.cloudfront.net/val_images.zip'] # 5G, 282 val images (no labels)
# download(urls, dir=dir)
# Convert labels
convert_labels(dir / 'xView_train.geojson')
# Move images
images = Path(dir / 'images')
images.mkdir(parents=True, exist_ok=True)
Path(dir / 'train_images').rename(dir / 'images' / 'train')
Path(dir / 'val_images').rename(dir / 'images' / 'val')
# Split
autosplit(dir / 'images' / 'train')
Cách sử dụng
Để đào tạo mô hình trên tập dữ liệu xView trong 100 kỷ nguyên với kích thước hình ảnh là 640, bạn có thể sử dụng các đoạn mã sau. Để biết danh sách đầy đủ các đối số khả dụng, hãy tham khảo trang Đào tạo mô hình.
Ví dụ về tàu hỏa
Dữ liệu mẫu và chú thích
Bộ dữ liệu xView chứa các hình ảnh vệ tinh có độ phân giải cao với nhiều đối tượng khác nhau được chú thích bằng hộp giới hạn. Sau đây là một số ví dụ về dữ liệu từ bộ dữ liệu, cùng với các chú thích tương ứng của chúng:
- Hình ảnh trên cao : Hình ảnh này minh họa một ví dụ về phát hiện đối tượng trong hình ảnh trên cao, trong đó các đối tượng được chú thích bằng hộp giới hạn. Bộ dữ liệu cung cấp hình ảnh vệ tinh có độ phân giải cao để tạo điều kiện thuận lợi cho việc phát triển các mô hình cho nhiệm vụ này.
Ví dụ này cho thấy sự đa dạng và phức tạp của dữ liệu trong tập dữ liệu xView và nhấn mạnh tầm quan trọng của hình ảnh vệ tinh chất lượng cao đối với nhiệm vụ phát hiện đối tượng.
Trích dẫn và Lời cảm ơn
Nếu bạn sử dụng bộ dữ liệu xView trong công trình nghiên cứu hoặc phát triển của mình, vui lòng trích dẫn bài báo sau:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Chúng tôi muốn ghi nhận Đơn vị Đổi mới Quốc phòng (DIU) và những người sáng tạo ra tập dữ liệu xView vì những đóng góp có giá trị của họ cho cộng đồng nghiên cứu thị giác máy tính. Để biết thêm thông tin về tập dữ liệu xView và những người sáng tạo ra nó, hãy truy cập trang web tập dữ liệu xView .
CÂU HỎI THƯỜNG GẶP
Bộ dữ liệu xView là gì và nó có lợi như thế nào cho nghiên cứu thị giác máy tính?
Bộ dữ liệu xView là một trong những bộ sưu tập hình ảnh overhead có độ phân giải cao lớn nhất hiện có, chứa hơn 1 triệu trường hợp đối tượng trên 60 lớp. Bộ dữ liệu này được thiết kế để nâng cao nhiều khía cạnh khác nhau của nghiên cứu thị giác máy tính như giảm độ phân giải tối thiểu để phát hiện, cải thiện hiệu quả học tập, khám phá thêm nhiều lớp đối tượng và nâng cao khả năng phát hiện đối tượng chi tiết.
Tôi có thể sử dụng như thế nào? Ultralytics YOLO để đào tạo một mô hình trên tập dữ liệu xView?
Để đào tạo một mô hình trên tập dữ liệu xView bằng cách sử dụng Ultralytics YOLO , hãy làm theo các bước sau:
Ví dụ về tàu hỏa
Để biết thông tin chi tiết về lập luận và cài đặt, hãy tham khảo trang Đào tạo mô hình.
Các tính năng chính của tập dữ liệu xView là gì?
Bộ dữ liệu xView nổi bật nhờ bộ tính năng toàn diện của nó:
- Hơn 1 triệu trường hợp đối tượng trên 60 lớp riêng biệt.
- Hình ảnh có độ phân giải cao ở 0,3 mét.
- Nhiều loại đối tượng khác nhau bao gồm các đối tượng nhỏ, hiếm và có độ chi tiết cao, tất cả đều được chú thích bằng hộp giới hạn.
- Sự sẵn có của một mô hình cơ sở được đào tạo trước và các ví dụ trong TensorFlow và PyTorch .
Cấu trúc tập dữ liệu của xView là gì và nó được chú thích như thế nào?
Bộ dữ liệu xView bao gồm các hình ảnh vệ tinh có độ phân giải cao được thu thập từ vệ tinh WorldView-3 ở khoảng cách mẫu mặt đất 0,3m. Nó bao gồm hơn 1 triệu đối tượng trên 60 lớp trong khoảng 1.400 km² hình ảnh. Mỗi đối tượng trong bộ dữ liệu được chú thích bằng các hộp giới hạn, làm cho nó trở nên lý tưởng để đào tạo và đánh giá các mô hình học sâu để phát hiện đối tượng trong hình ảnh trên cao. Để biết tổng quan chi tiết, bạn có thể xem phần cấu trúc bộ dữ liệu tại đây .
Làm thế nào để trích dẫn tập dữ liệu xView trong nghiên cứu của tôi?
Nếu bạn sử dụng bộ dữ liệu xView trong nghiên cứu của mình, vui lòng trích dẫn bài báo sau:
@misc{lam2018xview,
title={xView: Objects in Context in Overhead Imagery},
author={Darius Lam and Richard Kuzma and Kevin McGee and Samuel Dooley and Michael Laielli and Matthew Klaric and Yaroslav Bulatov and Brendan McCord},
year={2018},
eprint={1802.07856},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Để biết thêm thông tin về bộ dữ liệu xView, hãy truy cập trang web chính thức của bộ dữ liệu xView .
