Набор данных Argoverse
Набор данных Argoverse — это коллекция данных, предназначенная для поддержки исследований в задачах автономного вождения, таких как 3D-трекинг, прогнозирование движения и оценка стереоглубины. Разработанный Argo AI, набор данных предоставляет широкий спектр высококачественных данных датчиков, включая изображения с высоким разрешением, облака точек LiDAR и данные карт.
Примечание
Датасет Argoverse *.zip
файл, необходимый для обучения, был удален из Amazon S3 после закрытия Argo AI компанией Ford, но мы сделали его доступным для ручной загрузки на Google Drive.
Основные характеристики
- Argoverse содержит более 290 тысяч помеченных 3D-треков объектов и 5 миллионов экземпляров объектов в 1263 различных сценах.
- Набор данных включает в себя изображения с камер высокого разрешения, облака точек LiDAR и HD-карты с богатой аннотацией.
- Аннотации включают 3D ограничивающие рамки для объектов, треки объектов и информацию о траекториях.
- Argoverse предоставляет несколько подмножеств для различных задач, таких как 3D-трекинг, прогнозирование движения и оценка стереоглубины.
Структура набора данных
Набор данных Argoverse организован в три основных подмножества:
- Argoverse 3D Tracking: Этот поднабор содержит 113 сцен с более чем 290 тыс. помеченных 3D-треков объектов, с акцентом на задачи 3D-трекинга объектов. Он включает в себя облака точек LiDAR, изображения с камер и информацию о калибровке датчиков.
- Argoverse Motion Forecasting: Этот поднабор состоит из 324 тыс. траекторий транспортных средств, собранных за 60 часов данных вождения, и подходит для задач прогнозирования движения.
- Argoverse Stereo Depth Estimation: Этот поднабор предназначен для задач оценки глубины стерео и включает в себя более 10 тыс. пар стереоизображений с соответствующими облаками точек LiDAR для оценки глубины достоверных данных.
Приложения
Набор данных Argoverse широко используется для обучения и оценки моделей глубокого обучения в задачах автономного вождения, таких как 3D-отслеживание объектов, прогнозирование движения и оценка глубины стерео. Разнообразный набор данных датчиков, аннотации объектов и информация о картах делают его ценным ресурсом для исследователей и практиков в области автономного вождения.
YAML-файл набора данных
YAML-файл (Yet Another Markup Language) используется для определения конфигурации набора данных. Он содержит информацию о путях к набору данных, классах и другую релевантную информацию. В случае набора данных Argoverse, Argoverse.yaml
файл поддерживается по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/Argoverse.yaml.
ultralytics/cfg/datasets/Argoverse.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# Argoverse-HD dataset (ring-front-center camera) https://www.cs.cmu.edu/~mengtial/proj/streaming/ by Argo AI
# Documentation: https://docs.ultralytics.com/datasets/detect/argoverse/
# Example usage: yolo train data=Argoverse.yaml
# parent
# ├── ultralytics
# └── datasets
# └── Argoverse ← downloads here (31.5 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: Argoverse # dataset root dir
train: Argoverse-1.1/images/train/ # train images (relative to 'path') 39384 images
val: Argoverse-1.1/images/val/ # val images (relative to 'path') 15062 images
test: Argoverse-1.1/images/test/ # test images (optional) https://eval.ai/web/challenges/challenge-page/800/overview
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: bus
5: truck
6: traffic_light
7: stop_sign
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
from pathlib import Path
from ultralytics.utils import TQDM
from ultralytics.utils.downloads import download
def argoverse2yolo(set):
"""Convert Argoverse dataset annotations to YOLO format for object detection tasks."""
labels = {}
a = json.load(open(set, "rb"))
for annot in TQDM(a["annotations"], desc=f"Converting {set} to YOLOv5 format..."):
img_id = annot["image_id"]
img_name = a["images"][img_id]["name"]
img_label_name = f"{img_name[:-3]}txt"
cls = annot["category_id"] # instance class id
x_center, y_center, width, height = annot["bbox"]
x_center = (x_center + width / 2) / 1920.0 # offset and scale
y_center = (y_center + height / 2) / 1200.0 # offset and scale
width /= 1920.0 # scale
height /= 1200.0 # scale
img_dir = set.parents[2] / "Argoverse-1.1" / "labels" / a["seq_dirs"][a["images"][annot["image_id"]]["sid"]]
if not img_dir.exists():
img_dir.mkdir(parents=True, exist_ok=True)
k = str(img_dir / img_label_name)
if k not in labels:
labels[k] = []
labels[k].append(f"{cls} {x_center} {y_center} {width} {height}\n")
for k in labels:
with open(k, "w", encoding="utf-8") as f:
f.writelines(labels[k])
# Download 'https://argoverse-hd.s3.us-east-2.amazonaws.com/Argoverse-HD-Full.zip' (deprecated S3 link)
dir = Path(yaml["path"]) # dataset root dir
urls = ["https://drive.google.com/file/d/1st9qW3BeIwQsnR0t8mRpvbsSWIo16ACi/view?usp=drive_link"]
print("\n\nWARNING: Argoverse dataset MUST be downloaded manually, autodownload will NOT work.")
print(f"WARNING: Manually download Argoverse dataset '{urls[0]}' to '{dir}' and re-run your command.\n\n")
# download(urls, dir=dir)
# Convert
annotations_dir = "Argoverse-HD/annotations/"
(dir / "Argoverse-1.1" / "tracking").rename(dir / "Argoverse-1.1" / "images") # rename 'tracking' to 'images'
for d in "train.json", "val.json":
argoverse2yolo(dir / annotations_dir / d) # convert Argoverse annotations to YOLO labels
Использование
Чтобы обучить модель YOLO11n на наборе данных Argoverse в течение 100 эпох с размером изображения 640, вы можете использовать следующие фрагменты кода. Для получения полного списка доступных аргументов обратитесь к странице Обучение модели.
Пример обучения
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="Argoverse.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=Argoverse.yaml model=yolo11n.pt epochs=100 imgsz=640
Примеры данных и аннотации
Датасет Argoverse содержит разнообразный набор данных с датчиков, включая изображения с камер, облака точек LiDAR и информацию HD-карт, предоставляя богатый контекст для задач автономного вождения. Вот несколько примеров данных из этого набора вместе с соответствующими аннотациями:
- Argoverse 3D Tracking: Это изображение демонстрирует пример 3D-трекинга объектов, где объекты аннотированы с помощью 3D ограничивающих рамок. Датасет предоставляет облака точек LiDAR и изображения с камер для облегчения разработки моделей для этой задачи.
Этот пример демонстрирует разнообразие и сложность данных в наборе данных Argoverse и подчеркивает важность высококачественных данных с датчиков для задач автономного вождения.
Цитирование и благодарности
Если вы используете набор данных Argoverse в своей исследовательской или опытно-конструкторской работе, пожалуйста, сошлитесь на следующую статью:
@inproceedings{chang2019argoverse,
title={Argoverse: 3D Tracking and Forecasting with Rich Maps},
author={Chang, Ming-Fang and Lambert, John and Sangkloy, Patsorn and Singh, Jagjeet and Bak, Slawomir and Hartnett, Andrew and Wang, Dequan and Carr, Peter and Lucey, Simon and Ramanan, Deva and others},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={8748--8757},
year={2019}
}
Мы хотели бы поблагодарить Argo AI за создание и поддержку набора данных Argoverse в качестве ценного ресурса для исследовательского сообщества в области автономного вождения. Для получения дополнительной информации о наборе данных Argoverse и его создателях посетите веб-сайт набора данных Argoverse.
Часто задаваемые вопросы
Что такое набор данных Argoverse и каковы его ключевые особенности?
Датасет Argoverse, разработанный Argo AI, поддерживает исследования в области автономного вождения. Он включает в себя более 290 тыс. размеченных 3D-треков объектов и 5 миллионов экземпляров объектов в 1263 различных сценах. Датасет предоставляет изображения с камер высокого разрешения, облака точек LiDAR и аннотированные HD-карты, что делает его ценным для таких задач, как 3D-трекинг, прогнозирование движения и оценка стереоглубины.
Как я могу обучить модель Ultralytics YOLO, используя набор данных Argoverse?
Чтобы обучить модель YOLO11 с использованием датасета Argoverse, используйте предоставленный файл конфигурации YAML и следующий код:
Пример обучения
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="Argoverse.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=Argoverse.yaml model=yolo11n.pt epochs=100 imgsz=640
Для получения подробного объяснения аргументов обратитесь к странице Обучение модели.
Какие типы данных и аннотаций доступны в наборе данных Argoverse?
Датасет Argoverse включает в себя различные типы данных с датчиков, такие как изображения с камер высокого разрешения, облака точек LiDAR и данные HD-карт. Аннотации включают 3D ограничивающие рамки, треки объектов и информацию о траекториях. Эти полные аннотации необходимы для точного обучения моделей в таких задачах, как 3D-трекинг объектов, прогнозирование движения и оценка стереоглубины.
Как структурирован набор данных Argoverse?
Набор данных разделен на три основных подмножества:
- Argoverse 3D Tracking: Содержит 113 сцен с более чем 290 тыс. размеченных 3D-треков объектов, с акцентом на задачи 3D-трекинга объектов. Включает облака точек LiDAR, изображения с камер и информацию о калибровке датчиков.
- Argoverse Motion Forecasting: Состоит из 324 тыс. траекторий движения транспортных средств, собранных за 60 часов данных о вождении, и подходит для задач прогнозирования движения.
- Argoverse Stereo Depth Estimation: Включает более 10 тыс. пар стереоизображений с соответствующими облаками точек LiDAR для оценки глубины достоверных данных.
Где я могу скачать набор данных Argoverse, теперь, когда он был удален из Amazon S3?
Датасет Argoverse *.zip
файл, ранее доступный на Amazon S3, теперь можно загрузить вручную с Google Drive.
Для чего используется файл конфигурации YAML с набором данных Argoverse?
YAML-файл содержит пути к набору данных, классы и другую важную информацию. Для набора данных Argoverse файл конфигурации, Argoverse.yaml
, можно найти по следующей ссылке: Argoverse.yaml.
Для получения дополнительной информации о конфигурациях YAML см. наше руководство по наборам данных.