Conjunto de datos Argoverse
El conjunto de datos Argoverse es una colección de datos diseñada para respaldar la investigación en tareas de conducción autónoma, como el seguimiento 3D, la previsión de movimiento y la estimación de profundidad estéreo. Desarrollado por Argo AI, el conjunto de datos proporciona una amplia gama de datos de sensores de alta calidad, incluidas imágenes de alta resolución, nubes de puntos LiDAR y datos de mapas.
Nota
El conjunto de datos Argoverse *.zip El archivo requerido para el entrenamiento se eliminó de Amazon S3 después del cierre de Argo AI por parte de Ford, pero lo hemos puesto a disposición para su descarga manual en Google Drive.
Características clave
- Argoverse contiene más de 290.000 seguimientos de objetos 3D etiquetados y 5 millones de instancias de objetos en 1.263 escenas distintas.
- El conjunto de datos incluye imágenes de cámara de alta resolución, nubes de puntos LiDAR y mapas HD ricamente anotados.
- Las anotaciones incluyen cuadros delimitadores 3D para objetos, seguimientos de objetos e información de trayectoria.
- Argoverse proporciona múltiples subconjuntos para diferentes tareas, como el seguimiento 3D, la previsión de movimiento y la estimación de la profundidad estéreo.
Estructura del conjunto de datos
El conjunto de datos de Argoverse está organizado en tres subconjuntos principales:
- Seguimiento 3D de Argoverse: Este subconjunto contiene 113 escenas con más de 290,000 seguimientos de objetos 3D etiquetados, centrándose en tareas de seguimiento de objetos 3D. Incluye nubes de puntos LiDAR, imágenes de cámara e información de calibración de sensores.
- Predicción de movimiento de Argoverse: Este subconjunto consta de 324,000 trayectorias de vehículos recopiladas de 60 horas de datos de conducción, adecuado para tareas de predicción de movimiento.
- Estimación de profundidad estéreo de Argoverse: Este subconjunto está diseñado para tareas de estimación de profundidad estéreo e incluye más de 10,000 pares de imágenes estéreo con nubes de puntos LiDAR correspondientes para la estimación de profundidad de ground truth.
Aplicaciones
El conjunto de datos Argoverse se utiliza ampliamente para entrenar y evaluar modelos de aprendizaje profundo en tareas de conducción autónoma, como el seguimiento de objetos 3D, la predicción de movimiento y la estimación de profundidad estéreo. El diverso conjunto de datos de sensores, anotaciones de objetos e información de mapas lo convierten en un recurso valioso para investigadores y profesionales en el campo de la conducción autónoma.
YAML del conjunto de datos
Se utiliza un archivo YAML (Yet Another Markup Language) para definir la configuración del conjunto de datos. Contiene información sobre las rutas, las clases y otra información relevante del conjunto de datos. Para el caso del conjunto de datos Argoverse, el Argoverse.yaml archivo se mantiene en https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/Argoverse.yaml.
ultralytics/cfg/datasets/Argoverse.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# Argoverse-HD dataset (ring-front-center camera) https://www.cs.cmu.edu/~mengtial/proj/streaming/ by Argo AI
# Documentation: https://docs.ultralytics.com/datasets/detect/argoverse/
# Example usage: yolo train data=Argoverse.yaml
# parent
# ├── ultralytics
# └── datasets
# └── Argoverse ← downloads here (31.5 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: Argoverse # dataset root dir
train: Argoverse-1.1/images/train/ # train images (relative to 'path') 39384 images
val: Argoverse-1.1/images/val/ # val images (relative to 'path') 15062 images
test: Argoverse-1.1/images/test/ # test images (optional) https://eval.ai/web/challenges/challenge-page/800/overview
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: bus
5: truck
6: traffic_light
7: stop_sign
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
from pathlib import Path
from ultralytics.utils import TQDM
from ultralytics.utils.downloads import download
def argoverse2yolo(set):
"""Convert Argoverse dataset annotations to YOLO format for object detection tasks."""
labels = {}
a = json.load(open(set, "rb"))
for annot in TQDM(a["annotations"], desc=f"Converting {set} to YOLOv5 format..."):
img_id = annot["image_id"]
img_name = a["images"][img_id]["name"]
img_label_name = f"{img_name[:-3]}txt"
cls = annot["category_id"] # instance class id
x_center, y_center, width, height = annot["bbox"]
x_center = (x_center + width / 2) / 1920.0 # offset and scale
y_center = (y_center + height / 2) / 1200.0 # offset and scale
width /= 1920.0 # scale
height /= 1200.0 # scale
img_dir = set.parents[2] / "Argoverse-1.1" / "labels" / a["seq_dirs"][a["images"][annot["image_id"]]["sid"]]
if not img_dir.exists():
img_dir.mkdir(parents=True, exist_ok=True)
k = str(img_dir / img_label_name)
if k not in labels:
labels[k] = []
labels[k].append(f"{cls} {x_center} {y_center} {width} {height}\n")
for k in labels:
with open(k, "w", encoding="utf-8") as f:
f.writelines(labels[k])
# Download 'https://argoverse-hd.s3.us-east-2.amazonaws.com/Argoverse-HD-Full.zip' (deprecated S3 link)
dir = Path(yaml["path"]) # dataset root dir
urls = ["https://drive.google.com/file/d/1st9qW3BeIwQsnR0t8mRpvbsSWIo16ACi/view?usp=drive_link"]
print("\n\nWARNING: Argoverse dataset MUST be downloaded manually, autodownload will NOT work.")
print(f"WARNING: Manually download Argoverse dataset '{urls[0]}' to '{dir}' and re-run your command.\n\n")
# download(urls, dir=dir)
# Convert
annotations_dir = "Argoverse-HD/annotations/"
(dir / "Argoverse-1.1" / "tracking").rename(dir / "Argoverse-1.1" / "images") # rename 'tracking' to 'images'
for d in "train.json", "val.json":
argoverse2yolo(dir / annotations_dir / d) # convert Argoverse annotations to YOLO labels
Uso
Para entrenar un modelo YOLO11n en el conjunto de datos Argoverse durante 100 épocas con un tamaño de imagen de 640, puede utilizar los siguientes fragmentos de código. Para obtener una lista completa de los argumentos disponibles, consulte la página de Entrenamiento del modelo.
Ejemplo de entrenamiento
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="Argoverse.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=Argoverse.yaml model=yolo11n.pt epochs=100 imgsz=640
Datos de muestra y anotaciones
El conjunto de datos Argoverse contiene un conjunto diverso de datos de sensores, que incluyen imágenes de cámaras, nubes de puntos LiDAR e información de mapas HD, lo que proporciona un contexto enriquecido para las tareas de conducción autónoma. Aquí hay algunos ejemplos de datos del conjunto de datos, junto con sus anotaciones correspondientes:
- Seguimiento 3D de Argoverse: Esta imagen muestra un ejemplo de seguimiento de objetos 3D, donde los objetos se anotan con cuadros delimitadores 3D. El conjunto de datos proporciona nubes de puntos LiDAR e imágenes de cámara para facilitar el desarrollo de modelos para esta tarea.
El ejemplo muestra la variedad y la complejidad de los datos en el conjunto de datos Argoverse y destaca la importancia de los datos de sensores de alta calidad para las tareas de conducción autónoma.
Citas y agradecimientos
Si utilizas el conjunto de datos Argoverse en tu trabajo de investigación o desarrollo, por favor cita el siguiente artículo:
@inproceedings{chang2019argoverse,
title={Argoverse: 3D Tracking and Forecasting with Rich Maps},
author={Chang, Ming-Fang and Lambert, John and Sangkloy, Patsorn and Singh, Jagjeet and Bak, Slawomir and Hartnett, Andrew and Wang, Dequan and Carr, Peter and Lucey, Simon and Ramanan, Deva and others},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={8748--8757},
year={2019}
}
Nos gustaría agradecer a Argo AI por crear y mantener el conjunto de datos Argoverse como un valioso recurso para la comunidad de investigación de la conducción autónoma. Para obtener más información sobre el conjunto de datos Argoverse y sus creadores, visita el sitio web del conjunto de datos Argoverse.
Preguntas frecuentes
¿Qué es el conjunto de datos Argoverse y cuáles son sus características principales?
El conjunto de datos Argoverse, desarrollado por Argo AI, apoya la investigación de la conducción autónoma. Incluye más de 290.000 seguimientos de objetos 3D etiquetados y 5 millones de instancias de objetos en 1.263 escenas distintas. El conjunto de datos proporciona imágenes de cámara de alta resolución, nubes de puntos LiDAR y mapas HD anotados, lo que lo hace valioso para tareas como el seguimiento 3D, la previsión de movimiento y la estimación de profundidad estéreo.
¿Cómo puedo entrenar un modelo Ultralytics YOLO utilizando el conjunto de datos Argoverse?
Para entrenar un modelo YOLO11 con el conjunto de datos Argoverse, utiliza el archivo de configuración YAML proporcionado y el siguiente código:
Ejemplo de entrenamiento
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="Argoverse.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=Argoverse.yaml model=yolo11n.pt epochs=100 imgsz=640
Para una explicación detallada de los argumentos, consulta la página de Entrenamiento del modelo.
¿Qué tipos de datos y anotaciones están disponibles en el conjunto de datos Argoverse?
El conjunto de datos Argoverse incluye varios tipos de datos de sensores, como imágenes de cámara de alta resolución, nubes de puntos LiDAR y datos de mapas HD. Las anotaciones incluyen cuadros delimitadores 3D, seguimientos de objetos e información de trayectoria. Estas anotaciones exhaustivas son esenciales para un entrenamiento preciso del modelo en tareas como el seguimiento de objetos 3D, la previsión de movimiento y la estimación de profundidad estéreo.
¿Cómo está estructurado el conjunto de datos Argoverse?
El conjunto de datos se divide en tres subconjuntos principales:
- Seguimiento 3D de Argoverse: Contiene 113 escenas con más de 290.000 seguimientos de objetos 3D etiquetados, centrándose en tareas de seguimiento de objetos 3D. Incluye nubes de puntos LiDAR, imágenes de cámara e información de calibración del sensor.
- Argoverse Motion Forecasting: Consta de 324K trayectorias de vehículos recopiladas de 60 horas de datos de conducción, adecuado para tareas de previsión de movimiento.
- Argoverse Stereo Depth Estimation: Incluye más de 10K pares de imágenes estéreo con nubes de puntos LiDAR correspondientes para la estimación de profundidad de ground truth.
¿Dónde puedo descargar el conjunto de datos Argoverse ahora que se ha eliminado de Amazon S3?
El conjunto de datos Argoverse *.zip El archivo, disponible anteriormente en Amazon S3, ahora se puede descargar manualmente desde Google Drive.
¿Para qué se utiliza el archivo de configuración YAML con el conjunto de datos Argoverse?
Un archivo YAML contiene las rutas, las clases y otra información esencial del conjunto de datos. Para el conjunto de datos Argoverse, el archivo de configuración, Argoverse.yaml, se puede encontrar en el siguiente enlace: Argoverse.yaml.
Para obtener más información sobre las configuraciones YAML, consulte nuestra guía de conjuntos de datos.
