Salta para o conteĆŗdo

Conjunto de dados Argoverse

O conjunto de dados Argoverse Ć© uma coleĆ§Ć£o de dados concebida para apoiar a investigaĆ§Ć£o em tarefas de conduĆ§Ć£o autĆ³noma, como o seguimento 3D, a previsĆ£o de movimentos e a estimativa de profundidade estĆ©reo. Desenvolvido pela Argo AI, o conjunto de dados fornece uma vasta gama de dados de sensores de alta qualidade, incluindo imagens de alta resoluĆ§Ć£o, nuvens de pontos LiDAR e dados de mapas.

Nota

O conjunto de dados Argoverse *.zip O ficheiro necessĆ”rio para a formaĆ§Ć£o foi removido do Amazon S3 apĆ³s o encerramento do Argo AI pela Ford, mas disponibilizĆ”mo-lo para transferĆŖncia manual em Google Drive.

CaracterĆ­sticas principais

  • O Argoverse contĆ©m mais de 290 mil rastos de objectos 3D etiquetados e 5 milhƵes de instĆ¢ncias de objectos em 1.263 cenas distintas.
  • O conjunto de dados inclui imagens de cĆ¢maras de alta resoluĆ§Ć£o, nuvens de pontos LiDAR e mapas HD ricamente anotados.
  • As anotaƧƵes incluem caixas delimitadoras 3D para objectos, rastos de objectos e informaƧƵes de trajetĆ³ria.
  • O Argoverse fornece vĆ”rios subconjuntos para diferentes tarefas, como rastreamento 3D, previsĆ£o de movimento e estimativa de profundidade estĆ©reo.

Estrutura do conjunto de dados

O conjunto de dados Argoverse estĆ” organizado em trĆŖs subconjuntos principais:

  1. Argoverse 3D Tracking: Este subconjunto contĆ©m 113 cenas com mais de 290 mil trajectos de objectos 3D etiquetados, centrando-se em tarefas de seguimento de objectos 3D. Inclui nuvens de pontos LiDAR, imagens de cĆ¢maras e informaƧƵes de calibraĆ§Ć£o de sensores.
  2. PrevisĆ£o de movimentos Argoverse: Este subconjunto Ć© composto por 324K trajectĆ³rias de veĆ­culos recolhidas a partir de 60 horas de dados de conduĆ§Ć£o, adequadas para tarefas de previsĆ£o de movimentos.
  3. Estimativa de profundidade estƩreo Argoverse: Este subconjunto foi concebido para tarefas de estimativa de profundidade estƩreo e inclui mais de 10 mil pares de imagens estƩreo com nuvens de pontos LiDAR correspondentes para a estimativa de profundidade da verdade terrestre.

AplicaƧƵes

O conjunto de dados Argoverse Ć© amplamente utilizado para treinar e avaliar modelos de aprendizagem profunda em tarefas de conduĆ§Ć£o autĆ³noma, como o seguimento de objectos 3D, a previsĆ£o de movimentos e a estimativa de profundidade estĆ©reo. O conjunto de dados diversificado de dados de sensores, anotaƧƵes de objectos e informaƧƵes de mapas fazem dele um recurso valioso para investigadores e profissionais na Ć”rea da conduĆ§Ć£o autĆ³noma.

Conjunto de dados YAML

Um ficheiro YAML (Yet Another Markup Language) Ć© utilizado para definir a configuraĆ§Ć£o do conjunto de dados. ContĆ©m informaƧƵes sobre os caminhos do conjunto de dados, classes e outras informaƧƵes relevantes. No caso do conjunto de dados Argoverse, o ficheiro Argoverse.yaml Ć© mantido em https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/Argoverse.yaml.

ultralytics/cfg/datasets/Argoverse.yaml

# Ultralytics YOLO šŸš€, AGPL-3.0 license
# Argoverse-HD dataset (ring-front-center camera) https://www.cs.cmu.edu/~mengtial/proj/streaming/ by Argo AI
# Documentation: https://docs.ultralytics.com/datasets/detect/argoverse/
# Example usage: yolo train data=Argoverse.yaml
# parent
# ā”œā”€ā”€ ultralytics
# ā””ā”€ā”€ datasets
#     ā””ā”€ā”€ Argoverse  ā† downloads here (31.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ../datasets/Argoverse # dataset root dir
train: Argoverse-1.1/images/train/ # train images (relative to 'path') 39384 images
val: Argoverse-1.1/images/val/ # val images (relative to 'path') 15062 images
test: Argoverse-1.1/images/test/ # test images (optional) https://eval.ai/web/challenges/challenge-page/800/overview

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: bus
  5: truck
  6: traffic_light
  7: stop_sign

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import json
  from tqdm import tqdm
  from ultralytics.utils.downloads import download
  from pathlib import Path

  def argoverse2yolo(set):
      labels = {}
      a = json.load(open(set, "rb"))
      for annot in tqdm(a['annotations'], desc=f"Converting {set} to YOLOv5 format..."):
          img_id = annot['image_id']
          img_name = a['images'][img_id]['name']
          img_label_name = f'{img_name[:-3]}txt'

          cls = annot['category_id']  # instance class id
          x_center, y_center, width, height = annot['bbox']
          x_center = (x_center + width / 2) / 1920.0  # offset and scale
          y_center = (y_center + height / 2) / 1200.0  # offset and scale
          width /= 1920.0  # scale
          height /= 1200.0  # scale

          img_dir = set.parents[2] / 'Argoverse-1.1' / 'labels' / a['seq_dirs'][a['images'][annot['image_id']]['sid']]
          if not img_dir.exists():
              img_dir.mkdir(parents=True, exist_ok=True)

          k = str(img_dir / img_label_name)
          if k not in labels:
              labels[k] = []
          labels[k].append(f"{cls} {x_center} {y_center} {width} {height}\n")

      for k in labels:
          with open(k, "w") as f:
              f.writelines(labels[k])


  # Download 'https://argoverse-hd.s3.us-east-2.amazonaws.com/Argoverse-HD-Full.zip' (deprecated S3 link)
  dir = Path(yaml['path'])  # dataset root dir
  urls = ['https://drive.google.com/file/d/1st9qW3BeIwQsnR0t8mRpvbsSWIo16ACi/view?usp=drive_link']
  print("\n\nWARNING: Argoverse dataset MUST be downloaded manually, autodownload will NOT work.")
  print(f"WARNING: Manually download Argoverse dataset '{urls[0]}' to '{dir}' and re-run your command.\n\n")
  # download(urls, dir=dir)

  # Convert
  annotations_dir = 'Argoverse-HD/annotations/'
  (dir / 'Argoverse-1.1' / 'tracking').rename(dir / 'Argoverse-1.1' / 'images')  # rename 'tracking' to 'images'
  for d in "train.json", "val.json":
      argoverse2yolo(dir / annotations_dir / d)  # convert Argoverse annotations to YOLO labels

UtilizaĆ§Ć£o

Para treinar um modelo YOLOv8n no conjunto de dados Argoverse para 100 Ć©pocas com um tamanho de imagem de 640, podes utilizar os seguintes snippets de cĆ³digo. Para obter uma lista abrangente dos argumentos disponĆ­veis, consulta a pĆ”gina de treino do modelo.

Exemplo de comboio

from ultralytics import YOLO

# Load a model
model = YOLO('yolov8n.pt')  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data='Argoverse.yaml', epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=Argoverse.yaml model=yolov8n.pt epochs=100 imgsz=640

Dados de amostra e anotaƧƵes

O conjunto de dados Argoverse contĆ©m um conjunto diversificado de dados de sensores, incluindo imagens de cĆ¢maras, nuvens de pontos LiDAR e informaƧƵes de mapas HD, fornecendo um contexto rico para tarefas de conduĆ§Ć£o autĆ³noma. Aqui estĆ£o alguns exemplos de dados do conjunto de dados, juntamente com as anotaƧƵes correspondentes:

Imagem de amostra do conjunto de dados

  • Argoverse 3D Tracking: Esta imagem demonstra um exemplo de seguimento de objectos 3D, em que os objectos sĆ£o anotados com caixas delimitadoras 3D. O conjunto de dados fornece nuvens de pontos LiDAR e imagens de cĆ¢maras para facilitar o desenvolvimento de modelos para esta tarefa.

O exemplo mostra a variedade e a complexidade dos dados no conjunto de dados Argoverse e realƧa a importĆ¢ncia de dados de sensores de alta qualidade para tarefas de conduĆ§Ć£o autĆ³noma.

CitaƧƵes e agradecimentos

Se utilizares o conjunto de dados Argoverse no teu trabalho de investigaĆ§Ć£o ou desenvolvimento, cita o seguinte documento:

@inproceedings{chang2019argoverse,
  title={Argoverse: 3D Tracking and Forecasting with Rich Maps},
  author={Chang, Ming-Fang and Lambert, John and Sangkloy, Patsorn and Singh, Jagjeet and Bak, Slawomir and Hartnett, Andrew and Wang, Dequan and Carr, Peter and Lucey, Simon and Ramanan, Deva and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={8748--8757},
  year={2019}
}

GostarĆ­amos de agradecer Ć  Argo AI por criar e manter o conjunto de dados Argoverse como um recurso valioso para a comunidade de investigaĆ§Ć£o da conduĆ§Ć£o autĆ³noma. Para mais informaƧƵes sobre o conjunto de dados Argoverse e os seus criadores, visita o sĆ­tio Web do conjunto de dados Argoverse.



Criado em 2023-11-12, Atualizado em 2024-01-14
Autores: glenn-jocher (4), Laughing-q (1)

ComentƔrios