Argoverse 数据集

Argoverse 数据集是一个旨在支持自动驾驶任务研究的数据集合，例如 3D 跟踪、运动预测和立体深度估计。该数据集由 Argo AI 开发，提供了广泛的高质量传感器数据，包括高分辨率图像、LiDAR 点云和地图数据。

注意

训练所需的 Argoverse 数据集 *.zip 文件在福特关闭 Argo AI 后已从 Amazon S3 中删除，但我们已将其放在 Google Drive 上供你手动下载。

主要特性

Argoverse 包含超过 29 万个标记的 3D 对象轨道和分布在 1,263 个不同场景中的 500 万个对象实例。
该数据集包括高分辨率相机图像、LiDAR 点云和内容丰富的标注高清地图。
标注包括对象的 3D 边界框、对象轨道和轨迹信息。
Argoverse 为不同的任务提供了多个子集，例如 3D 跟踪、运动预测和立体深度估计。

数据集结构

Argoverse 数据集分为三个主要子集：

Argoverse 3D Tracking：此子集包含 113 个场景，具有超过 29 万个标记的 3D 对象轨道，专注于 3D 对象跟踪任务。它包括 LiDAR 点云、相机图像和传感器校准信息。
Argoverse Motion Forecasting：此子集包含从 60 小时驾驶数据中收集的 32.4 万条车辆轨迹，适用于运动预测任务。
Argoverse Stereo Depth Estimation：此子集专为立体深度估计任务而设计，包括超过 1 万对立体图像，并带有用于地面实况深度估计的相应 LiDAR 点云。

应用场景

Argoverse 数据集广泛用于训练和评估自动驾驶任务（如 3D 对象跟踪、运动预测和立体深度估计）中的 deep learning 模型。该数据集多样化的传感器数据、对象标注和地图信息使其成为自动驾驶领域研究人员和从业者的宝贵资源。

数据集 YAML

YAML (Yet Another Markup Language) 文件用于定义数据集配置。它包含有关数据集路径、类和其他相关信息的信息。对于 Argoverse 数据集，Argoverse.yaml 文件维护在 https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/Argoverse.yaml。

ultralytics/cfg/datasets/Argoverse.yaml

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# Argoverse-HD dataset (ring-front-center camera) by Argo AI: https://www.cs.cmu.edu/~mengtial/proj/streaming/
# Documentation: https://docs.ultralytics.com/datasets/detect/argoverse/
# Example usage: yolo train data=Argoverse.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── Argoverse ← downloads here (31.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: Argoverse # dataset root dir
train: Argoverse-1.1/images/train/ # train images (relative to 'path') 39384 images
val: Argoverse-1.1/images/val/ # val images (relative to 'path') 15062 images
test: Argoverse-1.1/images/test/ # test images (optional) https://eval.ai/web/challenges/challenge-page/800/overview

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: bus
  5: truck
  6: traffic_light
  7: stop_sign

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import json
  from pathlib import Path

  from ultralytics.utils import TQDM
  from ultralytics.utils.downloads import download

  def argoverse2yolo(annotation_file):
      """Convert Argoverse dataset annotations to YOLO format for object detection tasks."""
      labels = {}
      with open(annotation_file, encoding="utf-8") as f:
          a = json.load(f)
      for annot in TQDM(a["annotations"], desc=f"Converting {annotation_file} to YOLO format..."):
          img_id = annot["image_id"]
          img_name = a["images"][img_id]["name"]
          img_label_name = f"{Path(img_name).stem}.txt"

          cls = annot["category_id"]  # instance class id
          x_center, y_center, width, height = annot["bbox"]
          x_center = (x_center + width / 2) / 1920.0  # offset and scale
          y_center = (y_center + height / 2) / 1200.0  # offset and scale
          width /= 1920.0  # scale
          height /= 1200.0  # scale

          img_dir = annotation_file.parents[2] / "Argoverse-1.1" / "labels" / a["seq_dirs"][a["images"][annot["image_id"]]["sid"]]
          if not img_dir.exists():
              img_dir.mkdir(parents=True, exist_ok=True)

          k = str(img_dir / img_label_name)
          if k not in labels:
              labels[k] = []
          labels[k].append(f"{cls} {x_center} {y_center} {width} {height}\n")

      for k in labels:
          with open(k, "w", encoding="utf-8") as f:
              f.writelines(labels[k])

  # Download 'https://argoverse-hd.s3.us-east-2.amazonaws.com/Argoverse-HD-Full.zip' (deprecated S3 link)
  dir = Path(yaml["path"])  # dataset root dir
  urls = ["https://drive.google.com/file/d/1st9qW3BeIwQsnR0t8mRpvbsSWIo16ACi/view?usp=drive_link"]
  print("\n\nWARNING: Argoverse dataset MUST be downloaded manually, autodownload will NOT work.")
  print(f"WARNING: Manually download Argoverse dataset '{urls[0]}' to '{dir}' and re-run your command.\n\n")
  # download(urls, dir=dir)

  # Convert
  annotations_dir = "Argoverse-HD/annotations/"
  (dir / "Argoverse-1.1" / "tracking").rename(dir / "Argoverse-1.1" / "images")  # rename 'tracking' to 'images'
  for d in "train.json", "val.json":
      argoverse2yolo(dir / annotations_dir / d)  # convert Argoverse annotations to YOLO labels

使用方法

要使用 640 的图像尺寸在 Argoverse 数据集上训练 YOLO26n 模型 100 个 epochs，你可以使用以下代码片段。有关可用参数的完整列表，请参阅模型 Training 页面。

训练示例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="Argoverse.yaml", epochs=100, imgsz=640)

示例数据和标注

Argoverse 数据集包含多种传感器数据，包括相机图像、LiDAR 点云和高清地图信息，为自动驾驶任务提供了丰富的上下文。以下是来自数据集的一些数据示例及其相应的标注：

带有车辆标注的 Argoverse 数据集 3D 跟踪示例

Argoverse 3D Tracking：此图像展示了一个 3D 对象跟踪示例，其中对象用 3D 边界框进行了标注。该数据集提供 LiDAR 点云和相机图像，以促进该任务模型的开发。

该示例展示了 Argoverse 数据集中数据的多样性和复杂性，并强调了高质量传感器数据对于自动驾驶任务的重要性。

引文与致谢

如果你在研究或开发工作中使用 Argoverse 数据集，请引用以下论文：

引用

@inproceedings{chang2019argoverse,
  title={Argoverse: 3D Tracking and Forecasting with Rich Maps},
  author={Chang, Ming-Fang and Lambert, John and Sangkloy, Patsorn and Singh, Jagjeet and Bak, Slawomir and Hartnett, Andrew and Wang, Dequan and Carr, Peter and Lucey, Simon and Ramanan, Deva and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={8748--8757},
  year={2019}
}

我们要感谢 Argo AI 创建并维护 Argoverse 数据集，使其成为自动驾驶研究社区的宝贵资源。有关 Argoverse 数据集及其创建者的更多信息，请访问 Argoverse 数据集网站。

常见问题 (FAQ)