跳转至内容

Argoverse 数据集

Argoverse 数据集是一个数据集合,旨在支持自动驾驶任务的研究,例如 3D 跟踪、运动预测和立体深度估计。该数据集由 Argo AI 开发,提供各种高质量的传感器数据,包括高分辨率图像、LiDAR 点云和地图数据。

注意

Argoverse 数据集 *.zip 由于 Ford 关闭了 Argo AI,训练所需的文件已从 Amazon S3 中删除,但我们已将其放在 Google Drive 上,供手动下载 Google Drive.

主要功能

  • Argoverse 包含超过 29 万个带标签的 3D 对象轨迹和 500 万个对象实例,涵盖 1,263 个不同的场景。
  • 该数据集包括高分辨率相机图像、LiDAR 点云和丰富注释的 HD 地图。
  • 注释包括对象的 3D 边界框、对象轨迹和轨迹信息。
  • Argoverse 提供了多个子集,用于不同的任务,例如 3D 跟踪、运动预测和立体深度估计。

数据集结构

Argoverse 数据集分为三个主要子集:

  1. Argoverse 3D 跟踪:此子集包含 113 个场景,其中包含超过 29 万个带标签的 3D 对象轨迹,重点关注 3D 对象跟踪任务。它包括 LiDAR 点云、相机图像和传感器校准信息。
  2. Argoverse 运动预测:该子集包含从 60 小时的驾驶数据中收集的 32.4 万条车辆轨迹,适用于运动预测任务。
  3. Argoverse 立体深度估计:该子集专为立体深度估计任务而设计,包含超过 1 万个立体图像对,以及用于地面实况深度估计的相应 LiDAR 点云。

应用

Argoverse 数据集被广泛用于训练和评估自动驾驶任务中的深度学习模型,例如 3D 目标跟踪、运动预测和立体深度估计。该数据集包含多样化的传感器数据、目标注释和地图信息,使其成为自动驾驶领域研究人员和从业者的宝贵资源。

数据集 YAML

YAML(Yet Another Markup Language)文件用于定义数据集配置。它包含关于数据集路径、类别和其他相关信息。对于 Argoverse 数据集, Argoverse.yaml 文件保存在 https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/Argoverse.yaml.

ultralytics/cfg/datasets/Argoverse.yaml

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# Argoverse-HD dataset (ring-front-center camera) https://www.cs.cmu.edu/~mengtial/proj/streaming/ by Argo AI
# Documentation: https://docs.ultralytics.com/datasets/detect/argoverse/
# Example usage: yolo train data=Argoverse.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── Argoverse ← downloads here (31.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: Argoverse # dataset root dir
train: Argoverse-1.1/images/train/ # train images (relative to 'path') 39384 images
val: Argoverse-1.1/images/val/ # val images (relative to 'path') 15062 images
test: Argoverse-1.1/images/test/ # test images (optional) https://eval.ai/web/challenges/challenge-page/800/overview

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: bus
  5: truck
  6: traffic_light
  7: stop_sign

# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
  import json
  from pathlib import Path

  from ultralytics.utils import TQDM
  from ultralytics.utils.downloads import download

  def argoverse2yolo(set):
      """Convert Argoverse dataset annotations to YOLO format for object detection tasks."""
      labels = {}
      a = json.load(open(set, "rb"))
      for annot in TQDM(a["annotations"], desc=f"Converting {set} to YOLOv5 format..."):
          img_id = annot["image_id"]
          img_name = a["images"][img_id]["name"]
          img_label_name = f"{img_name[:-3]}txt"

          cls = annot["category_id"]  # instance class id
          x_center, y_center, width, height = annot["bbox"]
          x_center = (x_center + width / 2) / 1920.0  # offset and scale
          y_center = (y_center + height / 2) / 1200.0  # offset and scale
          width /= 1920.0  # scale
          height /= 1200.0  # scale

          img_dir = set.parents[2] / "Argoverse-1.1" / "labels" / a["seq_dirs"][a["images"][annot["image_id"]]["sid"]]
          if not img_dir.exists():
              img_dir.mkdir(parents=True, exist_ok=True)

          k = str(img_dir / img_label_name)
          if k not in labels:
              labels[k] = []
          labels[k].append(f"{cls} {x_center} {y_center} {width} {height}\n")

      for k in labels:
          with open(k, "w", encoding="utf-8") as f:
              f.writelines(labels[k])


  # Download 'https://argoverse-hd.s3.us-east-2.amazonaws.com/Argoverse-HD-Full.zip' (deprecated S3 link)
  dir = Path(yaml["path"])  # dataset root dir
  urls = ["https://drive.google.com/file/d/1st9qW3BeIwQsnR0t8mRpvbsSWIo16ACi/view?usp=drive_link"]
  print("\n\nWARNING: Argoverse dataset MUST be downloaded manually, autodownload will NOT work.")
  print(f"WARNING: Manually download Argoverse dataset '{urls[0]}' to '{dir}' and re-run your command.\n\n")
  # download(urls, dir=dir)

  # Convert
  annotations_dir = "Argoverse-HD/annotations/"
  (dir / "Argoverse-1.1" / "tracking").rename(dir / "Argoverse-1.1" / "images")  # rename 'tracking' to 'images'
  for d in "train.json", "val.json":
      argoverse2yolo(dir / annotations_dir / d)  # convert Argoverse annotations to YOLO labels

用法

要在 Argoverse 数据集上训练 YOLO11n 模型 100 个 epochs,图像大小为 640,您可以使用以下代码片段。 有关可用参数的完整列表,请参阅模型训练页面。

训练示例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="Argoverse.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=Argoverse.yaml model=yolo11n.pt epochs=100 imgsz=640

样本数据和注释

Argoverse 数据集包含多样化的传感器数据,包括相机图像、LiDAR 点云和高清地图信息,为自动驾驶任务提供丰富的上下文。 以下是数据集中数据的一些示例,以及它们对应的注释:

数据集样本图像

  • Argoverse 3D 跟踪:此图像演示了 3D 目标跟踪的示例,其中目标用 3D 边界框进行注释。 该数据集提供 LiDAR 点云和相机图像,以促进此任务模型的开发。

该示例展示了Argoverse数据集中数据的多样性和复杂性,并突出了高质量传感器数据对于自动驾驶任务的重要性。

引用和致谢

如果您在研究或开发工作中使用Argoverse数据集,请引用以下论文:

@inproceedings{chang2019argoverse,
  title={Argoverse: 3D Tracking and Forecasting with Rich Maps},
  author={Chang, Ming-Fang and Lambert, John and Sangkloy, Patsorn and Singh, Jagjeet and Bak, Slawomir and Hartnett, Andrew and Wang, Dequan and Carr, Peter and Lucey, Simon and Ramanan, Deva and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={8748--8757},
  year={2019}
}

我们要感谢Argo AI创建并维护Argoverse数据集,使其成为自动驾驶研究社区的宝贵资源。有关Argoverse数据集及其创建者的更多信息,请访问Argoverse数据集网站

常见问题

什么是 Argoverse 数据集及其主要特征?

由Argo AI开发的Argoverse数据集支持自动驾驶研究。它包括超过29万个带标签的3D对象轨迹和跨越1,263个不同场景的500万个对象实例。该数据集提供高分辨率相机图像、LiDAR点云和带注释的HD地图,使其对于3D跟踪、运动预测和立体深度估计等任务非常有价值。

如何使用 Argoverse 数据集训练 Ultralytics YOLO 模型?

要使用 Argoverse 数据集训练 YOLO11 模型,请使用提供的 YAML 配置文件和以下代码:

训练示例

from ultralytics import YOLO

# Load a model
model = YOLO("yolo11n.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="Argoverse.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=Argoverse.yaml model=yolo11n.pt epochs=100 imgsz=640

有关参数的详细说明,请参阅模型训练页面。

Argoverse 数据集中有哪些类型的数据和注释?

Argoverse 数据集包含各种传感器数据类型,例如高分辨率相机图像、LiDAR 点云和高清地图数据。注释包括 3D 边界框、对象轨迹和轨迹信息。这些全面的注释对于 3D 对象跟踪、运动预测和立体深度估计等任务中的精确模型训练至关重要。

Argoverse 数据集的结构是怎样的?

该数据集分为三个主要子集:

  1. Argoverse 3D 跟踪: 包含 113 个场景,超过 29 万个带标签的 3D 物体轨迹,侧重于 3D 物体跟踪任务。它包括 LiDAR 点云、相机图像和传感器校准信息。
  2. Argoverse 运动预测: 包含从 60 小时的驾驶数据中收集的 32.4 万条车辆轨迹,适用于运动预测任务。
  3. Argoverse 立体深度估计:包含超过 1 万个立体图像对,以及用于地面实况深度估计的相应 LiDAR 点云。

Argoverse 数据集已从 Amazon S3 中移除,现在可以在哪里下载?

Argoverse 数据集 *.zip 该文件以前可在 Amazon S3 上获取,现在可以从以下位置手动下载 Google Drive.

YAML 配置文件在 Argoverse 数据集中有什么用途?

YAML 文件包含数据集的路径、类和其他基本信息。 对于 Argoverse 数据集,配置文件 Argoverse.yaml,可以在以下链接中找到: Argoverse.yaml.

有关YAML配置的更多信息,请参阅我们的数据集指南。



📅创建于 1 年前 ✏️已更新 11 个月前

评论