Tổng quan về các tập dữ liệu ước tính độ sâu#

Ước lượng độ sâu đơn mắt gán một giá trị độ sâu dấu phẩy động tính bằng mét cho mỗi pixel trong ảnh. Mục tiêu huấn luyện là một bản đồ độ sâu dày đặc cho từng pixel được lưu dưới dạng mảng float32 .npy. Mỗi giá trị biểu diễn khoảng cách từ máy ảnh đến điểm cảnh tương ứng.

Hướng dẫn này giải thích định dạng tập dữ liệu được sử dụng bởi các model ước tính độ sâu Ultralytics YOLO và liệt kê các cấu hình tập dữ liệu tích hợp sẵn có để huấn luyện và kiểm định.

Định dạng tập dữ liệu được hỗ trợ#

Định dạng bản đồ độ sâu NPY#

Mỗi mẫu huấn luyện bao gồm một ảnh RGB và một tệp độ sâu .npy đi kèm. Tệp độ sâu lưu trữ một mảng NumPy float32 2D có hình dạng (H, W) trong đó các giá trị là độ sâu tính bằng mét.

• Các tệp độ sâu phải sử dụng phần mở rộng .npy và chứa một mảng float32.
• Mỗi tệp độ sâu phải có phần gốc tên giống với tệp ảnh khớp với nó (ví dụ: scene_001.npy ghép đôi với scene_001.jpg).
• Trình tải tập dữ liệu tìm các tệp độ sâu bằng cách thay thế thành phần thư mục images bằng depth trong đường dẫn tệp và đổi phần mở rộng ảnh thành .npy.
• Các pixel có độ sâu ≤ 0 được xử lý là không hợp lệ và bị loại trừ khỏi quá trình tính toán hàm mất mát và chỉ số.

Bố cục tiêu chuẩn giữ ảnh và bản đồ độ sâu trong các thư mục song song:

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

Ví dụ, một ảnh tại images/train/scene_001.jpg được ghép đôi với một bản đồ độ sâu tại depth/train/scene_001.npy.

Định dạng YAML cho tập dữ liệu#

Các tập dữ liệu ước tính độ sâu được cấu hình bằng các tệp YAML. Các trường chính là:

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# NYU Depth V2 dataset for monocular depth estimation
# Documentation: https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
# 795 train + 654 val (Eigen test split) images, 480x640, indoor scenes, depth in meters
# Example usage: yolo depth train data=nyu-depth.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── nyu-depth  ← downloads here (≈1.5 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: nyu-depth # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 795 images
val: images/val # val images (relative to 'path') 654 images

# Depth maps are paired .npy files (float32, meters) under depth/<split>/, resolved by
# swapping '/images/' -> '/depth/' on each image path.

# Classes
nc: 1
names:
  0: depth

channels: 3

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/nyu-depth.zip

Cách sử dụng#

Huấn luyện một model ước tính độ sâu YOLO26 với Python hoặc CLI:

from ultralytics import YOLO

# Load a pretrained depth model
model = YOLO("yolo26n-depth.pt")

# Train on the NYU Depth V2 dataset
results = model.train(data="nyu-depth.yaml", epochs=100, imgsz=640)

Các tập dữ liệu được hỗ trợ#

Các model độ sâu YOLO26 được tiền huấn luyện trên một tập hợp đa dạng các tập dữ liệu (~2,19 triệu ảnh) bao gồm từ trong nhà (≤10 m) đến ngoài trời (~80 m), sau đó được đánh giá zero-shot trên năm bộ benchmark. Mỗi tập dữ liệu có một trang dành riêng:

Gỡ lỗi

• Depth8 — 8 ảnh SUN RGB-D trong một tệp lưu trữ tự động tải xuống kích thước 1.3 MB, dùng để kiểm thử đường ống nhanh chóng

Nguồn tiền huấn luyện

• ARKitScenes — trong nhà thực tế, Apple ARKit LiDAR (nguồn thực tế lớn nhất)
• SUN RGB-D — trong nhà thực tế, RGB-D đa cảm biến
• DIODE — trong nhà + ngoài trời thực tế, dữ liệu gốc máy quét laser dày đặc
• Hypersim — trong nhà giả lập chân thực quang học
• TartanAir — giả lập, môi trường đa dạng
• Virtual KITTI 2 — lái xe ngoài trời giả lập
• KITTI — lái xe ngoài trời thực tế, Velodyne LiDAR (đồng thời là một chuẩn đánh giá)
• ImageNet (gắn nhãn giả) — tập chưng cất gắn nhãn giả, nguồn đơn lẻ lớn nhất

Bộ benchmark đánh giá

• NYU Depth V2 — chuẩn đánh giá trong nhà chính
• KITTI Eigen — chuẩn đánh giá lái xe ngoài trời
• ETH3D — trong nhà + ngoài trời độ chính xác cao
• Make3D — ngoài trời, ngoài phân phối
• iBims-1 — trong nhà chất lượng cao (các cạnh và bề mặt phẳng)

Độ chính xác của từng model trên các chuẩn đánh giá này và trọng số huấn luyện trước có thể tải xuống được liệt kê trên trang tác vụ Ước lượng độ sâu. Một tệp YAML tập dữ liệu có trường train liệt kê nhiều thư mục ảnh sẽ kết hợp các nguồn này cho quá trình huấn luyện hỗn hợp quy mô lớn.

Thêm tập dữ liệu của riêng bạn#

1. Lưu các ảnh RGB trong các thư mục phân tách như images/train và images/val.
2. Lưu một mảng độ sâu float32 .npy cho mỗi ảnh bên dưới các thư mục tương ứng depth/train và depth/val sử dụng cùng phần gốc tên tệp với ảnh.
3. Đảm bảo các giá trị độ sâu tính bằng mét và các pixel không hợp lệ hoặc bị thiếu sử dụng 0 hoặc các giá trị âm.
4. Tạo một tệp YAML tập dữ liệu với path, train, val, nc: 1, và names: {0: depth}.

path: path/to/my-depth-dataset
train: images/train
val: images/val

nc: 1
names:
    0: depth

Câu hỏi thường gặp#