Dataset độ sâu KITTI#
Dataset KITTI là một benchmark lái xe tự hành ngoài trời trong thế giới thực, được ghi lại từ một phương tiện đang di chuyển ở và quanh thành phố Karlsruhe. Đối với ước tính độ sâu đơn mắt, độ sâu ground truth được suy ra từ máy quét LiDAR Velodyne HDL-64 và được làm dày đặc hơn bằng phương pháp của Uhrig và cộng sự, 2017. Các bản đồ độ sâu thu được vẫn thưa, với khoảng 16–20% pixel có giá trị độ sâu hợp lệ. KITTI là nguồn lái xe ngoài trời thực tế trong hỗn hợp tiền huấn luyện YOLO26-Depth, đồng thời cũng là benchmark đánh giá KITTI Eigen.
Tính năng chính#
- Các cảnh lái xe ngoài trời thực tế có độ sâu lên đến khoảng 80 m, vượt xa đáng kể phạm vi thường gặp trong nhà.
- Độ sâu ground truth thu được từ LiDAR Velodyne HDL-64 và được làm dày đặc hơn bằng phương pháp Sparsity Invariant CNNs của Uhrig và cộng sự, 2017.
- Giám sát thưa: chỉ khoảng 16–20% pixel trong mỗi ảnh có giá trị độ sâu hợp lệ; các pixel không hợp lệ được loại khỏi loss và các metric.
- Các cặp ảnh stereo (trái
image_02và phảiimage_03) cung cấp thêm góc nhìn để huấn luyện. - Giá trị độ sâu được lưu dưới dạng PNG uint16 với 256 đơn vị trên mỗi mét (
depth_scale: 256), theo định dạng dataset độ sâu Ultralytics.
Cấu trúc dataset#
Dữ liệu độ sâu KITTI mà Ultralytics sử dụng được chia thành hai tập con:
- Tập huấn luyện: 55.198 ảnh (camera trái
image_02và phảiimage_03). Toàn bộ 28 chuyến lái xe trong tập kiểm tra KITTI Eigen được loại khỏi tập huấn luyện để đảm bảo đánh giá công bằng. - Tập đánh giá: tập kiểm tra KITTI Eigen — gồm 652 khung hình camera trái có ground truth được cải thiện. Đánh giá sử dụng giới hạn độ sâu 80 m và căn chỉnh trung vị (chỉ theo tỷ lệ) giữa dự đoán và ground truth.
Phạm vi độ sâu đạt khoảng 80 m và YAML dataset (depth-kitti.yaml) thiết lập max_depth: 80 tương ứng. Khi sử dụng lần đầu, YAML tự động tải ground truth được cải thiện (~14 GB) và các chuyến lái xe thô tương ứng (~175 GB), rồi chuyển đổi chúng sang định dạng dataset độ sâu Ultralytics.
Vai trò trong YOLO26-Depth#
KITTI cung cấp dữ liệu giám sát lái xe ngoài trời thực tế trong hỗn hợp tiền huấn luyện YOLO26-Depth, bổ sung cho các nguồn chủ yếu trong nhà. Đây cũng là benchmark KITTI Eigen tiêu chuẩn để báo cáo độ chính xác độ sâu trong cảnh lái xe.
KITTI là ví dụ điển hình cho thấy vì sao head độ sâu không giới hạn (log mode): giới hạn đầu ra cố định ở 10 m không thể biểu diễn các cảnh lái xe có độ sâu 80 m. Xem trang tác vụ độ sâu để biết chi tiết về phạm vi đầu ra của head và cách xử lý max_depth.
Kết quả#
Độ chính xác KITTI Eigen delta1 theo kích thước model (cao hơn là tốt hơn):
| Model | KITTI Eigen δ1 |
|---|---|
| YOLO26n-Depth | 0.878 |
| YOLO26s-Depth | 0.879 |
| YOLO26m-Depth | 0.913 |
| YOLO26l-Depth | 0.926 |
| YOLO26x-Depth | 0.932 |
Được đo trên tập chia chuẩn gồm 652 khung hình với imgsz=768 và rect=False. Các kết quả này không thể so sánh trực tiếp với số liệu KITTI đã công bố: val kéo giãn mỗi ảnh thành hình vuông imgsz rồi lấy mẫu lại ground truth thưa bằng phương pháp láng giềng gần nhất; trong khi đó, các evaluator tham chiếu thay vào đó đổi kích thước dự đoán về độ phân giải ground truth gốc; DepthMetrics áp dụng mask cho ground truth theo max_depth, trong khi giao thức ground truth cải thiện áp dụng mask cho gt > 0 và chỉ giới hạn dự đoán; và các trọng số đã phát hành được huấn luyện trên tập chia trước đó, trong đó 72 khung hình kiểm tra này nằm trong tập huấn luyện.
YAML của dataset#
Tệp YAML được dùng để xác định cấu hình dataset. Tệp này chứa thông tin về đường dẫn, class và các thông tin liên quan khác của dataset, chẳng hạn như độ sâu tối đa.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# KITTI dataset for monocular depth estimation — real outdoor driving, Velodyne HDL-64 LiDAR (densified), sparse, up to ~80 m
# Documentation: https://docs.ultralytics.com/datasets/depth/kitti
# Example usage: yolo depth train data=depth-kitti.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
# └── depth-kitti ← downloads here (~190 GB archives, ~140 GB converted)
# ├── images/{train,val} # RGB images
# └── depth/{train,val} # paired 16-bit *.png depth maps (images/ -> depth/)
# If an interrupted download leaves a partial dataset, delete the depth-kitti dir and re-run to rebuild it.
# The download only runs when the val images are missing (train is never checked), so a depth-kitti dir
# built before this split fix keeps the old split until it is deleted and rebuilt.
path: depth-kitti # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 55198 images
val: images/val # val images (relative to 'path') 652 images (KITTI Eigen test split, left camera)
max_depth: 80 # (m) maximum valid depth; GT beyond this is excluded from val metrics
nc: 1
names:
0: depth
channels: 3
depth_scale: 256 # KITTI PNG value 256 = 1 meter
# Download script/URL (optional)
download: |
import shutil
from pathlib import Path
from ultralytics.utils import TQDM
from ultralytics.utils.downloads import download
# The 28 KITTI Eigen test scenes as "<drive> <frame indices>" -> val; every other annotated drive -> train. val is
# the 697-frame Eigen et al. (NeurIPS 2014) test split restricted to frames with improved GT here: 652 left-camera.
EIGEN_TEST = """
2011_09_26_drive_0002 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51 54 57 60 63 69
2011_09_26_drive_0009 16 32 48 64 80 96 112 128 144 160 176 196 212 228 244 260 276 292 308 324 340 356 372 388
2011_09_26_drive_0013 5 10 20 30 35 40 45 50 60 65 70 80 85 90 95 100 105 110 115 120 125 130 135
2011_09_26_drive_0020 6 9 12 15 18 21 27 33 36 42 45 48 51 54 57 60 63 66 69 72 75 78
2011_09_26_drive_0023 18 36 54 72 90 108 126 144 162 180 198 216 252 270 288 306 324 342 360 378 396 414 432 450 468
2011_09_26_drive_0027 7 14 21 28 35 42 49 56 63 70 77 84 91 98 112 119 126 133 140 147 161 168 175 182
2011_09_26_drive_0029 14 28 42 56 70 84 98 112 126 140 154 168 182 196 268 296 310 324 338 352 366 380 394 408
2011_09_26_drive_0036 32 64 96 128 160 192 224 256 288 320 352 384 416 448 480 512 544 576 608 640 672 704 768
2011_09_26_drive_0046 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115
2011_09_26_drive_0048 5 6 7 8 9 10 11 12 13 14 15 16
2011_09_26_drive_0052 6 8 10 12 14 16 18 20 22 26 28 30 32 36 38 40 42 44 46 48 50 52
2011_09_26_drive_0056 11 22 33 44 55 66 77 88 99 110 121 143 154 165 176 187 198 209 220 231 242 253 264 275 286
2011_09_26_drive_0059 14 28 42 56 70 84 98 112 126 140 154 182 196 210 224 238 274 288 302 316 330 344 358
2011_09_26_drive_0064 22 44 66 88 110 154 176 198 220 242 264 286 308 330 352 374 396 418 440 462 484 506 528 550
2011_09_26_drive_0084 49 62 75 88 101 114 127 140 153 179 192 205 218 231 244 257 270 283 296 309 322 335 348 361 374
2011_09_26_drive_0086 7 34 61 88 115 142 169 196 223 250 277 304 331 358 385 412 439 466 493 520 574 601 628 655 682
2011_09_26_drive_0093 16 32 48 64 80 96 112 128 144 160 176 192 208 224 240 256 305 321 337 353 369 385 401 417
2011_09_26_drive_0096 19 38 57 76 95 114 133 152 171 190 209 228 247 266 285 304 323 342 361 380 399 418 437 456
2011_09_26_drive_0101 80 114 148 182 216 284 318 352 386 420 454 488 522 556 590 624 658 692 726 760 794 828 862 896 930
2011_09_26_drive_0106 15 35 43 51 59 67 75 83 91 99 107 115 123 131 139 147 155 163 171 179 187 195 203 211 219
2011_09_26_drive_0117 26 52 78 104 130 156 182 208 234 260 286 312 338 364 390 416 442 468 494 546 572 598 624 650
2011_09_28_drive_0002 6 9 12 18 21 24 30 33 36 39 45 48 51 54 57 60 63 72 78 81 84 87 90
2011_09_29_drive_0071 36 72 108 144 180 216 252 288 324 360 396 432 468 504 540 576 612 735 771 807 879 915 951
2011_09_30_drive_0016 11 22 33 44 55 66 77 88 110 121 132 143 154 165 176 187 198 209 220 231 242 253 264
2011_09_30_drive_0018 107 214 428 535 642 749 856 963 1070 1177 1284 1391 1498 1605 1712 1819 1926 2033 2140 2247 2419 2526 2633 2740
2011_09_30_drive_0027 41 82 123 164 205 246 287 328 369 410 451 492 533 574 615 656 753 794 835 876 917 958 1040 1081
2011_10_03_drive_0027 181 362 543 734 915 1096 1277 1458 1639 1820 2001 2363 2544 2725 2906 3087 3268 3449 3630 3811 3992 4173 4354 4535
2011_10_03_drive_0047 32 64 96 128 160 192 224 288 320 352 384 416 448 480 512 544 576 608 640 672 704 736 768 800"""
EIGEN_TEST = {ln.split()[0]: {int(i) for i in ln.split()[1:]} for ln in EIGEN_TEST.strip().splitlines()}
# Annotated drives excluded from the release training set (raw data was unavailable at build time)
SKIP_DRIVES = {"2011_09_28_drive_0104", "2011_09_28_drive_0135", "2011_09_28_drive_0177", "2011_09_28_drive_0214"}
# Download the improved sparse GT (~14 GB) and the raw recordings it covers (~175 GB)
dir = Path(yaml["path"]) # dataset root dir
base = "https://s3.eu-central-1.amazonaws.com/avg-kitti"
download([f"{base}/data_depth_annotated.zip"], dir=dir / "source", delete=True, exist_ok=True)
gt_drives = sorted(p for p in (dir / "source" / "data_depth_annotated").glob("*/*_sync") if p.name[:-5] not in SKIP_DRIVES)
urls = [f"{base}/raw_data/{p.name[:-5]}/{p.name}.zip" for p in gt_drives]
download(urls, dir=dir / "source" / "raw", delete=True, exist_ok=True, threads=4)
# Convert: GT PNGs are uint16 meters*256; RGB frames come from the matching raw drive
for split in ("train", "val"):
(dir / "images" / split).mkdir(parents=True, exist_ok=True)
(dir / "depth" / split).mkdir(parents=True, exist_ok=True)
for gt in TQDM(gt_drives, desc="Converting"):
drive = gt.name[:-5] # 2011_09_26_drive_0002
split = "val" if drive in EIGEN_TEST else "train"
# val is the canonical Eigen test split: left camera only, and only its 652 listed frames
for cam in ("image_02",) if split == "val" else ("image_02", "image_03"):
for png in sorted((gt / "proj_depth" / "groundtruth" / cam).glob("*.png")):
if split == "val" and int(png.stem) not in EIGEN_TEST[drive]:
continue
name = f"{drive}_{cam[-2:]}_{png.stem}"
png.replace(dir / "depth" / split / f"{name}.png")
raw = dir / "source" / "raw" / drive[:10] / gt.name / cam / "data" / png.name
raw.replace(dir / "images" / split / f"{name}.png")
shutil.rmtree(dir / "source")Cách sử dụng#
Để huấn luyện model YOLO26n-Depth trên dataset KITTI trong 100 epoch, bạn có thể dùng các đoạn code sau. Để xem danh sách đầy đủ các đối số hiện có, hãy tham khảo trang Huấn luyện model.
from ultralytics import YOLO
# Tải model độ sâu đã huấn luyện trước
model = YOLO("yolo26n-depth.pt")
# Huấn luyện model trên KITTI
results = model.train(data="depth-kitti.yaml", epochs=100, imgsz=640)Model được tiền huấn luyện#
Các model YOLO26-Depth được huấn luyện trước sẽ tự động tải xuống từ bản phát hành tài sản v8.4.0 của Ultralytics khi được tham chiếu lần đầu bằng tên:
Trích dẫn và lời cảm ơn#
Nếu sử dụng dataset KITTI trong nghiên cứu hoặc công việc phát triển, vui lòng trích dẫn các bài báo sau:
@article{geiger2013vision,
title={Vision meets Robotics: The KITTI Dataset},
author={Geiger, Andreas and Lenz, Philip and Stiller, Christoph and Urtasun, Raquel},
journal={The International Journal of Robotics Research},
year={2013},
publisher={SAGE Publications}
}
@inproceedings{uhrig2017sparsity,
title={Sparsity Invariant CNNs},
author={Uhrig, Jonas and Schneider, Nick and Schneider, Lukas and Franke, Uwe and Brox, Thomas and Geiger, Andreas},
booktitle={International Conference on 3D Vision (3DV)},
year={2017}
}Chúng tôi xin ghi nhận đóng góp của Viện Công nghệ Karlsruhe và Viện Công nghệ Toyota tại Chicago trong việc tạo và duy trì dataset KITTI, cũng như của Uhrig và cộng sự trong phương pháp làm dày đặc dữ liệu độ sâu, giúp có thể giám sát dày đặc hơn.
Câu hỏi thường gặp#
KITTI là nguồn lái xe ngoài trời thực tế trong hỗn hợp tiền huấn luyện YOLO26-Depth, đồng thời cũng là benchmark đánh giá KITTI Eigen. Dữ liệu độ sâu từ LiDAR Velodyne đạt khoảng 80 m, đó là lý do head độ sâu không giới hạn thay vì bị chặn ở phạm vi cố định thường dùng trong nhà.
Cấu hình Ultralytics sử dụng 55.198 ảnh huấn luyện từ camera trái và phải, loại trừ toàn bộ 28 chuyến lái xe trong tập kiểm tra KITTI Eigen, đồng thời đánh giá trên 652 khung hình kiểm tra Eigen từ camera trái có ground truth được cải thiện. Ảnh PNG độ sâu sử dụng 256 đơn vị trên mỗi mét (
depth_scale: 256) và YAML thiết lậpmax_depth: 80.Chạy
yolo depth train data=depth-kitti.yaml model=yolo26n-depth.pt epochs=100 imgsz=640hoặc dùng ví dụ Python trong phần Cách sử dụng. Trang Huấn luyện liệt kê tất cả tham số hiện có.Các giá trị trong Kết quả được tạo bởi validator của Ultralytics với
imgsz=768vàrect=False, trong đó ảnh được đổi kích thước thành đầu vào hình vuông, ground truth được áp dụng mask theomax_depthvà metric được tính riêng cho từng ảnh với căn chỉnh tỷ lệ theo từng ảnh trước khi lấy trung bình trên toàn bộ tập validation. Các evaluator KITTI tham chiếu sử dụng giao thức khác, vì vậy không thể so sánh trực tiếp các số liệu này.