Ultralytics YOLO27:

مجموعة بيانات العمق KITTI#

مجموعة بيانات KITTI هي معيار مرجعي واقعي للقيادة الذاتية في الهواء الطلق، وقد جُمعت بياناتها من مركبة متحركة في مدينة كارلسروه وما حولها. في مهمة تقدير العمق أحادي العين، يُستمد العمق المرجعي من ماسح LiDAR من طراز Velodyne HDL-64، وتُكثَّف خرائط العمق باستخدام منهجية Uhrig وآخرون، 2017. تظل خرائط العمق الناتجة متناثرة، إذ تحتوي نحو 16–20% من وحدات البكسل على قيمة عمق صالحة. وتُعد KITTI مصدر بيانات القيادة الواقعية في الهواء الطلق ضمن مزيج التدريب المسبق لـ YOLO26-Depth، كما تُستخدم معيارًا للتقييم وفق KITTI Eigen.

الميزات الرئيسية#

  • مشاهد قيادة واقعية في الهواء الطلق، بمدى عمق يصل إلى نحو 80 مترًا، وهو أبعد بكثير من النطاق الداخلي المعتاد.
  • قِيَم العمق المرجعية مستمدة من LiDAR من طراز Velodyne HDL-64، وكُثّفت باستخدام منهج Sparsity Invariant CNNs الذي قدّمه Uhrig وآخرون عام 2017.
  • إشراف متناثر: لا تحمل سوى نحو 16–20% من وحدات البكسل في كل صورة قيمة عمق صالحة؛ وتُستبعد وحدات البكسل غير الصالحة من دالة الخسارة والمقاييس.
  • توفر أزواج الصور المجسمة (اليسرى image_02 واليمنى image_03) نقاط مشاهدة إضافية للتدريب.
  • تُخزّن قيم العمق بصيغة PNG من نوع uint16، مع 256 وحدة لكل متر (depth_scale: 256)، وفق تنسيق مجموعة بيانات العمق من Ultralytics.

بنية مجموعة البيانات#

تُقسّم بيانات العمق KITTI التي تستخدمها Ultralytics إلى مجموعتين فرعيتين:

  1. مجموعة التدريب: 55,198 صورة (من الكاميرتين اليسرى image_02 واليمنى image_03). تُستبعد جميع رحلات KITTI Eigen الاختبارية البالغ عددها 28 من التدريب لضمان عدالة التقييم.
  2. مجموعة التقييم: مجموعة اختبار KITTI Eigen، وتتكون من 652 إطارًا من الكاميرا اليسرى لها بيانات مرجعية محسّنة. يستخدم التقييم حدًا أقصى للعمق يبلغ 80 مترًا ومحاذاة بالوسيط (للمقياس فقط) بين التنبؤات والقيم المرجعية.

يصل مدى العمق إلى نحو 80 مترًا، ويضبط ملف YAML لمجموعة البيانات (depth-kitti.yaml) القيمة max_depth: 80 وفقًا لذلك. عند الاستخدام لأول مرة، ينزّل ملف YAML تلقائيًا البيانات المرجعية المحسّنة (~14 GB) ورحلات القيادة الخام المطابقة (~175 GB)، ثم يحولها إلى تنسيق مجموعة بيانات العمق من Ultralytics.

دورها في YOLO26-Depth#

توفر KITTI إشرافًا من مشاهد قيادة واقعية في الهواء الطلق ضمن مزيج التدريب المسبق YOLO26-Depth، مكملةً المصادر الداخلية في معظمها. كما أنها معيار KITTI Eigen القياسي للإبلاغ عن دقة العمق في مشاهد القيادة.

تُعد KITTI مثالًا مهمًا يوضح سبب كون رأس العمق غير محدود (log mode): إذ لا يمكن لسقف إخراج ثابت قدره 10 أمتار تمثيل مشاهد قيادة بعمق يصل إلى 80 مترًا. راجع صفحة مهمة العمق للاطلاع على تفاصيل نطاق إخراج الرأس ومعالجة max_depth.

النتائج#

دقة KITTI Eigen delta1 بحسب حجم النموذج (القيم الأعلى أفضل):

النموذجKITTI Eigen δ1
YOLO26n-Depth0.878
YOLO26s-Depth0.879
YOLO26m-Depth0.913
YOLO26l-Depth0.926
YOLO26x-Depth0.932

قيس الأداء على المجموعة القياسية ذات 652 إطارًا باستخدام imgsz=768 وrect=False. ولا يمكن مقارنته مباشرة بأرقام KITTI المنشورة: إذ يمدد التحقق كل صورة لتصبح مربعة imgsz، ويعيد أخذ عينات البيانات المرجعية المتناثرة بأقرب جار لتلائمها، بينما تعيد أدوات التقييم المرجعية تحجيم التنبؤ إلى الدقة الأصلية للبيانات المرجعية؛ كما أن DepthMetrics يطبق قناعًا على البيانات المرجعية استنادًا إلى max_depth، بينما يطبق بروتوكول البيانات المرجعية المحسّنة قناعًا على gt > 0 ولا يضع حدًا إلا للتنبؤ؛ فضلًا عن أن الأوزان الصادرة دُرّبت باستخدام التقسيم السابق، الذي أدرج 72 من إطارات الاختبار هذه ضمن مجموعة التدريب.

ملف YAML لمجموعة البيانات#

يُستخدم ملف YAML لتعريف إعداد مجموعة البيانات. ويحتوي على معلومات عن مسارات مجموعة البيانات وفئاتها ومعلومات أخرى ذات صلة، مثل أقصى عمق.

ultralytics/cfg/datasets/depth-kitti.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# KITTI dataset for monocular depth estimation — real outdoor driving, Velodyne HDL-64 LiDAR (densified), sparse, up to ~80 m
# Documentation: https://docs.ultralytics.com/datasets/depth/kitti
# Example usage: yolo depth train data=depth-kitti.yaml model=yolo26n-depth.pt
# parent
# ├── ultralytics
# └── datasets
#     └── depth-kitti  ← downloads here (~190 GB archives, ~140 GB converted)
#         ├── images/{train,val}  # RGB images
#         └── depth/{train,val}   # paired 16-bit *.png depth maps (images/ -> depth/)
# If an interrupted download leaves a partial dataset, delete the depth-kitti dir and re-run to rebuild it.
# The download only runs when the val images are missing (train is never checked), so a depth-kitti dir
# built before this split fix keeps the old split until it is deleted and rebuilt.

path: depth-kitti # dataset root dir (relative to Ultralytics settings 'datasets_dir')
train: images/train # train images (relative to 'path') 55198 images
val: images/val # val images (relative to 'path') 652 images (KITTI Eigen test split, left camera)
max_depth: 80 # (m) maximum valid depth; GT beyond this is excluded from val metrics

nc: 1
names:
  0: depth

channels: 3
depth_scale: 256 # KITTI PNG value 256 = 1 meter

# Download script/URL (optional)
download: |
  import shutil
  from pathlib import Path

  from ultralytics.utils import TQDM
  from ultralytics.utils.downloads import download

  # The 28 KITTI Eigen test scenes as "<drive> <frame indices>" -> val; every other annotated drive -> train. val is
  # the 697-frame Eigen et al. (NeurIPS 2014) test split restricted to frames with improved GT here: 652 left-camera.
  EIGEN_TEST = """
  2011_09_26_drive_0002 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51 54 57 60 63 69
  2011_09_26_drive_0009 16 32 48 64 80 96 112 128 144 160 176 196 212 228 244 260 276 292 308 324 340 356 372 388
  2011_09_26_drive_0013 5 10 20 30 35 40 45 50 60 65 70 80 85 90 95 100 105 110 115 120 125 130 135
  2011_09_26_drive_0020 6 9 12 15 18 21 27 33 36 42 45 48 51 54 57 60 63 66 69 72 75 78
  2011_09_26_drive_0023 18 36 54 72 90 108 126 144 162 180 198 216 252 270 288 306 324 342 360 378 396 414 432 450 468
  2011_09_26_drive_0027 7 14 21 28 35 42 49 56 63 70 77 84 91 98 112 119 126 133 140 147 161 168 175 182
  2011_09_26_drive_0029 14 28 42 56 70 84 98 112 126 140 154 168 182 196 268 296 310 324 338 352 366 380 394 408
  2011_09_26_drive_0036 32 64 96 128 160 192 224 256 288 320 352 384 416 448 480 512 544 576 608 640 672 704 768
  2011_09_26_drive_0046 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 105 110 115
  2011_09_26_drive_0048 5 6 7 8 9 10 11 12 13 14 15 16
  2011_09_26_drive_0052 6 8 10 12 14 16 18 20 22 26 28 30 32 36 38 40 42 44 46 48 50 52
  2011_09_26_drive_0056 11 22 33 44 55 66 77 88 99 110 121 143 154 165 176 187 198 209 220 231 242 253 264 275 286
  2011_09_26_drive_0059 14 28 42 56 70 84 98 112 126 140 154 182 196 210 224 238 274 288 302 316 330 344 358
  2011_09_26_drive_0064 22 44 66 88 110 154 176 198 220 242 264 286 308 330 352 374 396 418 440 462 484 506 528 550
  2011_09_26_drive_0084 49 62 75 88 101 114 127 140 153 179 192 205 218 231 244 257 270 283 296 309 322 335 348 361 374
  2011_09_26_drive_0086 7 34 61 88 115 142 169 196 223 250 277 304 331 358 385 412 439 466 493 520 574 601 628 655 682
  2011_09_26_drive_0093 16 32 48 64 80 96 112 128 144 160 176 192 208 224 240 256 305 321 337 353 369 385 401 417
  2011_09_26_drive_0096 19 38 57 76 95 114 133 152 171 190 209 228 247 266 285 304 323 342 361 380 399 418 437 456
  2011_09_26_drive_0101 80 114 148 182 216 284 318 352 386 420 454 488 522 556 590 624 658 692 726 760 794 828 862 896 930
  2011_09_26_drive_0106 15 35 43 51 59 67 75 83 91 99 107 115 123 131 139 147 155 163 171 179 187 195 203 211 219
  2011_09_26_drive_0117 26 52 78 104 130 156 182 208 234 260 286 312 338 364 390 416 442 468 494 546 572 598 624 650
  2011_09_28_drive_0002 6 9 12 18 21 24 30 33 36 39 45 48 51 54 57 60 63 72 78 81 84 87 90
  2011_09_29_drive_0071 36 72 108 144 180 216 252 288 324 360 396 432 468 504 540 576 612 735 771 807 879 915 951
  2011_09_30_drive_0016 11 22 33 44 55 66 77 88 110 121 132 143 154 165 176 187 198 209 220 231 242 253 264
  2011_09_30_drive_0018 107 214 428 535 642 749 856 963 1070 1177 1284 1391 1498 1605 1712 1819 1926 2033 2140 2247 2419 2526 2633 2740
  2011_09_30_drive_0027 41 82 123 164 205 246 287 328 369 410 451 492 533 574 615 656 753 794 835 876 917 958 1040 1081
  2011_10_03_drive_0027 181 362 543 734 915 1096 1277 1458 1639 1820 2001 2363 2544 2725 2906 3087 3268 3449 3630 3811 3992 4173 4354 4535
  2011_10_03_drive_0047 32 64 96 128 160 192 224 288 320 352 384 416 448 480 512 544 576 608 640 672 704 736 768 800"""
  EIGEN_TEST = {ln.split()[0]: {int(i) for i in ln.split()[1:]} for ln in EIGEN_TEST.strip().splitlines()}
  # Annotated drives excluded from the release training set (raw data was unavailable at build time)
  SKIP_DRIVES = {"2011_09_28_drive_0104", "2011_09_28_drive_0135", "2011_09_28_drive_0177", "2011_09_28_drive_0214"}

  # Download the improved sparse GT (~14 GB) and the raw recordings it covers (~175 GB)
  dir = Path(yaml["path"])  # dataset root dir
  base = "https://s3.eu-central-1.amazonaws.com/avg-kitti"
  download([f"{base}/data_depth_annotated.zip"], dir=dir / "source", delete=True, exist_ok=True)
  gt_drives = sorted(p for p in (dir / "source" / "data_depth_annotated").glob("*/*_sync") if p.name[:-5] not in SKIP_DRIVES)
  urls = [f"{base}/raw_data/{p.name[:-5]}/{p.name}.zip" for p in gt_drives]
  download(urls, dir=dir / "source" / "raw", delete=True, exist_ok=True, threads=4)

  # Convert: GT PNGs are uint16 meters*256; RGB frames come from the matching raw drive
  for split in ("train", "val"):
      (dir / "images" / split).mkdir(parents=True, exist_ok=True)
      (dir / "depth" / split).mkdir(parents=True, exist_ok=True)
  for gt in TQDM(gt_drives, desc="Converting"):
      drive = gt.name[:-5]  # 2011_09_26_drive_0002
      split = "val" if drive in EIGEN_TEST else "train"
      # val is the canonical Eigen test split: left camera only, and only its 652 listed frames
      for cam in ("image_02",) if split == "val" else ("image_02", "image_03"):
          for png in sorted((gt / "proj_depth" / "groundtruth" / cam).glob("*.png")):
              if split == "val" and int(png.stem) not in EIGEN_TEST[drive]:
                  continue
              name = f"{drive}_{cam[-2:]}_{png.stem}"
              png.replace(dir / "depth" / split / f"{name}.png")
              raw = dir / "source" / "raw" / drive[:10] / gt.name / cam / "data" / png.name
              raw.replace(dir / "images" / split / f"{name}.png")
  shutil.rmtree(dir / "source")

الاستخدام#

لتدريب نموذج YOLO26n-Depth على مجموعة بيانات KITTI لمدة 100 حقبة، يمكنك استخدام مقتطفات التعليمات البرمجية التالية. للاطلاع على قائمة شاملة بالوسائط المتاحة، راجع صفحة تدريب النموذج.

مثال على التدريب
from ultralytics import YOLO

# ⁨تحميل نموذج عمق مُدرّب مسبقًا⁩
model = YOLO("yolo26n-depth.pt")

# ⁨درّب النموذج على KITTI⁩
results = model.train(data="depth-kitti.yaml", epochs=100, imgsz=640)

النماذج المدربة مسبقًا#

تُنزَّل نماذج YOLO26-Depth المُدرَّبة مسبقًا تلقائيًا من إصدار أصول Ultralytics v8.4.0 عند الإشارة إليها بالاسم للمرة الأولى:

الاستشهادات والشكر والتقدير#

إذا استخدمت مجموعة بيانات KITTI في أبحاثك أو أعمال التطوير، يُرجى الاستشهاد بالأوراق التالية:

اقتباس
@article{geiger2013vision,
      title={Vision meets Robotics: The KITTI Dataset},
      author={Geiger, Andreas and Lenz, Philip and Stiller, Christoph and Urtasun, Raquel},
      journal={The International Journal of Robotics Research},
      year={2013},
      publisher={SAGE Publications}
}

@inproceedings{uhrig2017sparsity,
      title={Sparsity Invariant CNNs},
      author={Uhrig, Jonas and Schneider, Nick and Schneider, Lukas and Franke, Uwe and Brox, Thomas and Geiger, Andreas},
      booktitle={International Conference on 3D Vision (3DV)},
      year={2017}
}

نود أن نشكر معهد كارلسروه للتكنولوجيا ومعهد إلينوي للتكنولوجيا في شيكاغو على إنشاء مجموعة بيانات KITTI وصيانتها، كما نشكر Uhrig وآخرين على طريقة تكثيف العمق التي تتيح إشرافًا أكثر كثافة.

الأسئلة الشائعة#

  • تُعد KITTI مصدر القيادة الواقعية في الهواء الطلق ضمن مزيج التدريب المسبق YOLO26-Depth، كما تُستخدم معيارًا للتقييم وفق KITTI Eigen. ويصل عمق LiDAR من Velodyne فيها إلى نحو 80 مترًا، ولهذا يكون رأس العمق غير محدود بدلًا من تقييده بنطاق داخلي ثابت.

  • يستخدم إعداد Ultralytics عدد 55,198 صورة تدريب من الكاميرتين اليسرى واليمنى، مع استبعاد جميع رحلات KITTI Eigen الاختبارية البالغ عددها 28، ويُجري التقييم على 652 إطار اختبار Eigen من الكاميرا اليسرى ذي بيانات مرجعية محسّنة. تستخدم ملفات PNG للعمق 256 وحدة لكل متر (depth_scale: 256)، ويضبط ملف YAML القيمة max_depth: 80.

  • شغّل yolo depth train data=depth-kitti.yaml model=yolo26n-depth.pt epochs=100 imgsz=640، أو استخدم مثال Python في قسم الاستخدام. تسرد صفحة التدريب جميع الوسيطات المتاحة.

  • تأتي القيم الواردة في النتائج من أداة التحقق في Ultralytics، باستخدام imgsz=768 وrect=False، اللذين يعيدان تحجيم الصور إلى مدخل مربع، ويطبّقان قناعًا على البيانات المرجعية استنادًا إلى max_depth، ويحسبان المقاييس لكل صورة مع محاذاة المقياس لكل صورة قبل أخذ متوسطها عبر مجموعة التحقق. تستخدم أدوات التقييم المرجعية لـ KITTI بروتوكولًا مختلفًا، لذا لا يمكن مقارنة الأرقام مباشرة.

التعليقات