Ước tính độ sâu đơn thị (Monocular Depth Estimation)#

Ước tính độ sâu đơn thị dự đoán bản đồ độ sâu trên từng pixel từ một ảnh RGB duy nhất. Mỗi pixel đầu ra chứa một giá trị độ sâu tính bằng mét, thể hiện khoảng cách ước tính từ camera đến điểm bề mặt đó.

Đầu ra của một model ước tính độ sâu là một bản đồ float dày đặc có shape (H, W) được căn chỉnh với ảnh đầu vào. Biểu diễn theo từng pixel này giúp tác vụ ước tính độ sâu đơn mắt rất phù hợp cho việc tái tạo cảnh 3D, điều hướng robot, tạo nội dung AR/VR và mọi ứng dụng đòi hỏi bố cục không gian từ một camera đơn.

Models#

Các model độ sâu YOLO26 được huấn luyện trước trên một tập dữ liệu hỗn hợp rộng (trong nhà + ngoài trời, ~2,19 triệu ảnh) được hiển thị bên dưới. Các cột chỉ số được báo cáo trên tập kiểm thử Eigen của NYU Depth V2.

Models được tải xuống tự động từ bản release Ultralytics mới nhất trong lần sử dụng đầu tiên.

• delta1^NYU là tỷ lệ phần trăm các pixel mà độ sâu dự đoán nằm trong khoảng hệ số 1,25 so với ground truth, trên tập kiểm thử Eigen của NYU Depth V2 (654 ảnh) với TTA đa quy mô + lật ngang và căn chỉnh log-least-squares.
• Độ chính xác đơn tỷ lệ không dùng TTA có thể tái tạo được bằng yolo depth val model=yolo26n-depth.pt data=nyu-depth.yaml imgsz=768 device=0 (thay thế bằng model= cho từng kích thước), sử dụng phương pháp căn chỉnh trung vị (chỉ theo tỷ lệ) và có điểm số thấp hơn: delta1 0.783 (n), 0.793 (s), 0.840 (m), 0.853 (l), 0.860 (x).
• abs_rel là sai số tương đối tuyệt đối trung bình giữa giá trị độ sâu dự đoán và ground-truth.
• rmse là sai số căn bậc hai trung bình tính bằng mét.
• Speed là độ trễ chỉ tính riêng suy luận (chưa bao gồm tiền/hậu xử lý) tại imgsz=768, batch=1, được báo cáo dưới dạng trung bình ± độ lệch chuẩn qua các lần chạy có đo thời gian sau khi khởi động. CPU ONNX là ONNX Runtime fp32 trên CPU Intel Xeon 32 nhân (Skylake); T4 TensorRT10 là TensorRT fp16 trên GPU Tesla T4.
• params và FLOPs được đo ở độ phân giải 768×768, độ phân giải huấn luyện của các trọng số đã phát hành.

Tốc độ so với Depth Anything V2#

Depth Anything V2 là một baseline mở được sử dụng rộng rãi cho độ sâu đơn mắt. Phần thân vision transformer DINOv2 và bộ giải mã DPT của nó đòi hỏi lượng tính toán lớn, do đó trên cùng một Tesla T4 chạy TensorRT fp16, model Depth Anything V2 nhỏ nhất được phát hành lại chậm hơn mọi model độ sâu YOLO26 — bao gồm cả YOLO26x-depth vốn có số lượng tham số lớn gấp đôi.

Ở độ phân giải ~768 px — imgsz=768 đối với YOLO26, độ phân giải mà trọng số phát hành của nó được huấn luyện, và 770 px đối với Depth Anything V2 (với phần thân DINOv2 yêu cầu bội số của kích thước patch là 14):

Ở độ phân giải ~640 px — lần lượt là imgsz=640 và 644 px — thứ tự không thay đổi và YOLO26n-depth nhanh hơn 5.9 lần so với Depth Anything V2 Small:

• Độ trễ chỉ tính riêng suy luận, batch=1, TensorRT fp16 trên Tesla T4 — cùng một môi trường thử nghiệm như bảng model ở trên, hiển thị ở đây với hai chữ số thập phân; FPS là nghịch đảo của độ trễ chưa làm tròn. Các cột Speedup chia độ trễ của Depth Anything V2 Small (20.99 ms) và Base (55.40 ms) cho độ trễ của YOLO26.
• Depth Anything V2 Small và Base là các checkpoint ViT-S và ViT-B đã được phát hành.
• Phép so sánh này chỉ bao gồm độ trễ — hai họ mô hình không được đánh giá ở đây theo một giao thức độ chính xác chung.

Phạm vi độ sâu và phần đầu log-depth#

Phần đầu (head) ước tính độ sâu dự đoán exp(logit) — không giới hạn (~0.02–150 m) — và tách biệt hình dạng cảnh khỏi tỷ lệ tuyệt đối: mạng dự đoán một trường log-depth tương đối, và các mét tuyệt đối được thiết lập bằng một phép biến đổi hai tham số riêng biệt (exp(a·log d + b)) được khôi phục khi đánh giá, bằng cách hiệu chuẩn nhẹ, hoặc bằng tinh chỉnh (fine-tuning). Giải pháp thay thế phổ biến, một đầu sigmoid × max_depth bị giới hạn, thay vào đó sẽ ấn định một mức trần cố định vào kiến trúc, do đó bất kỳ độ sâu nào vượt quá max_depth đều bị cắt bớt — điều này cản trở việc huấn luyện và dự đoán các cảnh ở cự ly xa hơn.

Tại sao phần đầu lại không bị giới hạn: bằng chứng qua các phạm vi độ sâu#

A/B có kiểm soát — cùng dữ liệu, cùng lịch trình, chỉ khác phần đầu. Huấn luyện cả hai phần đầu từ đầu trên cùng một hỗn hợp dữ liệu trong nhà (≤10 m) và ngoài trời (≤80 m):

Phần đầu bị giới hạn không thể biểu diễn phần lớn các pixel ngoài trời >10 m, do đó nó ngừng cải thiện gần như ngay lập tức; phần đầu log học hỏi từ toàn bộ phạm vi.

Chế độ lỗi mà nó khắc phục — tinh chỉnh trên một tập dữ liệu, phân tầng theo phạm vi. Tinh chỉnh một phần đầu bị giới hạn (10 m) trên các tập dữ liệu riêng lẻ hoạt động khi dữ liệu phù hợp với giới hạn và bị sụp đổ khi vượt quá nó:

Sự sụt giảm nằm chính xác tại ranh giới mức trần. Phần đầu log không có ranh giới như vậy.

Các model đã phát hành — hiệu suất trên nhiều dải khoảng cách. Nhóm model sử dụng đầu log được xuất xưởng, được đánh giá trên các benchmark trải dài từ 10 m (NYU, iBims-1) đến 80 m (KITTI), với δ1 được căn chỉnh theo tỷ lệ:

Cả hai cột đều được giữ nguyên như công bố. Các hàng còn lại được chấm điểm theo giao thức TTA và log-least-squares được mô tả trên các trang tập dữ liệu của chúng, điều mà trình xác thực trong repo này không thực hiện, vì vậy hàng KITTI không thể được đo lường lại trên cùng một cơ sở; trang KITTI chứa các con số được đo lường trên phần chia Eigen 652 khung hình chuẩn.

Những cải thiện lớn nhất nằm ở các tiêu chuẩn ngoài trời phạm vi dài (KITTI, ETH3D) — chính xác nơi giới hạn 10 m cố định gây hại nhiều nhất — trong khi hiệu suất trong nhà vẫn được duy trì.

Huấn luyện (Train)#

Huấn luyện YOLO26n-depth trên tập dữ liệu Depth8 trong 100 epochs với kích thước ảnh 640. Để có danh sách đầy đủ các đối số khả dụng, hãy xem trang Configuration.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.yaml")  # build a new model from YAML
model = YOLO("yolo26n-depth.pt")  # load a pretrained model (recommended for training)
model = YOLO("yolo26n-depth.yaml").load("yolo26n-depth.pt")  # build from YAML and transfer weights

# Train the model
results = model.train(data="depth8.yaml", epochs=100, imgsz=640)

Xem chi tiết đầy đủ về chế độ train tại trang Train.

Tinh chỉnh trên dữ liệu của riêng bạn#

Khi thích ứng một model độ sâu đã được huấn luyện trước sang một tập dữ liệu tùy chỉnh, hãy giảm learning rate và sử dụng trình tối ưu hóa AdamW. Các cài đặt mặc định của trình tối ưu hóa được tinh chỉnh để huấn luyện từ đầu (SGD với lr0=0.01); nếu áp dụng cho một model độ sâu đã hội tụ, chúng có thể ghi đè kiến thức đã huấn luyện trước và làm giảm kết quả — đặc biệt là khi fine-tuning trên một miền đơn lẻ.

from ultralytics import YOLO

model = YOLO("yolo26s-depth.pt")  # start from pretrained weights

model.train(
    data="path/to/your_dataset.yaml",
    epochs=20,
    imgsz=640,
    optimizer="AdamW",
    lr0=1e-4,  # ~100x below the from-scratch default
    warmup_bias_lr=1e-4,  # keep warmup gentle too
)

Mẹo bổ sung:

• Quá trình tăng cường dữ liệu được kiểm soát bởi các tham số tiêu chuẩn (degrees, translate, scale, shear, perspective, flipud, fliplr, hsv_h, hsv_s, hsv_v); các phép biến dạng hình học và lật được áp dụng giống hệt nhau cho bản đồ độ sâu đi kèm. Để xem công thức chính xác được sử dụng cho trọng số YOLO26-Depth đã phát hành, hãy kiểm tra train_args được lưu trong checkpoint — xem Inspecting YOLO26 Checkpoint Training Args.
• mosaic, mixup, cutmix và copy_paste không được hỗ trợ cho tác vụ độ sâu. Trình tải tập dữ liệu độ sâu sẽ tự động đặt các xác suất này thành 0, do đó việc truyền chúng sẽ không có hiệu lực. Các phép tăng cường này không được hỗ trợ vì chúng kết hợp nhiều ảnh với nhau, điều này sẽ tạo ra các bản đồ độ sâu cặp không hợp lệ.
• Mọi dải khoảng cách độ sâu đều hoạt động ngay khi thiết lập. Các model sử dụng đầu log dự đoán độ sâu không giới hạn, do đó chúng thích ứng với dữ liệu khoảng cách ngắn (macro) hoặc khoảng cách dài (ngoài trời/lái xe) mà không cần thay đổi. Việc thiết lập max_depth: trong tệp YAML tập dữ liệu của bạn (tính bằng mét) sẽ giới hạn các pixel GT nào được tính vào các chỉ số đánh giá (validation metrics).
• Duy trì hiệu suất chung. Nếu bạn cần model giữ độ chính xác trên các cảnh ngoài tập huấn luyện của bạn, hãy trộn một phần nhỏ (~5–10%) ảnh đa mục đích vào dữ liệu huấn luyện của bạn; điều này làm giảm đáng kể sự quên lãng trong quá trình tinh chỉnh.
• Huấn luyện từ đầu (model=yolo26s-depth.yaml) chỉ khi miền dữ liệu của bạn rất khác biệt và bạn có một tập dữ liệu lớn — khi đó SGD mặc định lr0=0.01 là phù hợp, vì không có trọng số huấn luyện trước nào cần được giữ lại.

Hiệu chuẩn thang đo độ sâu#

Phần đầu độ sâu tách biệt hình dạng (cấu trúc cảnh tương đối) khỏi tỷ lệ (mét tuyệt đối). Nếu một model đã tạo ra độ sâu tương đối tốt trên các cảnh của bạn nhưng các giá trị tuyệt đối bị lệch đối với camera của bạn, bạn có thể hiệu chỉnh tỷ lệ trong vài giây với model.calibrate() — một phép khớp dạng đóng của hàm log-affine hai tham số dựa trên một tập nhãn nhỏ, không cần huấn luyện gradient và không thay đổi trọng số mạng, do đó nó không thể làm giảm cấu trúc tương đối.

from ultralytics import YOLO

model = YOLO("yolo26s-depth.pt")

# Fit scale on a labeled split (~100+ images is enough), then persist it
model.calibrate(data="path/to/your_dataset.yaml")
model.save("yolo26s-depth-calibrated.pt")

Hiệu chuẩn cần độ sâu ground-truth để khớp, vì vậy nó chạy trên một tập dữ liệu có nhãn — đây không phải là việc có thể diễn ra ở bước suy luận mù. Nó khớp và chấm điểm trên chính các pixel mà các chỉ số val đánh giá: GT nằm tại hoặc vượt quá max_depth của tệp YAML tập dữ liệu (mặc định 100 m) sẽ bị loại trừ. Hãy sử dụng nó khi độ sâu tương đối đã tốt và chỉ có tỷ lệ/khoảng cách bị sai; nếu bản thân cấu trúc tương đối cần thay đổi cho miền dữ liệu của bạn, hãy thay thế bằng fine-tune.

Quá trình huấn luyện thực hiện việc này tự động cho bạn: sau khi model.train(...) hoàn tất, các checkpoint tốt nhất và gần nhất sẽ được hiệu chuẩn trên tập validation để chúng xuất ra độ sâu theo tỷ lệ mét ngay lập tức.

Các checkpoint yolo26*-depth.pt được phát hành đi kèm với quá trình hiệu chuẩn này đã được tích hợp sẵn, được khớp trên tập dữ liệu hỗn hợp validation tiền huấn luyện. Đây là một tỷ lệ toàn cục duy nhất trên tất cả các miền, do đó để có độ sâu tuyệt đối chính xác nhất trên một camera hoặc loại cảnh cụ thể, hãy chạy model.calibrate() trên một tập có nhãn nhỏ từ dữ liệu của chính bạn — nó sẽ thay thế cho phần khớp được tích hợp sẵn.

Định dạng tập dữ liệu#

Các tập dữ liệu ước tính độ sâu ghép nối từng ảnh RGB với một tệp độ sâu tương ứng. Các mục tiêu độ sâu được lưu trữ dưới dạng các mảng .npy chứa các giá trị float32 tính bằng mét. Tệp YAML tập dữ liệu trỏ đến một thư mục images/; trình tải sẽ suy ra đường dẫn tệp độ sâu bằng cách thay thế thành phần images bằng depth và thay phần mở rộng của ảnh bằng .npy.

dataset/
├── images/
│   ├── train/
│   └── val/
└── depth/
    ├── train/
    └── val/

Ví dụ, một ảnh tại images/train/scene_001.jpg được ghép nối với một bản đồ độ sâu tại depth/train/scene_001.npy. Xem Depth Estimation Dataset Guide để biết thông tin đặc tả định dạng đầy đủ.

Val#

Đánh giá độ chính xác của một model YOLO26n-depth đã được huấn luyện trên một tập dữ liệu ước tính độ sâu. Truyền rõ ràng data để quá trình validation sử dụng tệp YAML tập dữ liệu dự định. Các trọng số được phát hành được huấn luyện tại imgsz=768, vì vậy hãy validate và predict tại kích thước đó để có độ chính xác tốt nhất.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Validate the model
metrics = model.val(data="nyu-depth.yaml")
metrics.delta1  # percentage of pixels within threshold δ=1.25
metrics.abs_rel  # mean absolute relative error
metrics.rmse  # root mean squared error (meters)
metrics.silog  # scale-invariant logarithmic error

Dự đoán (Predict)#

Sử dụng model YOLO26n-depth đã huấn luyện để chạy dự đoán trên các ảnh.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Predict with the model
results = model("https://ultralytics.com/images/bus.jpg")  # predict on an image

# Access the results
for result in results:
    depth_map = result.depth.data.cpu().numpy()  # torch.Tensor -> NumPy float32, shape (H, W), meters

Xem chi tiết đầy đủ về chế độ predict tại trang Predict.

Đầu ra kết quả#

Tác vụ ước tính độ sâu YOLO trả về một đối tượng Results cho mỗi ảnh. Mỗi kết quả lưu trữ một bản đồ độ sâu float dày đặc cho toàn bộ ảnh.

Đối với các trường Results dành riêng cho từng tác vụ trên mọi tác vụ, hãy xem phần Predict Results by Task.

Tô màu bản đồ chiều sâu#

Bản đồ chiều sâu thô là một mảng float đơn kênh tính bằng mét — hữu ích cho việc tính toán nhưng khó đọc trực tiếp. Để chuyển đổi thành ảnh màu, hãy sử dụng trình trợ giúp colorize_depth trong ultralytics.utils.plotting, hàm này ánh xạ mảng chiều sâu (H, W) sang ảnh BGR uint8 (H, W, 3) (các pixel không hợp lệ <= 0 được hiển thị màu đen).

result.plot() đã pha trộn việc tô màu này lên ảnh đầu vào sử dụng các giá trị mặc định (cmap="jet", mode="disparity"); hãy gọi trực tiếp colorize_depth khi bạn muốn có một ảnh độ sâu có màu độc lập hoặc một bảng màu (colormap) hoặc chuẩn hóa khác.

import cv2

from ultralytics import YOLO
from ultralytics.utils.plotting import colorize_depth

model = YOLO("yolo26n-depth.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

depth = result.depth.data.cpu().numpy()  # (H, W) float32, meters

# Colorize with near = warm and save
cv2.imwrite("depth_colored.png", colorize_depth(depth, cmap="spectral"))  # (H, W, 3) BGR uint8

# Fix the range to 0-20 m so the same color means the same distance across frames
cv2.imwrite("depth_metric.png", colorize_depth(depth, vmin=0.0, vmax=20.0, cmap="inferno", mode="metric"))

# Blended overlay straight from the Results object (uses cmap="jet", mode="disparity")
result.save("depth_overlay.png")

Mọi bảng màu đều chạy theo chiều mát/tối → ấm/sáng. mode quyết định đầu nào là gần, và vmin/vmax khóa khoảng cách qua các khung hình để một màu sắc luôn biểu thị cùng một khoảng cách.

Xuất (Export)#

Xuất model YOLO26n-depth sang một định dạng khác như ONNX, CoreML, v.v.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-depth.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom model

# Export the model
model.export(format="onnx")

Các định dạng xuất ước tính độ sâu YOLO26 khả dụng được trình bày trong bảng dưới đây. Bạn có thể xuất sang bất kỳ định dạng nào bằng cách sử dụng đối số format, tức là format='onnx' hoặc format='engine'. Bạn có thể predict hoặc validate trực tiếp trên các model đã xuất, tức là yolo predict model=yolo26n-depth.onnx. Các ví dụ sử dụng được hiển thị cho model của bạn sau khi quá trình xuất hoàn tất.

Xem chi tiết đầy đủ về export tại trang Export.

Câu hỏi thường gặp#