Đánh giá model với Ultralytics YOLO
Giới thiệu#
Validation là một bước quan trọng trong quy trình machine learning, giúp bạn đánh giá chất lượng của model đã huấn luyện. Chế độ Val trong Ultralytics YOLO26 cung cấp công cụ và metric để đánh giá model phát hiện đối tượng cũng như mọi tác vụ được hỗ trợ khác. Hướng dẫn này giải thích cách sử dụng chế độ Val để xác nhận model của bạn chính xác và đáng tin cậy.
Xem bản xem trước YOLO27 chưa phát hành để tham khảo kết quả đánh giá sơ bộ.
Xem: Hướng dẫn về các chế độ Ultralytics: Xác thực
Tại sao nên xác thực bằng Ultralytics YOLO?#
Lý do nên sử dụng chế độ Val của YOLO26:
- Precision: Nhận các metric chính xác như mAP50, mAP75 và mAP50-95 để đánh giá toàn diện model của bạn.
- Tiện lợi: Sử dụng các tính năng tích hợp có khả năng ghi nhớ thiết lập huấn luyện, giúp đơn giản hóa quá trình validation.
- Linh hoạt: Xác thực model bằng cùng hoặc khác dataset và kích thước ảnh.
- Tinh chỉnh hyperparameter: Sử dụng các metric xác thực để tinh chỉnh model nhằm cải thiện hiệu suất.
Các tính năng chính của chế độ Val#
Các tính năng đáng chú ý của chế độ Val trong YOLO26:
- Cài đặt tự động: Model ghi nhớ cấu hình huấn luyện để việc xác thực diễn ra thuận tiện.
- Hỗ trợ nhiều metric: Đánh giá model bằng nhiều metric độ chính xác khác nhau.
- CLI và Python API: Thực hiện validation từ giao diện dòng lệnh hoặc Python API, tùy theo lựa chọn của bạn.
- Tương thích dữ liệu: Hoạt động với dataset đã dùng khi huấn luyện cũng như dataset tùy chỉnh.
- Các model YOLO26 tự động ghi nhớ cài đặt huấn luyện, vì vậy
yolo val model=path/to/best.pthoặcYOLO("path/to/best.pt").val()sẽ xác thực trên dataset ban đầu với kích thước ảnh dùng khi huấn luyện. Trọng số chính thức sẽ dùng dataset mặc định của tác vụ nếu không tìm thấy dataset ban đầu; truyềndatađể ghi đè.
Ví dụ sử dụng#
Xác thực độ chính xác của model YOLO26n đã huấn luyện. Không cần đối số nào vì model lưu data huấn luyện và các đối số dưới dạng thuộc tính của model: path/to/best.pt sẽ đánh giá trên dataset mà model đã được huấn luyện. Trọng số chính thức ghi lại đường dẫn dataset huấn luyện không tồn tại trên máy của bạn, vì vậy chúng sẽ chuyển sang coco8.yaml mặc định của tác vụ và đưa ra cảnh báo. Truyền data để đánh giá trên dataset khác.
Trên Windows, bạn có thể gặp RuntimeError khi chạy xác thực dưới dạng script. Thêm khối if __name__ == "__main__": trước mã xác thực để khắc phục.
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n.pt") # tải model chính thức
model = YOLO("path/to/best.pt") # tải model tùy chỉnh
# Xác thực model
metrics = model.val() # không cần đối số, dataset và cài đặt đã được ghi nhớ
metrics.box.map # map50-95
metrics.box.map50 # map50
metrics.box.map75 # map75
metrics.box.maps # mAP50-95 theo từng lớp; các lớp không có trong tập val nhận giá trị mAP tổng thể
metrics.box.ap_class_index # chỉ số lớp thực sự được đánh giá
metrics.box.image_metrics # dictionary metric theo từng ảnh, gồm precision, recall, F1, TP, FP và FNĐối số xác thực model YOLO#
Khi validation model YOLO, có thể điều chỉnh một số đối số để tùy biến quy trình đánh giá. Các đối số này kiểm soát những yếu tố như kích thước ảnh đầu vào, xử lý batch và ngưỡng hiệu năng. Mỗi đối số được mô tả bên dưới.
| Đối số | Kiểu | Mặc định | Mô tả |
|---|---|---|---|
data | str | None | Chỉ định đường dẫn đến YAML của dataset (ví dụ: coco8.yaml), trong đó cần có đường dẫn đến dữ liệu validation. Với phân loại, thay vào đó, hãy cung cấp thư mục dataset hoặc tên dataset tích hợp sẵn (ví dụ: imagenet10). |
imgsz | int | 640 | Xác định kích thước ảnh đầu vào. Tất cả ảnh được thay đổi kích thước thành kích thước này trước khi xử lý. Kích thước lớn hơn có thể cải thiện độ chính xác đối với các đối tượng nhỏ nhưng làm tăng thời gian tính toán. |
batch | int | 16 | Đặt số lượng ảnh trong mỗi batch. Giá trị cao hơn tận dụng bộ nhớ GPU hiệu quả hơn nhưng cần nhiều VRAM hơn. Điều chỉnh theo tài nguyên phần cứng hiện có. |
tile | bool hoặc int | False | Chạy suy luận theo các ô cố định và đánh giá kết quả đã hợp nhất với chú thích của ảnh gốc đầy đủ. True sử dụng imgsz; số nguyên dương đặt kích thước ô. Xem Chia ảnh độ phân giải cao theo ô. |
save_json | bool | False | Nếu True, lưu kết quả vào tệp JSON để phân tích thêm, tích hợp với các công cụ khác hoặc gửi lên các máy chủ đánh giá như COCO. Với các bộ dữ liệu phát hiện đối tượng, tùy chọn này cũng đánh giá các dự đoán bằng faster-coco-eval và báo cáo mAP cho đối tượng nhỏ, vừa và lớn; các chỉ số này được ghi lại trong quá trình huấn luyện dưới dạng metrics/mAP_small(B), metrics/mAP_medium(B) và metrics/mAP_large(B) trong results.csv. Với phân đoạn ngữ nghĩa, thay vào đó, tùy chọn này lưu các mask lớp PNG trong results/, đồng thời giữ nguyên các thư mục con chứa ảnh. |
conf | float | 0.001 | Đặt ngưỡng confidence tối thiểu cho detection. Giá trị thấp hơn làm tăng recall nhưng có thể tạo thêm false positive. Đường cong precision-recall, mAP và ma trận nhầm lẫn detection đều dùng giá trị này; conf cao hơn, chẳng hạn 0.25, tạo ma trận gần với đầu ra dự đoán hơn nhưng có thể làm giảm mAP. Precision và recall tóm tắt dùng confidence F1 tối đa, nên có thể khác với các giá trị suy ra từ confusion_matrix.png. Mặc định là 0.01 cho validation OBB để giảm mức sử dụng bộ nhớ. |
iou | float | 0.7 | Đặt ngưỡng Intersection Over Union cho Non-Maximum Suppression. Điều khiển việc loại bỏ detection trùng lặp. |
max_det | int | 300 | Giới hạn số lượng phát hiện tối đa trên mỗi ảnh. Với detect, segment, pose và OBB, nếu giữ giá trị 300, giới hạn sẽ được tăng lên bằng số đối tượng được gán nhãn lớn nhất trong tập đã xác thực khi một ảnh vượt quá giới hạn đó, đồng thời hiển thị cảnh báo; mọi giá trị khác đều được giữ nguyên và sẽ có cảnh báo rằng recall có thể bị giới hạn nếu một ảnh vượt quá giới hạn. |
quantize | int hoặc str | None | Độ chính xác xác thực: 16/"fp16" và 32/"fp32"/unset chọn phép tính FP16 hoặc FP32 cho model PyTorch và TorchScript (FP32 trên CPU); các định dạng khác sử dụng độ chính xác do artifact và runtime của chúng lựa chọn. Tại 16, OpenVINO vẫn làm tròn đầu vào trên client xuống FP16 rồi mở rộng lại thành FP32 mà không thay đổi độ chính xác runtime. Lượng tử hóa INT8/PTQ được cấu hình trong quá trình xuất, sau đó được sử dụng khi xác thực model đã xuất. Thay thế flag half đã lỗi thời. |
device | str | None | Chỉ định thiết bị dùng để validation (cpu, cuda:0, npu, npu:0, v.v.). Khi None, thiết bị khả dụng tốt nhất sẽ được tự động chọn. Có thể chỉ định nhiều thiết bị CUDA bằng cách phân tách bằng dấu phẩy. Model OpenVINO và LiteRT chạy xpu và npu trên GPU và NPU của Intel; xem thiết bị suy luận để biết thông tin về từng định dạng. |
dnn | bool | False | Nếu True, sử dụng module DNN của OpenCV để suy luận model ONNX, cung cấp một phương án thay thế cho các phương thức suy luận PyTorch. |
plots | bool | True | Khi được đặt thành True, tạo và lưu biểu đồ dự đoán so với ground truth, ma trận nhầm lẫn và đường cong PR để đánh giá trực quan hiệu năng model. |
classes | list[int] | None | Chỉ định danh sách ID class cần đánh giá. Hữu ích để lọc và chỉ tập trung vào một số class nhất định trong quá trình đánh giá. |
rect | bool | True | Nếu True, các ảnh có tỷ lệ khung hình tương tự được gom thành các hình chữ nhật. Thêm nửa stride trước khi làm tròn mỗi chiều lên bội số của stride (không thêm nửa stride nếu semantic). Với stride 32, ảnh 640×640 ở imgsz=640 trở thành 672×672 với độ lệch 16 px, trong khi predict sử dụng 640×640, vì vậy các metric có thể khác nhau. rect=False cho kết quả khớp với predict đối với ảnh vuông. Bỏ qua tùy chọn này đối với depth và RT-DETR, vốn kéo giãn ảnh thành hình vuông imgsz. |
split | str | 'val' | Xác định phần chia dataset dùng cho validation (val, test hoặc train). Cho phép linh hoạt chọn phân đoạn dữ liệu để đánh giá hiệu năng. |
fraction | float, int hoặc list | 1.0 | Tập con của phần chia được validation. Với danh sách [train, val, test], áp dụng mục tương ứng với split (1 = toàn bộ phần chia, số nguyên lớn hơn 1 = số lượng ảnh; mục bị bỏ qua sẽ dùng toàn bộ). Giá trị đơn chỉ áp dụng cho split=train; khi đó val và test dùng toàn bộ phần chia. |
project | str | None | Tên thư mục dự án nơi lưu đầu ra xác thực. Đường dẫn tương đối sẽ được đặt bên dưới runs_dir/<task>, còn đường dẫn tuyệt đối được sử dụng nguyên trạng. |
name | str | None | Tên lượt chạy validation. Dùng để tạo thư mục con trong thư mục dự án, nơi lưu nhật ký và đầu ra validation. |
verbose | bool | True | Nếu True, hiển thị thông tin chi tiết trong quá trình validation, bao gồm metric theo từng class, tiến độ batch và thông tin gỡ lỗi bổ sung. |
save_txt | bool | False | Nếu True, lưu kết quả detection vào các tệp văn bản, mỗi ảnh một tệp; hữu ích cho phân tích thêm, hậu xử lý tùy chỉnh hoặc tích hợp với hệ thống khác. |
save_conf | bool | False | Nếu True, đưa giá trị confidence vào các tệp văn bản đã lưu khi bật save_txt, cung cấp đầu ra chi tiết hơn để phân tích và lọc. |
workers | int | 8 | Số lượng luồng worker dùng để tải dữ liệu. Giá trị cao hơn có thể tăng tốc tiền xử lý dữ liệu nhưng cũng có thể làm tăng mức sử dụng CPU. Đặt thành 0 sẽ dùng luồng chính, có thể ổn định hơn trong một số môi trường. |
augment | bool | False | Bật tăng cường lúc kiểm thử (TTA) trong quá trình validation, có thể cải thiện độ chính xác của detection nhưng làm giảm tốc độ suy luận do chạy suy luận trên các phiên bản đã biến đổi của đầu vào. Chỉ khả dụng với model PyTorch của Ultralytics. |
agnostic_nms | bool | False | Bật Non-Maximum Suppression không phụ thuộc class, loại bỏ các hộp chồng lấp có điểm thấp hơn bất kể class dự đoán. Hữu ích cho các ứng dụng tập trung vào instance. Với suy luận không cần NMS (nms=False trên YOLO26 hoặc YOLOv10), tùy chọn này chỉ ngăn cùng một đối tượng được phát hiện xuất hiện với nhiều nhãn class (các bản trùng IoU=1.0), không thực hiện loại bỏ các hộp khác nhau dựa trên ngưỡng IoU. |
single_cls | bool | False | Coi tất cả class là một class duy nhất trong quá trình validation. Hữu ích để đánh giá hiệu năng model trên các tác vụ detection nhị phân hoặc khi không cần phân biệt class. |
visualize | bool | False | Trực quan hóa ground truth, true positive, false positive và false negative cho mỗi ảnh. Hữu ích cho việc gỡ lỗi và diễn giải model. |
show_labels | bool | True | Hiển thị nhãn class trong hình ảnh trực quan hóa validation khi visualize=True. Đặt thành False để dễ quan sát các trường hợp khớp và lỗi hơn. |
show_conf | bool | True | Hiển thị điểm confidence trong hình ảnh trực quan hóa validation khi visualize=True. Đặt thành False để dễ quan sát các trường hợp khớp và lỗi hơn. |
compile | bool hoặc str | False | Bật biên dịch đồ thị torch.compile của PyTorch 2.x bằng backend='inductor'. Chấp nhận True → "default", False → tắt, hoặc chế độ dạng chuỗi như "default", "reduce-overhead", "max-autotune-no-cudagraphs". Nếu không được hỗ trợ, sẽ chuyển về chế độ eager kèm cảnh báo. |
channels_last | bool | None | Sử dụng định dạng bộ nhớ channels_last (NHWC) cho validation PyTorch gốc. None tự động bật định dạng này trên CPU x86 chạy Linux và Windows có oneDNN, với PyTorch 1.13 trở lên; False tắt định dạng này; còn True yêu cầu sử dụng định dạng này trên CPU x86 hoặc thiết bị CUDA được hỗ trợ. ARM64, MPS, các phiên bản PyTorch cũ hơn, CPU không có oneDNN và các định dạng đã export không thay đổi; quá trình validation trong khi huấn luyện giữ nguyên bố cục model huấn luyện. |
nms | bool, không bắt buộc | None | Mặc định chạy suy luận một-nhiều với NMS (None hoặc True). Đặt False để dùng head một-một không có NMS khi khả dụng. Xem hướng dẫn Detection đầu-cuối để biết thêm chi tiết. |
Điều chỉnh các thiết lập này theo nhu cầu và tài nguyên cụ thể giúp bạn cân bằng hợp lý giữa độ chính xác và tốc độ đánh giá.
Hình học validation hình chữ nhật (rect)#
Các bản export tĩnh sử dụng kích thước đầu vào (height, width) đã được ghi nhận, bao gồm cả các bản export không vuông, để xác thực. Ví dụ, YOLO("yolo26n.onnx").val(data="coco8.yaml") sử dụng đầu vào 384×640 nếu model được export với imgsz=(384, 640).
Đối với detection, phân đoạn instance, pose và OBB, validation hình chữ nhật (rect=True) làm tròn lên từng chiều của batch bằng ceil(shape * imgsz / stride + 0.5) * stride, trong đó shape là chiều cao hoặc chiều rộng đã chuẩn hóa của batch. Phần padding tạo ra được chia đều cho hai cạnh đối diện. Ví dụ: ảnh vuông 640×640 được validation ở imgsz=640 với stride 32 sẽ dùng đầu vào 672×672 và padding 16 px ở mỗi cạnh, trong khi predict() dùng kích thước 640×640 mà không cần padding.
Sự khác biệt này có thể ảnh hưởng đến các metric validation. Với đầu vào vuông, có kích thước chia hết cho stride, model.val(rect=False) có hình học giống predict() và các bản export có shape cố định hình vuông. Trong quá trình training, các tác vụ YOLO này sử dụng batch validation hình chữ nhật bất kể thiết lập rect khi training, vì vậy model.train(rect=False) vẫn chọn best.pt bằng validation hình chữ nhật. Các tác vụ khác có cách xử lý khác: phân đoạn ngữ nghĩa không thêm padding validation, tác vụ depth tắt validation hình chữ nhật, classification bỏ qua rect, còn RT-DETR sử dụng trình tạo dataset riêng với rect=False.
Ví dụ xác thực với các đối số#
Xem: Cách xuất kết quả xác thực model sang CSV, JSON, SQL, Polars DataFrame và nhiều định dạng khác
Các ví dụ bên dưới thực hiện validation model YOLO với đối số tùy chỉnh bằng Python và CLI.
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n.pt")
# Tùy chỉnh cài đặt xác thực
metrics = model.val(data="coco8.yaml", imgsz=640, batch=16, conf=0.25, iou=0.7, device="0")Bạn cũng có thể export kết quả ma trận nhầm lẫn sang các định dạng khác nhau, chẳng hạn như DataFrame:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.val(data="coco8.yaml", plots=True)
print(results.confusion_matrix.to_df())Quá trình validation lưu các chỉ số độ chính xác, độ bao phủ, F1, TP, FP và FN cho từng ảnh (tại ngưỡng IoU 0.5). Truy cập các chỉ số này thông qua results.box.image_metrics cho detection và OBB, results.seg.image_metrics cho segmentation và results.pose.image_metrics cho pose sau khi quá trình validation hoàn tất.
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n.pt")
# Xác thực và truy cập metric theo từng ảnh
results = model.val(data="coco8.yaml")
# Các key là đường dẫn tương đối so với thư mục ảnh chung, ví dụ: 'image1.jpg' hoặc 'a/image1.jpg'
print(results.box.image_metrics)
# Đầu ra: {'image1.jpg': {'precision': 0.85, 'recall': 0.92, 'f1': 0.88, 'tp': 17, 'fp': 3, 'fn': 1}, ...}
# Truy cập metric của một ảnh cụ thể
results.box.image_metrics["image1.jpg"] # {'precision': 0.85, 'recall': 0.92, 'f1': 0.88, 'tp': 17, 'fp': 3, 'fn': 1}Mỗi mục trong image_metrics chứa các khóa sau:
| Khóa | Mô tả |
|---|---|
precision | Điểm precision của ảnh (tp / (tp + fp)). |
recall | Điểm recall của ảnh (tp / (tp + fn)). |
f1 | Trung bình điều hòa của precision và recall. |
tp | Số lượng true positive của ảnh. |
fp | Số lượng false positive của ảnh. |
fn | Số lượng false negative của ảnh. |
Tính năng này khả dụng cho các tác vụ detection, segmentation, pose và OBB.
Đối tượng metric được trả về cũng cung cấp các hàm export từ DataExportMixin để phân tích tiếp:
| Phương thức | Kiểu trả về | Mô tả |
|---|---|---|
summary() | List[Dict[str, Any]] | Trả về kết quả validation dưới dạng danh sách các dictionary, mỗi dictionary tương ứng một hàng. |
to_df() | DataFrame | Trả về kết quả xác thực dưới dạng Polars DataFrame có cấu trúc. |
to_csv() | str | Xuất kết quả xác thực ở định dạng CSV và trả về chuỗi CSV. |
to_json() | str | Xuất kết quả xác thực ở định dạng JSON và trả về chuỗi JSON. |
Kết quả detection, segmentation, semantic segmentation, pose và OBB có một hàng cho mỗi class trong nhãn validation, vì vậy to_csv() và to_json() xuất các metric theo từng class:
| Tác vụ | Các cột theo từng class |
|---|---|
| detect | Class, Images, Instances, Box-P, Box-R, Box-F1, mAP50, mAP75, mAP50-95 |
| segment | Các cột detect, tiếp theo là Mask-P, Mask-R, Mask-F1, Mask-mAP50, Mask-mAP75, Mask-mAP50-95 |
| semantic | Class, Images, Pixels, IoU, mIoU và pixel_acc (đều là metric toàn cục), class_pixel_acc |
| pose | Các cột detect, tiếp theo là Pose-P, Pose-R, Pose-F1, Pose-mAP50, Pose-mAP75, Pose-mAP50-95 |
| obb | Các cột detect |
Ước tính độ sâu trả về một hàng với delta1, delta2, delta3, abs_rel, rmse và silog, còn classification trả về một hàng với top1_acc và top5_acc.
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
metrics = model.val(data="coco8-seg.yaml")
metrics.to_csv() # một hàng cho mỗi class, gồm metric box và maskTiếp theo là gì#
Hài lòng với các metric? Xuất model sang định dạng triển khai. Nếu độ chính xác chưa đạt yêu cầu, quay lại huấn luyện với hyperparameter khác hoặc thêm dữ liệu huấn luyện.
Câu hỏi thường gặp#
Để xác thực model YOLO26, bạn có thể sử dụng chế độ Val do Ultralytics cung cấp. Ví dụ, dùng Python API để tải model và chạy xác thực như sau:
from ultralytics import YOLO # Tải model model = YOLO("yolo26n.pt") # Xác thực model metrics = model.val() print(metrics.box.map) # map50-95Ngoài ra, bạn có thể sử dụng giao diện dòng lệnh (CLI):
yolo detect val model=yolo26n.pt data=coco8.yamlĐể tùy chỉnh thêm, bạn có thể điều chỉnh nhiều đối số như
imgsz,batchvàconftrong cả Python lẫn CLI. Xem phần Đối số xác thực model YOLO để biết danh sách đầy đủ các tham số.Quá trình xác thực model YOLO26 cung cấp một số metric chính để đánh giá hiệu suất model, bao gồm:
- mAP50 (độ chính xác trung bình trung bình tại ngưỡng IoU 0.5)
- mAP75 (độ chính xác trung bình trung bình tại ngưỡng IoU 0.75)
- mAP50-95 (độ chính xác trung bình trung bình trên nhiều ngưỡng IoU từ 0.5 đến 0.95)
Bạn có thể truy cập các metric này bằng Python API như sau:
metrics = model.val() # giả sử `model` đã được tải print(metrics.box.map) # mAP50-95 print(metrics.box.map50) # mAP50 print(metrics.box.map75) # mAP75 print(metrics.box.maps) # mAP50-95 theo từng lớp; các lớp không có trong tập val nhận giá trị mAP tổng thể print(metrics.box.ap_class_index) # chỉ số lớp thực sự được đánh giá print(metrics.box.image_metrics) # dictionary metric theo từng ảnh, gồm precision, recall, F1, TP, FP và FNHãy xem xét tất cả các metric này để đánh giá hiệu năng một cách đầy đủ.
Sử dụng Ultralytics YOLO để xác thực mang lại một số ưu điểm:
- Precision: YOLO26 cung cấp các metric hiệu năng chính xác, bao gồm mAP50, mAP75 và mAP50-95.
- Tiện lợi: Model ghi nhớ cài đặt huấn luyện, giúp việc xác thực trở nên đơn giản.
- Linh hoạt: Bạn có thể xác thực bằng cùng hoặc khác dataset và kích thước ảnh.
- Tinh chỉnh hyperparameter: Metric xác thực hỗ trợ tinh chỉnh model để cải thiện hiệu suất.
Những lợi ích này giúp bạn đánh giá model kỹ lưỡng và tối ưu hóa chúng.
Có, bạn có thể xác thực model YOLO26 bằng dataset tùy chỉnh. Chỉ định đối số
databằng đường dẫn đến YAML của dataset; tệp này cần bao gồm đường dẫn đến dữ liệu xác thực. Với tác vụ phân loại, thay vào đó hãy cung cấp thư mục dataset hoặc tên dataset tích hợp sẵn (ví dụ:imagenet10).Lưu ýValidation sử dụng tên lớp của chính model, có thể xem bằng
model.names; các tên này có thể khác với tên lớp do dataset xác định.Ví dụ bằng Python:
from ultralytics import YOLO # Tải model model = YOLO("yolo26n.pt") # Xác thực bằng dataset tùy chỉnh metrics = model.val(data="path/to/your/custom_dataset.yaml") print(metrics.box.map) # map50-95Ví dụ sử dụng CLI:
yolo val model=yolo26n.pt data=path/to/your/custom_dataset.yamlĐể biết thêm các tùy chọn có thể tùy chỉnh trong quá trình xác thực, xem phần Ví dụ xác thực với các đối số.
Để lưu kết quả xác thực vào tệp JSON, hãy đặt đối số
save_jsonthànhTruekhi chạy xác thực. Bạn có thể thực hiện việc này bằng cả Python API lẫn CLI.Ví dụ bằng Python:
from ultralytics import YOLO # Tải model model = YOLO("yolo26n.pt") # Lưu kết quả xác thực vào JSON metrics = model.val(save_json=True)Ví dụ sử dụng CLI:
yolo val model=yolo26n.pt save_json=TrueTrên dataset detection,
save_json=Truecũng báo cáo mAP cho đối tượng nhỏ, vừa và lớn thông quafaster-coco-eval. Xem Đối số xác thực model YOLO để biết thêm chi tiết.
Bình luận279
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.
BedoHatem
I have a couple of models (a mix of object detection and segmentation), so I want to run them on the same validation dataset to compare them properly. The exact tasks for the seg and obj-det models are the same at a certain level, so I'm aware that seg models give a B-Box and Mask, while obj-det gives just a B-Box.
With that said, will a segmentation dataset work on both seg and obj-det models ? Or should i make a seg and a obj-det version of the same dataset, so i can use it to equally validate the models ?
Thanks in Advance
1BedoHatem
I tested it. It seems you can use a segmentation dataset to validate an obj-det model, as the seg datasets include B-Boxes and Masks of the classes.
1
Glenn JocherUltralytics(đã chỉnh sửa)@BedoHatem yes, you're correct! Segmentation datasets can be used to validate object detection models because they contain the bounding box annotations needed for detection evaluation. The segmentation masks are simply ignored when the dataset is used with a detection model.
This flexibility is an advantage of the YOLO annotation format - the additional segmentation data doesn't interfere with detection evaluation. For the most accurate comparison between models, using the same validation dataset ensures you're evaluating performance on exactly the same ground truth data.
@417dq the recall reported by
val()is taken at the confidence value that maximizes F1, while the confusion matrix is built at the validationconf(0.001 by default) with an IoU matching threshold of 0.45, so the two can differ. The metrics output fromval()is the reference for your model's performance.
Cyeden
请问如果验针集是已经被多尺度分割了,那么再进行验证的时候imgsz应该设置为不同尺度验证的逻辑吗?例如: if name == 'main': model = YOLO(r'C:\Users\Lazy\Desktop\yolo_detect\weights\best.pt')
multi_scale_sizes = [640, 800, 1024, 1280] for size in multi_scale_sizes: model.val( data='ultralytics/cfg/datasets/DOTAv1.yaml', split='val', imgsz=size, batch=16, project='runs/val', name=f'v8n-obb-LSKNet_prev8x-obbpt_{size}', )1
Glenn JocherUltralytics@Cyeden for multi-scale validation, you can indeed set
imgszto different scales within a loop. This approach allows you to evaluate the model's performance across various image sizes. Your implementation looks correct. Ensure you are using the latest version of the Ultralytics package to avoid any potential issues. For more details, you can refer to the validation documentation.
YunYeTang
hi, when I use yolov8-obb to validate DOTAv1, I found that confusion matrix is empty. Does it mean that confusion matrix is not supported in OBB validation?
1
Glenn JocherUltralytics(đã chỉnh sửa)Hi there! 👋
The confusion matrix is supported for OBB validation in current Ultralytics versions. If yours is empty, update with
pip install -U ultralyticsand re-run validation withplots=True. If it is still empty, please share youryolo checksoutput and the validation command so we can look into it.In the meantime, you can still rely on the other validation metrics such as mAP, precision, and recall.
YunYeTang
thank u very much
Glenn JocherUltralytics(đã chỉnh sửa)Hey there! 🚀
Thank you for reaching out! The confusion matrix is supported for OBB validation in current Ultralytics versions. If yours is empty, update with
pip install -U ultralyticsand re-run validation withplots=True; if it is still empty, share youryolo checksoutput and validation command so we can look into it.For a comprehensive evaluation you can also rely on the other metrics provided during validation, such as mAP, precision, and recall. Cheers! 🌟
xyzxyzxyzxyzxz
I want to read this page in English. Why it automatically become Chinese even though I click "GB English".
Glenn JocherUltralyticsIt looks like you’re on the Chinese locale (the URL contains
"/zh/"). Remove"/zh/"to view the English version, or use the top‑right language selector (GB English) and hard‑refresh; also ensure your browser’s auto‑translate is disabled.xyzxyzxyzxyzxz
Whether I remove "/zh/" in the URL or click "GB English", it will automatically turn to the Chinese page that is "https://docs.ultralytics.com/zh/modes/val/#how-do-i-save-validation-results-to-a-json-file-in-yolo11". But if I click other language such as Japanese, it will show Japanese correctly. Not only this page, other pages have the same problem. And turning on incognito mode don't work either.
Glenn JocherUltralyticsThanks for the detailed description—that behavior sounds like a docs locale‑routing bug on our side rather than anything you can fix locally; we’ll get it forwarded to the web/docs team, and in the meantime could you confirm whether going directly to the English URL Model Validation with Ultralytics YOLO (English) still forces you back to Chinese and share your OS + browser version so we can reproduce it?
xyzxyzxyzxyzxz
Yes. It will go to Chinese page "https://docs.ultralytics.com/zh/modes/val/" when I click the link you give. My OS is Windows 11 Professional Edition, 25H2, 26200.7171. And my browser is Chrome 142.0.7444.176. My system language is Chinese.
Glenn JocherUltralyticsThanks for the extra details—that confirms this is an issue on the docs side, likely tied to your system/browser language being Chinese and our locale detection forcing
/zh/even when you pick English. I’ve passed this to the web/docs team to investigate; as a temporary workaround you can try using a browser whose interface language is set to English (or move English to the top of Chrome’s language preferences) so the site stops auto‑redirecting to the Chinese locale.
AA278-HUB
I have a model trained on a dataset containing four classes (car, bus, motorbike, and trunk). Now, I have a new dataset with only one class (vehicle). How can I validate this model using the new dataset, given that I only care about whether the model can identify the vehicle and its position, without concern for the specific type of vehicle?
AA278-HUB
f I want to change the validation rules in this specific situation, which .py files need to be modified
Glenn JocherUltralytics@liujixingit
save_txtwrites normalized YOLOxywh(center x/y, width, height) relative to the original image size; recover pixelxyxyvia the originalW,Hthen center→corner conversion, e.g.:# line format: class x y w h [conf] cls, x, y, w, h, *rest = map(float, line.split()) x1 = (x - w/2) * W; y1 = (y - h/2) * H x2 = (x + w/2) * W; y2 = (y + h/2) * HFunction details are in the save_one_txt reference and the
save_txtformat is noted under Validation settings.@carlos-cell To get APs/APm/APl, run COCO-style evaluation with JSON saving and check the printed COCO summary:
yolo detect val model=yolo11n.pt data=coco.yaml save_json=TrueThis triggers COCO eval inside validation; see COCO evaluation in val and the size-specific metrics overview in the Performance metrics deep dive.
@AA278-HUB For “any vehicle” validation, use single-class evaluation so all types collapse to one:
metrics = model.val(data='vehicle.yaml', single_cls=True, agnostic_nms=True)Argument behavior is documented in the Val mode arguments.
@AA278-HUB You don’t need code changes for the above, but if you must customize matching/metrics, start from
DetectionValidatorand theval()entry point: see the DetectionValidator reference and theval()method in engine/model.py; if proposing a PR, please keep scope minimal and include tests.AA278-HUB
thank you,bro
carlos-cell
请问,如何输出不同尺度的mAP值呢,即APs、APm、APl
liujixingit
YOLOv8 调用验证功能开启save_txt后保存的坐标如何还原到原图,我尝试了直接×原图宽高,还原的坐标是错误的。save_txt保存的结果是相对什么计算得出的归一化坐标?
Cherishzyh
hello, I read some dialog about the IOU threshold and confidence threshold and have some questions.
Cherishzyh
- the document shows that 'iou' is the threshold for NMS.Is it also a threshold for calculate the confusion matrix? eg. I hope that if the IoU between the prediction and the ground truth is greater than 0.2, it will be considered a true positive (TP). At the same time, does the NMS threshold also have to be 0.2?
Cherishzyh
- For confidence threshold, if I set it to 0.1, that mean all bboxes with a score lower than 0.1 will be removed when calculate the PR-curve?. If so, does it will also be remove in result json or txt ?
Glenn JocherUltralytics@Cherishzyh great questions:
-
The
iouargument inval()controls NMS overlap removal only; it does not change the IoU used to determine TP/FP or mAP. Metrics are computed over fixed IoU thresholds 0.50–0.95. If you need evaluation at IoU=0.2, export predictions and compute custom metrics offline. See the Performance Metrics deep dive. -
The
confargument is a minimum score filter. Settingconf=0.1removes all predictions with score < 0.1 prior to evaluation and from saved outputs (save_json/save_txt). You can still access PR data from the results object:
from ultralytics import YOLO model = YOLO("yolo11n.pt") res = model.val(conf=0.1, iou=0.7, save_json=True, save_txt=True, plots=True) print(res.box.p_curve) # precision curve vs score thresholds print(res.box.r_curve) # recall curve vs score thresholdsArgument details are in the Val mode arguments.
-
lauravchrobak
When I run validate without setting plots=True I still get the f1, PR curve plots in the val folder. Potentially the default for this flag is actually true despite it being false in the table above?
sea190
The question about val of yoloworld, and I used my custom dataset, and I make sure the format of ma dataset is corret. While when I run the val.py the code still validate the categories of COCO Dataset instead of my dataset? How can I solve this problem?
ihciab
You can try specifying the path of the validation set. When calling the val function, specify model.val(data=‘your_data’)
Glenn JocherUltralytics@sea190 for YOLO-World validation with custom datasets, ensure your dataset YAML file correctly defines the class names and paths. YOLO-World may default to COCO categories if the dataset configuration isn't properly specified. Try:
model.val(data='path/to/your/custom_dataset.yaml')Make sure your YAML file includes the correct
namesfield with your custom class names and verify thevalpath points to your validation images and labels. If issues persist, check that your dataset follows the expected format for YOLO-World validation.


