Phân loại Ảnh với Ultralytics YOLO
Phân loại ảnh là tác vụ đơn giản nhất trong số các tác vụ được hỗ trợ, bao gồm việc phân loại toàn bộ ảnh vào một trong các lớp đã được xác định trước.
Đầu ra của model phân loại ảnh là một nhãn lớp duy nhất cùng điểm confidence. Phân loại ảnh hữu ích khi bạn chỉ cần biết ảnh thuộc lớp nào và không cần biết vị trí hoặc hình dạng chính xác của các đối tượng thuộc lớp đó.
Xem: Khám phá các tác vụ Ultralytics YOLO: Phân loại ảnh bằng Ultralytics Platform
Model YOLO26 Classify sử dụng hậu tố -cls, ví dụ yolo26n-cls.pt, và được pretrained trên ImageNet.
Models#
Các model YOLO26 Classify pretrained trên dataset ImageNet được trình bày bên dưới.
Model sẽ tự động tải xuống từ bản phát hành Ultralytics mới nhất trong lần sử dụng đầu tiên.
| Model | kích thước (pixel) | acc top1 | acc top5 | Tốc độ CPU ONNX (ms) | Tốc độ T4 TensorRT10 (ms) | params (M) | FLOPs (B) ở 224 |
|---|---|---|---|---|---|---|---|
| YOLO26n-cls | 224 | 71.4 | 90.1 | 5.0 ± 0.3 | 1.1 ± 0.0 | 2.8 | 0.4 |
| YOLO26s-cls | 224 | 76.0 | 92.9 | 7.9 ± 0.2 | 1.3 ± 0.0 | 6.7 | 1.5 |
| YOLO26m-cls | 224 | 78.1 | 94.2 | 17.2 ± 0.4 | 2.0 ± 0.0 | 11.6 | 4.8 |
| YOLO26l-cls | 224 | 79.0 | 94.6 | 23.2 ± 0.3 | 2.8 ± 0.0 | 14.1 | 6.0 |
| YOLO26x-cls | 224 | 79.9 | 95.0 | 41.4 ± 0.9 | 3.8 ± 0.0 | 29.6 | 13.5 |
- Giá trị acc là độ chính xác của model trên tập validation của dataset ImageNet.
Tái tạo bằngyolo classify val data=path/to/ImageNet device=0 - Tốc độ được tính trung bình trên các ảnh val của ImageNet, dùng ONNX trên CPU và TensorRT10 trên GPU NVIDIA T4.
Tái tạo bằngyolo classify val data=path/to/ImageNet batch=1 device=0|cpu - Giá trị Params và FLOPs áp dụng cho model đã hợp nhất sau
model.fuse(), thao tác gộp các lớp Conv và BatchNorm. Các checkpoint pretrained giữ nguyên kiến trúc huấn luyện đầy đủ và có thể hiển thị số liệu cao hơn.
Xem bản xem trước YOLO27 chưa phát hành để biết tốc độ phân loại và kích thước model sơ bộ.
Huấn luyện#
Huấn luyện model YOLO26n-cls trên dataset MNIST160 trong 100 epoch với kích thước ảnh 64.
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n-cls.yaml") # tạo model mới từ YAML
model = YOLO("yolo26n-cls.pt") # tải model đã huấn luyện trước (được khuyến nghị khi huấn luyện)
model = YOLO("yolo26n-cls.yaml").load("yolo26n-cls.pt") # tạo từ YAML và chuyển trọng số
# Huấn luyện model
results = model.train(data="mnist160", epochs=100, imgsz=64)Xem chi tiết đầy đủ về chế độ train trên trang Train. Các model phân loại cũng có thể được huấn luyện bằng dịch vụ huấn luyện đám mây Ultralytics Platform.
Định dạng dataset#
Bạn có thể xem chi tiết định dạng dataset phân loại YOLO trong Hướng dẫn về Dataset. Dataset phân loại cũng có thể được quản lý và gán nhãn bằng công cụ annotation của Ultralytics Platform.
Các phép biến đổi tùy chỉnh#
Phân loại YOLO của Ultralytics sử dụng torchvision.transforms.RandomResizedCrop để huấn luyện và torchvision.transforms.CenterCrop để xác thực và suy luận. Các phép biến đổi dựa trên cắt ảnh giả định đầu vào có dạng vuông và có thể cắt mất những vùng quan trọng trong ảnh có tỷ lệ khung hình cực đoan. Để giữ nguyên toàn bộ ảnh mà không kéo giãn, hãy thay các phép cắt bằng phép biến đổi ClassifyLetterBox hiện có, phép biến đổi này thay đổi kích thước từng ảnh để vừa trong imgsz × imgsz rồi đệm phần còn lại, đồng thời giữ nguyên tỷ lệ khung hình. Hãy sử dụng phép biến đổi này trong pipeline torchvision dựa trên PIL thông qua một ClassificationDataset, ClassificationTrainer và ClassificationValidator tùy chỉnh:
import numpy as np
import torch
import torchvision.transforms as T
from ultralytics import YOLO
from ultralytics.data.augment import ClassifyLetterBox
from ultralytics.data.dataset import ClassificationDataset
from ultralytics.models.yolo.classify import ClassificationTrainer, ClassificationValidator
class CustomizedDataset(ClassificationDataset):
"""A customized dataset class for image classification with enhanced data augmentation transforms."""
def __init__(self, root: str, args, augment: bool = False, prefix: str = "", names=None):
"""Initialize a customized classification dataset with enhanced data augmentation transforms."""
super().__init__(root, args, augment, prefix, names)
letterbox = T.Compose([np.asarray, ClassifyLetterBox(args.imgsz), T.ToPILImage()])
# Thêm các phép biến đổi huấn luyện tùy chỉnh của bạn tại đây
train_transforms = T.Compose(
[
letterbox,
T.RandomHorizontalFlip(p=args.fliplr),
T.RandomVerticalFlip(p=args.flipud),
T.RandAugment(interpolation=T.InterpolationMode.BILINEAR),
T.ColorJitter(brightness=args.hsv_v, contrast=args.hsv_v, saturation=args.hsv_s, hue=args.hsv_h),
T.ToTensor(),
T.Normalize(mean=torch.tensor(0), std=torch.tensor(1)),
T.RandomErasing(p=args.erasing, inplace=True),
]
)
# Thêm các phép biến đổi validation tùy chỉnh của bạn tại đây
val_transforms = T.Compose(
[
letterbox,
T.ToTensor(),
T.Normalize(mean=torch.tensor(0), std=torch.tensor(1)),
]
)
self.torch_transforms = train_transforms if augment else val_transforms
class CustomizedTrainer(ClassificationTrainer):
"""A customized trainer class for YOLO classification models with enhanced dataset handling."""
def build_dataset(self, img_path: str, mode: str = "train", batch=None):
"""Build a customized dataset for classification training and the validation during training."""
return CustomizedDataset(
root=img_path,
args=self.args,
augment=mode == "train",
prefix="train" if mode == "train" else self.args.split,
names=self.data["names"],
)
class CustomizedValidator(ClassificationValidator):
"""A customized validator class for YOLO classification models with enhanced dataset handling."""
def build_dataset(self, img_path: str):
"""Build a customized dataset for classification standalone validation (no augmentation)."""
return CustomizedDataset(root=img_path, args=self.args, augment=False, prefix=self.args.split, names=self.names)
model = YOLO("yolo26n-cls.pt")
model.train(data="imagenet", trainer=CustomizedTrainer, epochs=10, imgsz=224, batch=64)
model.val(data="imagenet", validator=CustomizedValidator, imgsz=224, batch=64)Đánh giá#
Validate độ chính xác của model YOLO26n-cls đã huấn luyện. Không cần tham số nào vì model giữ lại data dùng khi huấn luyện và các tham số dưới dạng thuộc tính của model: path/to/best.pt trong ví dụ Train sẽ validate trên MNIST160. Weights chính thức lưu đường dẫn dataset huấn luyện không tồn tại trên máy của bạn, vì vậy chúng chuyển sang imagenet10 mặc định của tác vụ kèm cảnh báo. Truyền data để validate trên dataset khác.
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n-cls.pt") # tải model chính thức
model = YOLO("path/to/best.pt") # tải model tùy chỉnh
# Xác thực model
metrics = model.val() # không cần đối số, dataset và cài đặt đã được ghi nhớ
metrics.top1 # top1 accuracy
metrics.top5 # top5 accuracyModel được huấn luyện bằng các phép biến đổi tùy chỉnh cần truyền ClassificationValidator tương ứng vào val(); nếu không, validation sẽ crop ảnh trong khi lúc huấn luyện ảnh được resize.
Dự đoán#
Sử dụng model YOLO26n-cls đã huấn luyện để chạy dự đoán trên ảnh.
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n-cls.pt") # tải model chính thức
model = YOLO("path/to/best.pt") # tải model tùy chỉnh
# Dự đoán bằng model
results = model("https://ultralytics.com/images/bus.jpg") # dự đoán trên một ảnh
# Truy cập kết quả
for result in results:
top1 = result.probs.top1 # ID lớp được dự đoán đứng đầu
top1_conf = result.probs.top1conf # confidence của dự đoán đứng đầu
top1_name = result.names[top1] # tên lớp được dự đoán đứng đầuXem chi tiết đầy đủ về chế độ predict trên trang Dự đoán.
Đầu ra kết quả#
Phân loại ảnh trả về một object Results cho mỗi ảnh. Trường dự đoán chính là result.probs, chứa vector xác suất lớp và các helper cho dự đoán đứng đầu.
| Thuộc tính | Kiểu | Hình dạng | Mô tả |
|---|---|---|---|
result.probs | Probs | (C,) | Xác suất các lớp. |
result.probs.data | torch.float32 | (C,) | Xác suất của từng lớp. |
result.probs.top1 | int | () | ID lớp có xác suất cao nhất. |
result.probs.top1conf | torch.float32 | () | Độ tin cậy cao nhất. |
result.probs.top5 | list[int] | (<=5) | ID của 5 lớp có xác suất cao nhất. |
Để xem các trường Results dành riêng cho từng tác vụ trên tất cả tác vụ, hãy tham khảo mục Kết quả dự đoán theo tác vụ.
Export#
Export model YOLO26n-cls sang định dạng khác như ONNX, CoreML, v.v.
from ultralytics import YOLO
# Tải model
model = YOLO("yolo26n-cls.pt") # tải model chính thức
model = YOLO("path/to/best.pt") # tải model tùy chỉnh
# # Xuất model
model.export(format="onnx")Các định dạng export YOLO26-cls hiện có được liệt kê trong bảng bên dưới. Bạn có thể export sang bất kỳ định dạng nào bằng tham số format, ví dụ format='onnx' hoặc format='engine'. Bạn có thể predict hoặc validation trực tiếp trên model đã export, ví dụ yolo predict model=yolo26n-cls.onnx. Sau khi hoàn tất export, các ví dụ sử dụng model sẽ được hiển thị.
| Định dạng | Đối số format | Model | Metadata | Đối số |
|---|---|---|---|---|
| PyTorch | - | yolo26n-cls.pt | ✅ | - |
| TorchScript | torchscript | yolo26n-cls.torchscript | ✅ | imgsz, quantize, dynamic, nms, batch, device |
| ONNX | onnx | yolo26n-cls.onnx | ✅ | imgsz, quantize, dynamic, simplify, opset, nms, batch, data, fraction, device |
| OpenVINO | openvino | yolo26n-cls_openvino_model/ | ✅ | imgsz, quantize, dynamic, nms, batch, data, fraction, device |
| TensorRT | engine | yolo26n-cls.engine | ✅ | imgsz, quantize, dynamic, simplify, opset, workspace, nms, batch, data, fraction, device |
| CoreML | coreml | yolo26n-cls.mlpackage | ✅ | imgsz, dynamic, quantize, nms, batch, device |
| Apple Core AI | coreai | yolo26n-cls.aimodel | ✅ | imgsz, batch, quantize |
| TF SavedModel | saved_model | yolo26n-cls_saved_model/ | ✅ | imgsz, quantize, opset, nms, batch, data, fraction, device |
| TF GraphDef | pb | yolo26n-cls.pb | ❌ | imgsz, opset, batch, device |
| TF Edge TPU | edgetpu | yolo26n-cls_edgetpu.tflite | ✅ | imgsz, quantize, opset, data, fraction, device |
| LiteRT | litert | yolo26n-cls.tflite | ✅ | imgsz, quantize, batch, data, fraction, device |
| PaddlePaddle | paddle | yolo26n-cls_paddle_model/ | ✅ | imgsz, batch, device |
| MNN | mnn | yolo26n-cls.mnn | ✅ | imgsz, batch, dynamic, quantize, simplify, opset, nms, device |
| NCNN | ncnn | yolo26n-cls_ncnn_model/ | ✅ | imgsz, quantize, device |
| IMX500 | imx | yolo11n_imx_model/ | ✅ | imgsz, quantize, data, fraction, nms, device |
| RKNN | rknn | yolo26n-cls_rknn_model/ | ✅ | imgsz, batch, name, quantize, simplify, opset, data, fraction, device |
| ExecuTorch | executorch | yolo26n-cls_executorch_model/ | ✅ | imgsz, quantize, batch, data, fraction, device |
| Axelera | axelera | yolo26n-cls_axelera_model/ | ✅ | imgsz, batch, quantize, data, fraction, device |
| DEEPX | deepx | yolo26n-cls_deepx_model/ | ✅ | imgsz, quantize, simplify, opset, data, optimize, device |
| Qualcomm QNN | qnn | yolo26n-cls_qnn.onnx | ✅ | imgsz, batch, name, quantize, simplify, opset, data, fraction, device |
| Hailo | hailo | yolo26n-cls_hailo_model/ | ✅ | imgsz, name, quantize, data, fraction, simplify, conf, iou, device |
| Huawei Ascend | ascend | yolo26n-cls_ascend_model/ | ✅ | imgsz, batch, name, quantize, opset, simplify, nms, device |
| AMD Xilinx | xilinx | yolo26n-cls_xilinx_model/ | ✅ | imgsz, name, quantize, data, fraction, opset, simplify, device |
| NXP | nxp | yolo26n-cls_nxp.tflite | ✅ | imgsz, quantize, data, fraction, device |
| ST Edge AI | stedgeai | yolo26n-cls_stedgeai.onnx | ✅ | imgsz, quantize, data, fraction, opset, simplify, device |
nms=None mặc định xuất dữ liệu thô để thực hiện NMS bên ngoài (YOLO26 vẫn giữ head không cần NMS trên Axelera). Đặt nms=False để chọn head không cần NMS hiện có; các định dạng không được hỗ trợ sẽ chuyển về đường dẫn xuất dữ liệu gốc của định dạng đó. Các mục nms ở trên xác định những định dạng có thể tích hợp NMS bằng nms=True.
Xem chi tiết đầy đủ về export trên trang Export.
Câu hỏi thường gặp#
Các model YOLO26, chẳng hạn
yolo26n-cls.pt, được thiết kế để phân loại ảnh hiệu quả. Model gán một nhãn lớp duy nhất cùng điểm confidence cho toàn bộ ảnh. Tính năng này hữu ích khi chỉ cần biết lớp của ảnh mà không cần xác định vị trí hoặc hình dạng của các đối tượng bên trong.Bạn có thể dùng Python hoặc các lệnh CLI để huấn luyện model YOLO26. Ví dụ, để huấn luyện model
yolo26n-clstrên dataset MNIST160 trong 100 epoch với kích thước ảnh 64:Ví dụfrom ultralytics import YOLO # Tải model model = YOLO("yolo26n-cls.pt") # tải model đã huấn luyện trước (được khuyến nghị khi huấn luyện) # Huấn luyện model results = model.train(data="mnist160", epochs=100, imgsz=64)Để biết thêm tùy chọn cấu hình, hãy truy cập trang Cấu hình.
Bạn có thể duyệt xem, kiểm thử và tải model phân loại YOLO26 pretrained trên Ultralytics Platform. Các model như
yolo26n-cls.pt,yolo26s-cls.ptvàyolo26m-cls.ptđược pretrained trên bộ dữ liệu ImageNet và tự động tải xuống khi sử dụng lần đầu.Để validate độ chính xác của một model đã train trên dataset như MNIST160, bạn có thể sử dụng các lệnh Python hoặc CLI sau:
Ví dụfrom ultralytics import YOLO # Tải model model = YOLO("path/to/best.pt") # tải model đã train # Xác thực model metrics = model.val() # không cần đối số, sử dụng dataset và các thiết lập từ quá trình training metrics.top1 # top1 accuracy metrics.top5 # top5 accuracyĐể biết thêm thông tin, hãy truy cập mục Validate.
Bạn có thể export model YOLO26 đã train sang nhiều định dạng bằng các lệnh Python hoặc CLI. Ví dụ: để export model sang định dạng ONNX:
Ví dụfrom ultralytics import YOLO # Tải model model = YOLO("yolo26n-cls.pt") # tải model đã train # Export model sang ONNX model.export(format="onnx")Để biết chi tiết về các tùy chọn export, hãy tham khảo trang Export.
Bình luận207
Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.
hellotenet
According to my observation, during the training of YOLO for classification tasks, it randomly selects a portion of data from the test set to evaluate the accuracy of this round. If I want to use all the data in the test set for testing in each epoch and provide top_acc1 and top_acc5, which parameter should I add in the yaml file?
1eladoni1(đã chỉnh sửa)
Hi there! Quick briefing - the images are of size Width = 1216, Height = 292.
TL;DR - After debug into train.py & predict.py, realized the images are resized + cropped strangely from what I gathered in the docs/forums, even with specified imgsz and rect=True.
Full explanation -
Training was : model.train(data=..., imgsz=1216, rect=True)
Expectations : Was expecting the dataset images to be resized BY THE LARGER side, so 1216 will remain 1216, and so is the smaller side.
(Even when I tried to do imgsz as a tuple - (h,w) aka (292,1216), a warning showed up, telling me the imgsz will be automatically selected to 1216, as it should have been an integer.. not a tuple.)
What actually happened : What happened is the smaller side (height, 292) resized to 1216, then the original, bigger side (width, 1216), was resized to 5063 (same scalar the smaller side was multiplied).
Meaning, what previously was image of size 1216x292, turned into image of size 5063x1216 (This is due to Resize transformation of pytorch)
And its not over - the data taken was only the INNER 1216x1216 - less than 1/4 of the actual data.. (This is due to CenterCrop transformation of pytorch)
So, basically, I am asking - Is there a quote from the docs I have missed that said classify must be square sized? Or is there another way (except from padding to 1216x1216 - adding 924 black pixels to the height), to make classify work with rectangular images?
Thank you so much, and sorry if I wasnt clear.. hopefully it was.
1
Glenn JocherUltralyticsHey there! 🙌 Thanks for the detailed message.
It seems like you've encountered an interesting scenario with image sizes and the
rect=Trueparameter. In YOLOv8, when using rectangular training (rect=True), the model does expect square input sizes for simplicity and efficiency. The behavior you've noticed, where the smaller dimension gets resized to match the specifiedimgsz, and then the image is center-cropped, is by design for handling non-square inputs.For your specific case with rectangular images (1216x292), instead of resizing or padding the images manually to make them square, a recommended approach is to work with the default behavior but ensure your
imgszis set to the dimension that avoids data loss. If further customization is necessary, it might involve custom modifications to the data preprocessing pipeline.Unfortunately, there isn't a built-in switch for direct handling of non-square images without cropping or resizing as you described. This is an area for potential improvement in future updates!
For now, perhaps consider either adjusting your pipeline to accommodate this behavior or implementing a custom preprocessing step that ensures your images maintain their aspect ratio without significant data loss. Padding might be an unavoidable step for cases like these.
If there's anything else we can help with or if you have suggestions, feel free to reach out. Thanks for diving deep into this, and we're here to support your projects! 🚀
lixjohn
If I can train Yolo-cls mode to identify the level of object moisture content? Such as coal? Thanks.
Glenn JocherUltralyticsYes, Ultralytics YOLO26 classification can work for coal moisture levels if you label them as discrete classes like
dry,medium, andwetand train with the standard classification dataset format; if you need an exact moisture percentage rather than bins, that’s a regression problem, and if the visual differences are subtle you may need NIR/thermal imaging instead of RGB alone.lixjohn
Thanks, I think classification is enough because we just need high level of coal moisture not exact percentage.
Glenn JocherUltralyticsYes, that should be a good fit for
classify; use a few clear bins likelow,medium, andhigh, keep lighting/camera distance as consistent as possible, and start from a pretrainedyolo26n-cls.ptmodel—if you’d like, share a sample class layout or training command here and we can sanity-check it.lixjohn
Thank you very much, that makes sense. I just start project and not go to training phase yet, but I am happy to share sample and training command once I have to get more help on this.
Glenn JocherUltralyticsSounds good—when you reach training, share your dataset folder structure and exact
yolo classify train ...command here, and we’ll help sanity-check it against the classification guide.lixjohn
Thank you! I got another question related to segment, hopefully I can get your suggestion as well, it is a little bit tricky :-). The coal is very small ( around 10mm one piece), but we have identify them in a truck (10m*3m) in order to ensure the truck carry right size of coal, one picture for one truck, it means there are huge member of small coal in one picture, I don't have image resolution yet, but I suppose it is clear enough to show details for each coal, my questions are
- how to label data before training, I can use SAM to label each coal but I have to say it is impossible to label all coal in picture because the coal member is huge, if I can just label some of them in pictures? I think we can use around 300 pictures to start training, but not all coal labeled in one picture. Does it will impact accuracy of model?
- Is it possible for Yolo26-segment to identify each coal in this situation from algorithm and performance point of view? In one picture, the truck is big but carry large member of similar small objects (10mm vs. 10m). Any solution we can take for this situation?
Apricate for any suggestions...
Glenn JocherUltralyticsYes, but you should not leave visible coals unlabeled in training images because the model will treat them as background and recall will drop; for this kind of dense small-object problem, the practical approach is to split each truck image into smaller overlapping tiles, fully annotate every visible coal inside the selected tiles, and train on those crops rather than the full frame. If each coal is still only a few pixels after tiling,
segmentwill struggle anddetector even patch-levelclassifymay be a better fit, and our data collection and annotation guide is a good reference—feel free to post one sample image here when you have it and we can suggest the best labeling strategy.
jiangshouye
如何指定分类标签的次序呢?训练完成后,如何获得模型里的标签顺序呢?
Glenn JocherUltralytics分类任务里类别索引顺序是从你的数据集目录结构推断出来的(通常按
train/下各类别子文件夹名称排序生成),如果你想“指定顺序”,最稳妥的方法是把类别文件夹命名成可排序的形式(例如00_cat/、01_dog/);训练完成后直接读取模型里的model.names就能看到标签到索引的对应关系,参考 图像分类文档。from ultralytics import YOLO model = YOLO("runs/classify/train/weights/best.pt") print(model.names) # {0: '00_cat', 1: '01_dog', ...}
serenamansur
hello, hope all is well. @glenn-jocher i would like to ask you few questions
1- in classification task , when finetuning YOLOv11m-cls, is it enough to set "autoaugment" for data augmentation or i can use it with other augmentation args such as scale, hsv_v, hsv_s ??
2- i will give you an example on this one, lets say i am training with epoch = 50 with patience = 8 and close_mosaic i set to = 5 and early stopping occured at epoch 20/50.
Is close_mosaic applied here or is it set from the start that it should be disabled at epoch 45? and if it was disabled before epoch 20, how does this affect the result and validation?
Thank you in advance!!
Glenn JocherUltralyticsFor
classify,auto_augmentcan be used together with other augmentation args likescaleandhsv_h/hsv_s/hsv_v(they target different parts of the classification transform pipeline), but since policies likerandaugmentare already quite strong you’ll usually want to keep extra color jitter mild and tune one knob at a time; see the Image Classification docs and the classification transforms/augmentations reference.Also note
close_mosaicis a mosaic-specific setting for detection-style tasks and isn’t used for*-clstraining, so it won’t affect YOLO classification; if you meant detection,close_mosaic=5disables mosaic only for the last 5 scheduled epochs (i.e., starting atepochs - close_mosaic), so if early stopping ends at epoch 20/50 that “close mosaic” switch never occurs.serenamansur
Hello @glenn-jocher, Thank you for your previous reply, it was very helpful. I have another question related to class imbalance in computer vision tasks. In many ML setups, when classes are imbalanced, we apply per-class loss weights so that rare classes contribute more to the overall training loss and are not ignored during optimization.
For example, if I have 3 detection classes with instance counts like:
class0 = 30 instances class1 = 500 instances class2 = 700 instances
By default, all classes contribute equally (weight = 1), but ideally I’d like to assign a higher weight to the rare class (class0).
My question: Is there a supported way in Ultralytics YOLO to apply per-class weights for the detection classification loss or bounding boxes loss (cls loss component)? If yes, where can I access and modify those weights?? Thank you in advance!
Glenn JocherUltralyticsAt the moment Ultralytics YOLO doesn’t have a supported “per-class loss weight” hook for detection via
data.yaml/CLI (forcls_lossor box losses); the only built-in knobs are the overall loss term weights likecls,box, anddflin the configuration settings. If you need true per-class weighting you’ll have to implement it in a custom trainer/loss (the core detection loss lives in the loss implementation and can be swapped via the advanced customization guide); otherwise the practical workaround is to rebalance the dataset by oversampling/adding/augmenting the rare-class examples.maxexplorer
Hi Ultralytics team, YOLO-classify always outputs class probabilities (probs) that sum to 1, even for completely unknown or out-of-distribution (OOD) inputs. As a result, unknown objects can be classified with high confidence (e.g., 0.8), and using a threshold does not always filter them. Are there any recommended strategies, best practices, or built-in options to reduce false high-confidence predictions on unknown data?
Would combining classify with detect help in such cases? Thanks!
Glenn JocherUltralyticsYou’re right:
*-clsuses a softmax-style head, so the returnedprobsare normalized to sum to 1 by design, which means “unknown/OOD” will still get forced into a known class with some confidence; there isn’t a built-in OOD/reject option in Ultralytics YOLO classification today (beyond simple thresholding). A practical approach is to (a) add an explicitunknown(or “background”) class with diverse negative examples and train for rejection, and/or (b) run a detection model first and only classify detected crops—if nothing is detected you can safely treat the frame as unknown; see the Ultralytics YOLO image classification docs for the standard classify pipeline.If you want a lightweight post-process, you can gate predictions using max-softmax and an uncertainty score like entropy (often works better than max-prob alone):
from ultralytics import YOLO import torch model = YOLO("yolo26n-cls.pt") results = model("path/to/img.jpg") r = results[0] p = r.probs.data # class probabilities (tensor) max_p = float(p.max()) entropy = float(-(p * (p + 1e-12).log()).sum()) is_unknown = (max_p < 0.6) or (entropy > 2.5) # tune on a held-out OOD set
sagargwal
is thier a way to use grad cam or any interpretability? method on yolov11-cls model
theoderickday
Hi I have a simple bit of code based on your example above and using a model I created myself. It works fine at identifying birds and I get output of the form:-
0: 640x640 nut_hatch 0.30, house_sparrow 0.18, bluetit 0.17, cat 0.13, robin 0.12, 273.5ms Speed: 29.8ms preprocess, 273.5ms inference, 0.1ms postprocess per image at shape (1, 3, 640, 640) 2025-10-27.jpg
I use the following lines to pass data from the Raspberry PI camera to the model:-
frame = picam2.capture_array() results = model(frame)
what I want to do is extract the probabilities from the results structure so I can save specific images when the prediction is over say 80%
Any ideas?
wdcs-fenilpatel
I'm encountering a strange and seemingly unpredictable issue during inference with a YOLO classification model (using ultralytics package). The confidence score for every prediction is always exactly 0.5, regardless of the input image.
All inference results return confidence = 0.5.
The predicted class index might vary, but the confidence is always 0.5.
This issue starts unpredictably—everything works fine for a while, then suddenly this behavior appears.
Sometimes, simply rebooting the system resolves the issue temporarily, but it may reappear.
Ranjith3436
I am trying to train classification model. why you prefer you architecture. why don't you move transformer architecture? is it capable than ViT.
wowoso
What if we can't obtain metrics such as F1 score, mAP, recall, and precision in image classification tasks?
