Umfassende Tutorials zu Ultralytics YOLO
Die Ultralytics-YOLO-Anleitungen behandeln alle Phasen eines KI-Projekts im Bereich Computer Vision – vom Training und der Vorhersage bis zur Bereitstellung. YOLO basiert auf PyTorch und vereint Geschwindigkeit und Genauigkeit für die Objekterkennung in Echtzeit und weitere Aufgaben im Bereich Computer Vision.
Ob du Anfänger oder Experte im Bereich Deep Learning bist – diese Tutorials bieten praktische Anleitungen zur Implementierung und Optimierung von YOLO für deine Computer-Vision-Projekte.
Ansehen: Überblick über die Ultralytics-YOLO26-Anleitungen
Anleitungen#
Die Anleitungen sind nach Projektphase gruppiert – von der Einrichtung der Umgebung und der Datenaufbereitung über Training, Auswertung, Bereitstellung und Inferenzoptimierung bis hin zu Edge-Hardware. So kannst du direkt zu dem Schritt springen, an dem du gerade arbeitest.
Erste Schritte und Planung#
- Conda-Schnelleinstieg: Schritt-für-Schritt-Anleitung zum Einrichten einer Conda-Umgebung für Ultralytics. Erfahre, wie du das Ultralytics-Paket effizient mit Conda installierst und verwendest.
- Docker-Schnelleinstieg: Vollständige Anleitung zum Einrichten und Verwenden von Ultralytics-YOLO-Modellen mit Docker. Erfahre, wie du Docker installierst, die GPU-Unterstützung verwaltest und YOLO-Modelle in isolierten Containern ausführst, um eine einheitliche Entwicklung und Bereitstellung sicherzustellen.
- AzureML-Schnelleinstieg: Starte mit Ultralytics-YOLO-Modellen auf der Azure-Machine-Learning-Plattform von Microsoft. Erfahre, wie du deine Objekterkennungsprojekte in der Cloud trainierst, bereitstellst und skalierst.
- Modal-Schnelleinstieg: Führe Ultralytics YOLO26 auf der serverlosen Cloud-Plattform Modal aus. Die Anleitung behandelt Authentifizierung, GPU-Inferenz und Trainingsaufträge mit dauerhaftem Speicher – ganz ohne selbst verwaltete Infrastruktur.
- Ziele für ein Computer-Vision-Projekt festlegen: Erfahre Schritt für Schritt, wie du klare und messbare Ziele für dein Computer-Vision-Projekt festlegst. Lerne, warum eine präzise Problemstellung wichtig ist und wie sie als Fahrplan für dein Projekt dient.
- Schritte eines Computer-Vision-Projekts: Erfahre mehr über die wichtigsten Schritte eines Computer-Vision-Projekts, darunter das Festlegen von Zielen, die Auswahl von Modellen, die Datenaufbereitung und die Auswertung der Ergebnisse.
- YOLO-Architektur erklärt: Verfolge die Entwicklung der YOLO-Architektur von YOLOv3 bis YOLO26 in Backbone, Neck und Erkennungskopf. Die Anleitung behandelt C2f, C3k2, C2PSA-Aufmerksamkeit sowie ankerfreie und NMS-freie Designs.
Daten vorbereiten#
- Datenerfassung und Annotation: Entdecke Tools, Techniken und bewährte Methoden zur Erfassung und Annotation von Daten, um hochwertige Eingaben für deine Computer-Vision-Modelle zu erstellen.
- Annotierte Daten vorverarbeiten: Erfahre, wie du Daten für Computer Vision mit YOLO26 vorverarbeitest, etwa durch Skalierung von Bildern, Normalisierung, Aufteilung des Datensatzes, Datenerweiterung und explorative Datenanalyse (EDA).
- Datenaugmentation mit YOLO: Entdecke das gesamte Spektrum an Datenaugmentationstechniken in YOLO – von grundlegenden Transformationen bis hin zu fortgeschrittenen Strategien zur Verbesserung der Robustheit und Leistung des Modells.
- COCO in YOLO konvertieren: Vollständige Anleitung zum Konvertieren von COCO-JSON-Annotationen ins YOLO-Format für das Training. Behandelt Erkennung, Segmentierung und Keypoints, einschließlich der Zuordnung von Klassen-IDs und häufiger Fehler bei der Konvertierung.
- Training mit COCO JSON: Trainiere YOLO direkt mit COCO-JSON-Annotationen, ohne sie ins YOLO-Format zu konvertieren. Verwende dazu eine benutzerdefinierte Datensatzklasse und einen Trainer.
Trainieren und feinabstimmen#
- Kachelung mit hoher Auflösung: Trainiere, validiere und führe Vorhersagen auf hochauflösenden Bildern mit festen Kacheln für alle Bildverarbeitungsaufgaben aus.
- Tipps zum Modelltraining: Entdecke Tipps zur Optimierung von Batchgrößen, zur Verwendung von gemischter Präzision, zum Einsatz vortrainierter Gewichte und mehr, damit du Computer-Vision-Modelle effektiver trainieren kannst.
- YOLO mit eigenen Daten feinabstimmen: Vollständige Anleitung zum Feinabstimmen von YOLO26 mit eigenen Datensätzen und vortrainierten Gewichten. Behandelt Transfer Learning, das Einfrieren von Schichten, die Auswahl des Optimierers, Training in zwei Phasen und die Fehlerbehebung.
- YOLO26-Trainingsrezept: Vollständige Dokumentation der Hyperparameter, Datenerweiterungsabläufe und Optimierereinstellungen, die zum Trainieren der offiziellen YOLO26-Basisprüfpunkte auf COCO verwendet werden, ergänzt durch praktische Hinweise zur Feinabstimmung.
- Hyperparameter-Abstimmung: Erfahre, wie du deine YOLO-Modelle optimierst, indem du Hyperparameter mithilfe der Tuner-Klasse und genetischer Evolutionsalgorithmen feinabstimmst.
- Wissensdestillation: Erfahre, wie du die Modellleistung verbesserst, indem du mithilfe merkmalsbasierter Destillation Wissen von einem größeren Lehrermodell auf ein kleineres Schülermodell überträgst.
- K-Fold-Kreuzvalidierung: Erfahre, wie du die Generalisierungsfähigkeit eines Modells mithilfe der K-Fold-Kreuzvalidierung verbessern kannst.
- Trainer anpassen: Erfahre, wie du den YOLO-Trainer ableitest, um benutzerdefinierte Metriken zu protokollieren, einen nach Klassen gewichteten Verlust hinzuzufügen, das Speichern von Modellen anzupassen, das Backbone einzufrieren oder freizugeben und Lernraten pro Schicht festzulegen.
- Anleitung zur YAML-Konfiguration von Modellen: Ein ausführlicher Einblick in die Definitionen der Ultralytics-Modellarchitektur. Entdecke das YAML-Format, erfahre, wie das Modulauflösungssystem funktioniert, und lerne, eigene Module zu integrieren.
Auswertung und Fehlerbehebung#
- YOLO-Leistungsmetriken ⭐ WICHTIG: Lerne die wichtigsten Metriken wie mAP, IoU und den F1-Wert kennen, mit denen die Leistung deiner YOLO-Modelle bewertet wird. Mit praktischen Beispielen und Tipps, wie du Erkennungsgenauigkeit und Geschwindigkeit verbesserst.
- Einblicke in die Modellbewertung und Feinabstimmung: Bewerte Computer-Vision-Modelle anhand von Metriken wie mAP und IoU und nutze die Erkenntnisse aus den Metriken, um die Erkennungsgenauigkeit zu verbessern.
- Modelltests: Erfahre, wie du Computer-Vision-Modelle mit unbekannten Daten testest, YOLO26-Modelle validierst und vor der Bereitstellung Überanpassung, Unteranpassung und Datenlecks erkennst.
- Häufige Probleme mit YOLO ⭐ EMPFOHLEN: Praktische Lösungen und Tipps zur Fehlerbehebung bei den häufigsten Problemen mit Ultralytics-YOLO-Modellen.
- Wartung deines Computer-Vision-Modells: Erfahre mehr über die wichtigsten Methoden zur Überwachung, Wartung und Dokumentation von Computer-Vision-Modellen, um die Genauigkeit zu erhalten, Anomalien zu erkennen und Datenverschiebungen entgegenzuwirken.
Bereitstellen und ausführen#
- Optionen zur Modellbereitstellung: Überblick über YOLO-Bereitstellungsformate für Modelle wie ONNX, OpenVINO und TensorRT, mit den jeweiligen Vor- und Nachteilen als Grundlage für deine Bereitstellungsstrategie.
- Bewährte Methoden zur Modellbereitstellung: Erfahre anhand von Tipps und bewährten Methoden, wie du Modelle in Computer-Vision-Projekten effizient bereitstellst. Im Mittelpunkt stehen Optimierung, Fehlerbehebung und Sicherheit.
- Nicht-YOLO-Modelle exportieren: Verwende die eigenständigen Exportwerkzeuge von Ultralytics, um beliebige
torch.nn.Module(timm, torchvision, benutzerdefiniert) in TorchScript, ONNX, OpenVINO, CoreML, Core AI, TensorFlow SavedModel, PaddlePaddle, MNN, NCNN und ExecuTorch zu konvertieren. - End-to-End-Erkennung: Entscheide dich für NMS- oder NMS-freie Inferenz und erfahre mehr über Ausgabeformate und Exportkompatibilität.
- Integration des Triton Inference Server: Integriere Ultralytics YOLO26 in den NVIDIA Triton Inference Server, um skalierbare und effiziente Bereitstellungen für Deep-Learning-Inferenz zu ermöglichen.
- Threadsichere YOLO-Inferenz: Richtlinien zur threadsicheren Inferenz mit YOLO-Modellen. Erfahre, warum Threadsicherheit wichtig ist und welche bewährten Methoden dazu beitragen, Race Conditions zu verhindern und konsistente Vorhersagen sicherzustellen.
- ROS-Schnellstart: Erfahre, wie du YOLO für die Objekterkennung in Echtzeit in Robotikanwendungen, einschließlich Punktwolken und Tiefenbildern, in das Robot Operating System (ROS) integrierst.
- Bereitstellung mit Docker auf Vertex AI: Kompakte Anleitung zum Containerisieren von YOLO-Modellen mit Docker und ihrer Bereitstellung auf Google Cloud Vertex AI. Behandelt das Erstellen und Übertragen von Images, automatische Skalierung und Überwachung.
Inferenz optimieren#
- OpenVINO-Modi für Latenz und Durchsatz: Erfahre mehr über Techniken zur Optimierung von Latenz und Durchsatz, um die YOLO-Inferenzleistung zu maximieren.
- NVIDIA-DALI-GPU-Vorverarbeitung: Beseitige Engpässe bei der CPU-Vorverarbeitung, indem du mit NVIDIA DALI die Größenanpassung im Letterbox-Verfahren, das Auffüllen und die Normalisierung für YOLO auf der GPU ausführst – mit Integration des Triton Inference Server.
- Segmentierungsobjekte isolieren: Eine Schritt-für-Schritt-Anleitung zum Extrahieren und Isolieren von Objekten in Bildern mit Ultralytics-Segmentierungsmodellen.
- Inferenzbilder im Terminal anzeigen: Verwende das integrierte Terminal von VS Code, um Inferenzergebnisse in Remote-Tunnel- oder SSH-Sitzungen anzuzeigen.
Edge- und eingebettete Hardware#
- NVIDIA Jetson: Schnelleinstieg zur Bereitstellung von YOLO-Modellen auf NVIDIA-Jetson-Geräten.
- Raspberry Pi: Schnelleinstieg zum Ausführen von YOLO-Modellen auf der neuesten Raspberry-Pi-Hardware.
- DeepStream auf NVIDIA Jetson: Schnelleinstieg zur Bereitstellung von YOLO-Modellen auf NVIDIA-Jetson-Geräten mit DeepStream und TensorRT.
- Edge TPU auf Raspberry Pi: Google Edge TPU beschleunigt die YOLO-Inferenz auf dem Raspberry Pi.
- NVIDIA DGX Spark: Schnelleinstieg zur Bereitstellung von YOLO-Modellen auf NVIDIA-DGX-Spark-Geräten.
- DL Streamer auf Intel: Schnelleinstieg zur Bereitstellung von YOLO26-Modellen auf Intel-Core-Ultra-Geräten der Serie 3 mit DL Streamer und OpenVINO™.
Trage zu unseren Anleitungen bei#
Beiträge aus der Community sind herzlich willkommen! Wenn du dich mit einem bestimmten Aspekt von Ultralytics YOLO bestens auskennst, der in unseren Anleitungen noch nicht behandelt wird, freuen wir uns, wenn du dein Wissen teilst. Eine Anleitung zu schreiben ist eine großartige Möglichkeit, der Community etwas zurückzugeben und uns dabei zu helfen, unsere Dokumentation umfassender und benutzerfreundlicher zu gestalten.
Lies zunächst unseren Leitfaden für Beiträge. Dort erfährst du, wie du eine Änderungsanfrage (PR) eröffnest. Wenn du eine neue Anleitung hinzufügst, ordne sie der passenden Kategorie oben zu, die ihrer Projektphase entspricht, und beschränke sie auf einen Seitentyp – Schritt-für-Schritt-Tutorial, aufgabenorientierte Anleitung oder Referenz –, damit die Sammlung auch bei weiterem Wachstum übersichtlich bleibt. Wir freuen uns auf deine Beiträge.
Häufig gestellte Fragen#
Mit Ultralytics YOLO ein eigenes Objekterkennungsmodell zu trainieren, ist unkompliziert. Bereite zunächst deinen Datensatz im richtigen Format vor und installiere das Ultralytics-Paket. Starte das Training mit folgendem Code:
Beispielfrom ultralytics import YOLO model = YOLO("yolo26n.pt") # Ein vortrainiertes YOLO-Modell laden model.train(data="path/to/dataset.yaml", epochs=50) # Auf benutzerdefiniertem Datensatz trainierenDie Bewertung der Leistung deines YOLO-Modells ist entscheidend, um seine Wirksamkeit zu verstehen. Zu den wichtigsten Metriken gehören die mittlere durchschnittliche Präzision (mAP), die Schnittmenge über Vereinigungsmenge (IoU) und der F1-Wert. Diese Metriken helfen dabei, Genauigkeit und Präzision bei Objekterkennungsaufgaben zu beurteilen. Mehr über diese Metriken und die Verbesserung deines Modells erfährst du in unserer Anleitung YOLO-Leistungsmetriken.
Die Ultralytics-Plattform ist ein durchgängiger, codefreier Arbeitsbereich für die Datenannotations, Experimentverfolgung, Cloud-Training, den Export und dedizierte Inferenzendpunkte für YOLO-Modelle – geeignet für Einsteiger und Profis.
Zu den häufigen Problemen beim Training von YOLO-Modellen gehören Fehler bei der Datenformatierung, nicht zusammenpassende Modellarchitekturen und unzureichende Trainingsdaten. Achte darauf, dass dein Datensatz korrekt formatiert ist, prüfe die Kompatibilität der Modellversionen und erweitere deine Trainingsdaten. Eine umfassende Liste von Lösungen findest du in unserer Anleitung Häufige Probleme mit YOLO.
Um YOLO-Modelle auf Edge-Geräten wie NVIDIA Jetson und Raspberry Pi bereitzustellen, musst du das Modell in ein kompatibles Format wie TensorRT oder LiteRT konvertieren. Folge unseren Schritt-für-Schritt-Anleitungen für die Bereitstellung auf NVIDIA Jetson und Raspberry Pi, um mit der Objekterkennung in Echtzeit auf Edge-Hardware loszulegen. Die Anleitungen behandeln Installation, Konfiguration und Leistungsoptimierung.
Kommentare30
Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.
safdarhamid64-cpu
i have done everything using your docker method everything , using AI chatbots , but still i am unable to run the yolo , plzz provide me a solution that will work for every Raspberry Pi4 because its really so much frustrating
tutorialsyolo
Hi, I am trying to improve the convolutional layers in the nn module like in conv.py or block.py as novelty for my research. The location is like "ultralytics/ultralytics/nn/modules/conv.py. Could you please tell me where else i should update/call the new block which I improved? Because it gives me error when I am adding those blocks in the cfg/.yaml files for training in a custom dataset. Thank you
Ishfaz
Hello,
I'm using YOLOv8 for object detection, and I have only three classes in my dataset. However, when I generate the confusion matrix after training or validation, I notice that it shows a 4x4 matrix instead of the expected 3x3.
It seems like an extra class, possibly a "background" or "null" class, is being added automatically.
How can I remove this extra background class so that my confusion matrix only reflects the three actual classes I have trained on?
AashishThakur1321
can you tell the path, where downloaded model weights are stored as i manually want to add the weights to the folder as i don't have internet access on server
Glenn JocherUltralytics@AashishThakur1321 the default location where Ultralytics models are stored depends on your operating system, but it's typically within a directory in your user's home folder; you can find more specific details by checking the "Settings" section when you run
from ultralytics import settings; print(settings).1
ghost
Hello, I am working on a project to detect different types of cells. I already have a trained model, thanks to Ultralytics! I want to increase my dataset and tried using the auto-annotate function. The function works well but annotates objects in polygons. I need annotation in rectangular bounding boxes. Can you please help with this problem? https://docs.ultralytics.com/reference/data/annotator/
Glenn JocherUltralytics@kartmyco thank you for your message! While the auto-annotate function currently outputs polygon annotations, you can convert them to rectangular bounding boxes using tools like
cvatorlabelme, or you can write a custom script to approximate polygons into rectangular boxes. For details on data annotation tools, you can refer to our guide on data collection and annotation. Let us know if you have additional questions!ghost
Hello Glenn, Thank you so much for your reply. I will try to approximate the polygons in rectangular bounding boxes.
jdonza
I decided to make a different thread here as it is related to a different topic. But I wanted to know if you guys had documentation that went into the specifics of how the YOLO models are created. I am interested to learn more about CNN's, how they work, and how it relates to the image processing of YOLO.
Glenn JocherUltralytics@jdonza for detailed information on how YOLO models are created and how CNNs work in relation to YOLO, please refer to our comprehensive guides at https://docs.ultralytics.com/guides/. These resources cover various aspects of YOLO, including its architecture and image processing techniques.
jdonza
Hello,
Are there any tutorials showing how to train a YOLOv8 model using multiple devices for faster training? I read the instructions for YOLOv5 but got a bit lost. Step by step instructions would be greatly appreciated!
Thank you!
Glenn JocherUltralytics@jdonza hello,
For training YOLOv8 using multiple devices, please refer to our Multi-GPU Training guide. It provides step-by-step instructions to help you set up and run training across multiple GPUs.
Thank you!
jdonza
Thank you for the response! What I am still confused with is the following line of code.
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device=[0, 1])Here are a few questions I had.
- I have one GPU on my computer currently. If I had another device that also had the same GPU, how does YOLO know which computer is 0 and which is 1? Is there a physical connection of some sort that needs to occur?
- If you had a computer with multiple GPU's, the same questions arises. How does YOLO know which is 0 and which is 1?
Overall, I am confused with the set-up steps that need to occur before simply inputting "device=[0,1]".
Sorry if my questions appear trivial. I am a beginner and do not have much experience with network configurations like this!
Thanks!
Glenn JocherUltralytics@jdonza to address your questions:
- YOLOv8 does not support multi-device training across different computers. Each device ID (e.g., 0, 1) refers to GPUs within the same machine.
- For a computer with multiple GPUs, device IDs are assigned based on the order in which GPUs are detected by the system. You can verify GPU IDs using
nvidia-smi.
For more details, please refer to the Multi-GPU Training guide.
jdonza
Was this capability eliminated? The link you provided has a drop-down section labeled "Use Multiple Machines" which appears to provide some sort of framework to accomplish this.
Glenn JocherUltralytics@jdonza the capability for multi-machine training is not supported in YOLOv8. The "Use Multiple Machines" section in the documentation you referenced may pertain to older versions or different contexts. For multi-GPU training on a single machine, you can use the
device=[0,1]argument. If you have further questions, please refer to the Multi-GPU Training guide.jdonza
Okay thank you!
Glenn JocherUltralytics@jdonza you're welcome! For training YOLOv8 on multiple GPUs within a single machine, you can use the
device=[0,1]argument. Each GPU is identified by its ID, which you can check usingnvidia-smi. Multi-machine training is not supported. For more details, please refer to the Multi-GPU Training guide.Ephraim-Bryski
While not supported in YOLOv8, I did see reference to training across multiple computers in the YOLOv5 documentation:
(I believe this is what jdonza was referring to before). Does this allow for training across multiple computers for YOLOv5, but is no longer supported in YOLOv8? If so, would using YOLOv5 instead of v8 be recommended for this use case? Thanks!
Glenn JocherUltralyticsTraining across multiple computers is supported in YOLOv5 using DistributedDataParallel, but this feature is not available in YOLOv8. If multi-machine training is essential for your use case, using YOLOv5 would be recommended. For more details, please refer to the YOLOv5 documentation.
TanWeeKang
hi, i am doing a project about food detection. the detection results were great. however, there are some overlapping bboxes for some categories of food. some input images will have this category and some will have others. how can i apply nms to retrieve only the highest conf score of the detection and remove overlapping bboxes? i run inference on my best.pt model by giving it input images
Glenn JocherUltralytics(bearbeitet)Hi there! It's great to hear that your food detection project is yielding excellent results! 🎉
To address the issue of overlapping bounding boxes, you can apply Non-Maximum Suppression (NMS) to retain only the highest confidence score detections and remove the overlapping ones. YOLO models typically handle NMS internally, but you can customize the NMS settings during inference to better suit your needs.
Here's how you can do it:
Using Python
If you're running inference in a Python environment, you can set the
conf(confidence threshold) andiou(IoU threshold for NMS) parameters when calling thepredictmethod. Here's an example:from ultralytics import YOLO # Load your custom-trained model model = YOLO('path/to/best.pt') # Run inference with custom NMS settings results = model.predict(source='path/to/your/image.jpg', conf=0.25, iou=0.45) # Display results results[0].show()Using CLI
If you're using the command line interface, you can specify these parameters directly in your command:
yolo predict model=path/to/best.pt source='path/to/your/image.jpg' conf=0.25 iou=0.45Explanation
conf: This sets the minimum confidence threshold for detections. Detections with a confidence score below this value will be discarded.iou: This sets the IoU threshold for NMS. Detections with an IoU greater than this value will be considered overlapping, and only the one with the highest confidence score will be kept.
For more detailed information on inference and NMS settings, you can refer to the YOLO Predict Documentation.
If you encounter any issues or need further assistance, please ensure you're using the latest versions of
torchandultralytics. If the problem persists, providing a minimum reproducible example would be very helpful. You can find guidelines on creating one here: Minimum Reproducible Example.Happy coding, and best of luck with your project! 🚀
TanWeeKang
because the goal for now is to remove overlapping, if i set the iou threshold on the high side, the image doesnt differ much from the original detected image, where there are many overlappings. if i set to a low iou threshold, more overlappings will be removed.
TanWeeKang
another thing is that for my food detection i have 5 classes/categories of food. under these 5 categories i have variety of food for each category, but i label and train the model on these 5 classes, for simplicity sake i did not go into detail about what kind of food is that, lets say meat we have fish, pork etc. the model see either of those and classify as meat. although they are from same classes, they might have different prices. now how can i use segmentation( maybe from opencv) to distinguish the image i used to run inference on my best.pt model to identify the difference in meat like fish, pork to have different prices?
Glenn JocherUltralytics(bearbeitet)Hi there! Thanks for reaching out and providing detailed feedback on your experience with overlapping bounding boxes in your food detection project. It's fantastic to hear that your detection results are generally great! 🎉
To address the issue of overlapping bounding boxes, adjusting the IoU threshold is indeed a key factor. Here’s a more refined approach to help you achieve the best balance:
Fine-Tuning IoU Threshold
- High IoU Threshold: Retains more overlapping boxes, which might be useful if you want to ensure that no potential detections are missed.
- Low IoU Threshold: Removes more overlapping boxes, which can help in reducing redundancy but might risk missing some detections.
Practical Steps
- Experiment with Intermediate Values: Instead of setting the IoU threshold to extremes, try intermediate values (e.g., 0.3, 0.4, 0.5) to find a sweet spot that minimizes overlaps without losing important detections.
- Confidence Threshold: Adjust the confidence threshold (
conf) to filter out low-confidence detections, which can also help in reducing overlaps.
Example Code
Here’s how you can apply these settings in Python:
from ultralytics import YOLO # Load your custom-trained model model = YOLO('path/to/best.pt') # Run inference with custom NMS settings results = model.predict(source='path/to/your/image.jpg', conf=0.25, iou=0.45) # Display results results[0].show()And using the CLI:
yolo predict model=path/to/best.pt source='path/to/your/image.jpg' conf=0.25 iou=0.45Additional Resources
For more detailed guidance on optimizing your model and handling common issues, you might find the following guides helpful:
If you continue to experience issues, please ensure you are using the latest versions of
torchandultralytics. If the problem persists, providing a minimum reproducible example would be very helpful. You can find guidelines on creating one here: Minimum Reproducible Example.Feel free to reach out if you have any more questions or need further assistance. Happy coding! 🚀
TanWeeKang
another thing is that for my food detection i have 5 classes/categories of food. under these 5 categories i have variety of food for each category, but i label and train the model on these 5 classes, for simplicity sake i did not go into detail about what kind of food is that, lets say meat we have fish, pork etc. the model see either of those and classify as meat. although they are from same classes, they might have different prices. now how can i use segmentation( maybe from opencv) to distinguish the image i used to run inference on my best.pt model to identify the difference in meat like fish, pork to have different prices?
Glenn JocherUltralyticsHi there! It's fantastic to hear about your progress with food detection using YOLO. 😊
To distinguish between different types of food within the same category (like fish and pork under "meat"), you can leverage segmentation techniques. Here's a step-by-step approach to achieve this:
1. Segmentation with OpenCV
You can use OpenCV to perform image segmentation, which will help you isolate different types of food within the same category. Here's a basic example of how you might use OpenCV for segmentation:
import cv2 import numpy as np # Load the image image = cv2.imread('path/to/your/image.jpg') # Convert to grayscale gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # Apply GaussianBlur to reduce noise and improve contour detection blurred = cv2.GaussianBlur(gray, (5, 5), 0) # Use Canny edge detection edges = cv2.Canny(blurred, 50, 150) # Find contours contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # Draw contours on the original image cv2.drawContours(image, contours, -1, (0, 255, 0), 2) # Display the result cv2.imshow('Segmented Image', image) cv2.waitKey(0) cv2.destroyAllWindows()2. Combining YOLO Detection with Segmentation
You can combine the bounding boxes from your YOLO model with segmentation to further classify the detected objects. Here’s a conceptual approach:
- Run YOLO Inference: Use your trained YOLO model to detect the general categories (e.g., meat).
- Apply Segmentation: Within each detected bounding box, apply segmentation to isolate different types of food.
- Classify Segmented Regions: Use additional classification models or heuristics to distinguish between types like fish and pork.
3. Advanced Segmentation Techniques
For more precise segmentation, consider using advanced models like Mask R-CNN or leveraging pre-trained segmentation models available in frameworks like PyTorch or TensorFlow.
Example with YOLO and Segmentation
Here’s a more integrated example combining YOLO detection with OpenCV segmentation:
from ultralytics import YOLO import cv2 # Load your custom-trained YOLO model model = YOLO('path/to/best.pt') # Run inference results = model.predict(source='path/to/your/image.jpg', conf=0.25, iou=0.45) # Process each detected bounding box for result in results: for box in result.boxes: x1, y1, x2, y2 = map(int, box.xyxy[0]) cropped_img = result.orig_img[y1:y2, x1:x2] # Convert to grayscale and apply segmentation gray = cv2.cvtColor(cropped_img, cv2.COLOR_BGR2GRAY) blurred = cv2.GaussianBlur(gray, (5, 5), 0) edges = cv2.Canny(blurred, 50, 150) contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) cv2.drawContours(cropped_img, contours, -1, (0, 255, 0), 2) # Display the segmented image cv2.imshow('Segmented Image', cropped_img) cv2.waitKey(0) cv2.destroyAllWindows()Further Reading
For more detailed guides and advanced techniques, you might find these resources helpful:
Feel free to experiment with these techniques and adjust the parameters to better suit your specific use case. If you have any more questions or need further assistance, don't hesitate to ask. Happy coding! 🚀
thisisqiuqiuqiu
Thank you very much for your letter. Your reply is very helpful to my experimental training. I understand how to set up the basic model training. I wish you all success in your future work.
------------------ 原始邮件 ------------------ 发件人: "ultralytics/ultralytics" @.>; 发送时间: 2024年5月20日(星期一) 中午12:11 @.>; @.@.>; 主题: Re: [ultralytics/ultralytics] zh/guides/ (Discussion #12787)
Hello! The number of epochs needed for training the YOLOv8 base model can vary depending on your specific dataset and the complexity of the task. While 500 epochs might be necessary for some scenarios to achieve optimal results, it's not a strict requirement for all cases.
A good practice is to monitor the training process for signs of convergence, such as stable validation loss and accuracy metrics. You can start with fewer epochs, like 100 or 200, and evaluate the model's performance. If the results are not satisfactory, you can continue training for more epochs or consider adjusting other hyperparameters.
Here's a simple example to start training with a specified number of epochs: yolo train data=coco128.yaml model=yolov8n.pt epochs=100
Adjust the epochs value as needed based on your observations. Happy training! 😊
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
thisisqiuqiuqiu
I would like to ask, does the yolov8 base model need to be trained to 500 epochs?
Glenn JocherUltralytics(bearbeitet)Hello! The number of epochs needed for training the YOLO base model can vary depending on your specific dataset and the complexity of the task. While 500 epochs might be necessary for some scenarios to achieve optimal results, it's not a strict requirement for all cases.
A good practice is to monitor the training process for signs of convergence, such as stable validation loss and accuracy metrics. You can start with fewer epochs, like 100 or 200, and evaluate the model's performance. If the results are not satisfactory, you can continue training for more epochs or consider adjusting other hyperparameters.
Here's a simple example to start training with a specified number of epochs:
yolo train data=coco128.yaml model=yolo26n.pt epochs=100Adjust the
epochsvalue as needed based on your observations. Happy training! 😊