Zum Inhalt springen

Roboflow

Roboflow hat alles, was du brauchst, um Computer Vision Modelle zu erstellen und einzusetzen. Verbinde Roboflow bei jedem Schritt in deiner Pipeline mit APIs und SDKs oder nutze die End-to-End-Schnittstelle, um den gesamten Prozess vom Bild bis zur Inferenz zu automatisieren. Ganz gleich, ob du Daten beschriften, Modelle trainieren oder einsetzen willst: Roboflow bietet dir Bausteine, mit denen du ma├čgeschneiderte Computer-Vision-L├Âsungen f├╝r dein Projekt erstellen kannst.

Lizenzierung

Ultralytics bietet zwei Lizenzierungsoptionen an:

Weitere Informationen findest du unter Ultralytics Lizenzierung.

In diesem Leitfaden zeigen wir dir, wie du Daten findest, beschriftest und organisierst, um sie f├╝r das Training eines benutzerdefinierten Ultralytics YOLOv8 Modells zu verwenden. Verwende das Inhaltsverzeichnis unten, um direkt zu einem bestimmten Abschnitt zu springen:

  • Sammle Daten f├╝r das Training eines eigenen YOLOv8 Modells
  • Hochladen, Konvertieren und Kennzeichnen von Daten f├╝r das Format YOLOv8
  • Daten vorverarbeiten und erg├Ąnzen f├╝r die Robustheit des Modells
  • Datensatzverwaltung f├╝r YOLOv8
  • Exportiere Daten in ├╝ber 40 Formaten f├╝r das Modelltraining
  • Hochladen von benutzerdefinierten YOLOv8 Modellgewichten zum Testen und Bereitstellen
  • Sammle Daten f├╝r das Training eines benutzerdefinierten YOLOv8 Modells

Roboflow bietet zwei Dienste an, mit denen du Daten f├╝r YOLOv8 Modelle sammeln kannst: Universe und Collect.

Universe ist ein Online-Repository mit ├╝ber 250.000 Bilddaten mit insgesamt ├╝ber 100 Millionen Bildern.

Roboflow Universum

Mit einem kostenlosen Roboflow Konto kannst du jeden auf Universe verf├╝gbaren Datensatz exportieren. Um einen Datensatz zu exportieren, klicke auf die Schaltfl├Ąche "Diesen Datensatz herunterladen" auf einem beliebigen Datensatz.

Roboflow Export von Universum-Datens├Ątzen

F├╝r YOLOv8 w├Ąhlst du "YOLOv8" als Exportformat:

Roboflow Export von Universum-Datens├Ątzen

Universe hat auch eine Seite, die alle ├Âffentlichen, fein abgestimmten YOLOv8 Modelle zusammenfasst , die auf Roboflow hochgeladen wurden. Du kannst diese Seite nutzen, um vortrainierte Modelle zu erkunden, die du zum Testen oder f├╝r die automatische Datenbeschriftung verwenden kannst, oder um Prototypen mit Roboflow Inferenz zu erstellen.

Wenn du selbst Bilder sammeln m├Âchtest, kannst du Collect ausprobieren, ein Open-Source-Projekt, mit dem du automatisch Bilder mit einer Webcam am Rand sammeln kannst. Mit Collect kannst du ├╝ber Text- oder Bildaufforderungen angeben, welche Daten gesammelt werden sollen. So kannst du nur die n├╝tzlichen Daten erfassen, die du f├╝r die Erstellung deines Vision-Modells brauchst.

Hochladen, Konvertieren und Beschriften von Daten f├╝r YOLOv8 Format

Roboflow Annotate ist ein Online-Annotationstool f├╝r die Beschriftung von Bildern zur Objekterkennung, Klassifizierung und Segmentierung.

Um Daten f├╝r ein YOLOv8 Objekterkennungs-, Instanzsegmentierungs- oder Klassifizierungsmodell zu beschriften, erstellst du zun├Ąchst ein Projekt in Roboflow.

Erstelle ein Roboflow Projekt

Als N├Ąchstes l├Ądst du deine Bilder und alle bereits vorhandenen Anmerkungen aus anderen Tools(mit einem der ├╝ber 40 unterst├╝tzten Importformate) in Roboflow hoch.

Bilder hochladen zu Roboflow

W├Ąhle den Stapel Bilder, den du hochgeladen hast, auf der Seite "Anmerkungen" aus, zu der du nach dem Hochladen der Bilder weitergeleitet wirst. Klicke dann auf "Mit dem Beschriften beginnen", um die Bilder zu beschriften.

Um mit Begrenzungsrahmen zu beschriften, dr├╝cke die B Taste auf deiner Tastatur oder klicke auf das Kasten-Symbol in der Seitenleiste. Klicke auf einen Punkt, an dem dein Begrenzungsrahmen beginnen soll, und ziehe dann, um den Rahmen zu erstellen:

Ein Bild mit Anmerkungen versehen in Roboflow

Sobald du eine Anmerkung erstellt hast, wird ein Pop-up-Fenster angezeigt, in dem du aufgefordert wirst, eine Klasse f├╝r deine Anmerkung auszuw├Ąhlen.

Um mit Polygonen zu beschriften, dr├╝cke die P Taste auf deiner Tastatur oder das Polygonsymbol in der Seitenleiste. Wenn das Polygon-Anmerkungswerkzeug aktiviert ist, klicke auf einzelne Punkte im Bild, um ein Polygon zu zeichnen.

Roboflow bietet einen SAM-basierten Beschriftungsassistenten, mit dem du Bilder schneller als je zuvor beschriften kannst. SAM (Segment Anything Model) ist ein hochmodernes Computer Vision Modell, das Bilder pr├Ązise beschriften kann. Mit SAM kannst du den Prozess der Bildbeschriftung erheblich beschleunigen. Das Beschriften von Bildern mit Polygonen wird so einfach wie ein paar Klicks, anstatt dass du m├╝hsam Punkte um ein Objekt herum anklicken musst.

Um den Etikettenassistenten zu verwenden, klicke auf das Cursor-Symbol in der Seitenleiste. SAM wird dann zur Verwendung in deinem Projekt geladen.

Kommentieren eines Bildes in Roboflow mit SAM-unterst├╝tzter Beschriftung

Wenn du mit dem Mauszeiger ├╝ber ein beliebiges Objekt im Bild f├Ąhrst, schl├Ągt SAM eine Anmerkung vor. Du kannst mit dem Mauszeiger die richtige Stelle f├╝r die Anmerkung suchen und dann darauf klicken, um deine Anmerkung zu erstellen. Wenn du deine Anmerkung mehr oder weniger spezifisch gestalten m├Âchtest, kannst du innerhalb oder au├čerhalb der Anmerkung klicken, die SAM auf dem Dokument erstellt hat.

Du kannst den Bildern auch Tags ├╝ber das Panel Tags in der Seitenleiste hinzuf├╝gen. Du kannst Daten aus einem bestimmten Gebiet, die von einer bestimmten Kamera aufgenommen wurden, mit Tags versehen und vieles mehr. Anhand dieser Tags kannst du dann die Daten nach Bildern durchsuchen, die einem Tag entsprechen, und Versionen eines Datensatzes mit Bildern erstellen, die ein bestimmtes Tag oder einen Satz von Tags enthalten.

Hinzuf├╝gen von Tags zu einem Bild in Roboflow

Modelle, die auf Roboflow gehostet werden, k├Ânnen mit Label Assist verwendet werden. Dabei handelt es sich um ein automatisches Anmerkungswerkzeug, das dein YOLOv8 Modell nutzt, um Anmerkungen zu empfehlen. Um Label Assist zu nutzen, lade zun├Ąchst ein YOLOv8 Modell auf Roboflow hoch (siehe Anweisungen weiter unten im Leitfaden). Dann klickst du auf das Zauberstab-Symbol in der linken Seitenleiste und w├Ąhlst dein Modell f├╝r die Verwendung in Label Assist aus.

W├Ąhle ein Modell aus und klicke dann auf "Weiter", um den Etikettenassistenten zu aktivieren:

Aktivieren des Label Assist

Wenn du neue Bilder zum Beschriften ├Âffnest, l├Âst Label Assist Anmerkungen aus und empfiehlt sie.

ALabel Assist empfiehlt eine Beschriftung

Datensatzverwaltung f├╝r YOLOv8

Roboflow bietet eine Reihe von Werkzeugen f├╝r das Verstehen von Computer-Vision-Datens├Ątzen.

Erstens kannst du die Datensatzsuche verwenden, um Bilder zu finden, die einer semantischen Textbeschreibung entsprechen (z. B. alle Bilder finden, die Personen enthalten) oder die einer bestimmten Bezeichnung entsprechen (d. h. das Bild ist mit einem bestimmten Tag verbunden). Um die Datensatzsuche zu nutzen, klicke in der Seitenleiste auf "Datensatz". Gib dann eine Suchanfrage ├╝ber die Suchleiste und die zugeh├Ârigen Filter oben auf der Seite ein.

Die folgende Textabfrage findet zum Beispiel Bilder, die Personen in einem Datensatz enthalten:

Suche nach einem Bild

Mit dem Selektor "Tags" kannst du deine Suche auf Bilder mit einem bestimmten Tag einschr├Ąnken:

Bilder nach Tag filtern

Bevor du anf├Ąngst, ein Modell mit deinem Datensatz zu trainieren, empfehlen wir dir Roboflow Health Check, ein Webtool, das dir einen Einblick in deinen Datensatz gibt und dir zeigt, wie du den Datensatz vor dem Training eines Bildverarbeitungsmodells verbessern kannst.

Um Health Check zu nutzen, klicke auf den Link "Health Check" in der Seitenleiste. Es wird eine Liste mit Statistiken angezeigt, die die durchschnittliche Gr├Â├če der Bilder in deinem Datensatz, die Klassenbalance, eine Heatmap, die zeigt, wo sich Anmerkungen in deinen Bildern befinden, und vieles mehr.

Roboflow Health Check Analyse

Der Health Check kann Änderungen empfehlen, um die Leistung des Datensatzes zu verbessern. Die Funktion "Klassenbalance" kann z. B. ein Ungleichgewicht bei den Bezeichnungen aufzeigen, das die Leistung deines Modells verbessern kann, wenn es behoben wird.

Exportiere Daten in ├╝ber 40 Formaten f├╝r die Modellschulung

Um deine Daten zu exportieren, brauchst du eine Datensatzversion. Eine Version ist ein in der Zeit eingefrorener Zustand deines Datensatzes. Um eine Version zu erstellen, klicke zun├Ąchst auf "Versionen" in der Seitenleiste. Dann klickst du auf die Schaltfl├Ąche "Neue Version erstellen". Auf dieser Seite kannst du Erweiterungen und Vorverarbeitungsschritte ausw├Ąhlen, die du auf deinen Datensatz anwenden m├Âchtest:

Erstellen einer Datensatzversion auf Roboflow

F├╝r jede Augmentierung, die du ausw├Ąhlst, erscheint ein Pop-up-Fenster, in dem du die Augmentierung auf deine Bed├╝rfnisse abstimmen kannst. Hier ist ein Beispiel f├╝r die Einstellung einer Helligkeitssteigerung innerhalb bestimmter Parameter:

Anwendung von Erweiterungen auf einen Datensatz

Wenn du deine Datensatzversion erstellt hast, kannst du deine Daten in eine Reihe von Formaten exportieren. Klicke auf die Schaltfl├Ąche "Datensatz exportieren" auf der Seite mit deiner Datensatzversion, um deine Daten zu exportieren:

Exportieren eines Datensatzes

Jetzt kannst du YOLOv8 mit einem eigenen Datensatz trainieren. Folge dieser schriftlichen Anleitung und dem YouTube-Video f├╝r eine Schritt-f├╝r-Schritt-Anleitung oder sieh in der Ultralytics Dokumentation nach.

Hochladen von benutzerdefinierten YOLOv8 Modellgewichten zum Testen und Einsetzen

Roboflow bietet eine unbegrenzt skalierbare API f├╝r die Bereitstellung von Modellen und SDKs zur Verwendung mit NVIDIA Jetsons, Luxonis OAKs, Raspberry Pis, GPU-basierten Ger├Ąten und mehr.

Du kannst YOLOv8 Modelle einsetzen, indem du YOLOv8 Gewichte auf Roboflow hochl├Ądst. Das kannst du mit ein paar Zeilen Python Code machen. Erstelle eine neue Python Datei und f├╝ge den folgenden Code ein:

import roboflow  # install with 'pip install roboflow'

roboflow.login()

rf = roboflow.Roboflow()

project = rf.workspace(WORKSPACE_ID).project("football-players-detection-3zvbc")
dataset = project.version(VERSION).download("yolov8")

project.version(dataset.version).deploy(model_type="yolov8", model_path=f"{HOME}/runs/detect/train/")

Ersetze in diesem Code die Projekt-ID und die Versions-ID durch die Werte f├╝r dein Konto und dein Projekt. Erfahre, wie du deinen Roboflow API-Schl├╝ssel abrufst.

Wenn du den obigen Code ausf├╝hrst, wirst du aufgefordert, dich zu authentifizieren. Dann wird dein Modell hochgeladen und eine API f├╝r dein Projekt erstellt. Dieser Vorgang kann bis zu 30 Minuten in Anspruch nehmen.

Um dein Modell zu testen und Anweisungen f├╝r die Bereitstellung der unterst├╝tzten SDKs zu finden, gehe auf den Reiter "Bereitstellung" in der Seitenleiste von Roboflow . Oben auf dieser Seite wird ein Widget angezeigt, mit dem du dein Modell testen kannst. Du kannst deine Webcam f├╝r Live-Tests verwenden oder Bilder oder Videos hochladen.

Inferenz auf ein Beispielbild anwenden

Du kannst dein hochgeladenes Modell auch als Beschriftungsassistent verwenden. Diese Funktion nutzt dein trainiertes Modell, um Anmerkungen zu den auf Roboflow hochgeladenen Bildern zu empfehlen.

Wie du YOLOv8 Modelle bewertest

Roboflow bietet eine Reihe von Funktionen f├╝r die Bewertung von Modellen.

Sobald du ein Modell auf Roboflow hochgeladen hast, kannst du auf unser Modellbewertungstool zugreifen, das eine Konfusionsmatrix, die die Leistung deines Modells zeigt, sowie eine interaktive Darstellung der Vektoranalyse bereitstellt. Diese Funktionen k├Ânnen dir helfen, M├Âglichkeiten zur Verbesserung deines Modells zu finden.

Um eine Verwechslungsmatrix aufzurufen, gehst du auf deine Modellseite im Roboflow Dashboard und klickst dann auf "Detaillierte Bewertung anzeigen":

Starte eine Roboflow Modellbewertung

Es erscheint ein Pop-up-Fenster mit einer Verwechslungsmatrix:

Eine Verwirrungsmatrix

Bewege den Mauszeiger ├╝ber ein K├Ąstchen in der Verwirrungsmatrix, um den dazugeh├Ârigen Wert zu sehen. Klicke auf ein K├Ąstchen, um die Bilder der jeweiligen Kategorie zu sehen. Klicke auf ein Bild, um die Modellvorhersagen und die Wahrheitsdaten zu diesem Bild anzuzeigen.

F├╝r weitere Einblicke klickst du auf Vektoranalyse. Daraufhin wird ein Streudiagramm der Bilder in deinem Datensatz angezeigt, das mit CLIP berechnet wurde. Je n├Ąher die Bilder in der Grafik beieinander liegen, desto ├Ąhnlicher sind sie sich in semantischer Hinsicht. Jedes Bild wird als ein Punkt mit einer Farbe zwischen wei├č und rot dargestellt. Je roter der Punkt ist, desto schlechter hat das Modell abgeschnitten.

Ein Vektoranalyseplot

Du kannst die Vektoranalyse verwenden, um:

  • Finde Cluster von Bildern;
  • Identifiziere Cluster, in denen das Modell schlecht abschneidet, und;
  • Visualisiere Gemeinsamkeiten zwischen Bildern, bei denen das Modell schlecht abschneidet.

Lernressourcen

M├Âchtest du mehr ├╝ber die Verwendung von Roboflow f├╝r die Erstellung von YOLOv8 Modellen erfahren? Die folgenden Ressourcen k├Ânnen dir bei deiner Arbeit behilflich sein.

  • Trainiere YOLOv8 mit einem benutzerdefinierten Datensatz: Unser interaktives Notizbuch zeigt dir, wie du ein YOLOv8 Modell auf einem benutzerdefinierten Datensatz trainierst.
  • Autodistill: Verwende gro├če Foundation Vision Modelle, um Daten f├╝r bestimmte Modelle zu beschriften. Mit Autodistill kannst du Bilder f├╝r das Training von YOLOv8 Klassifizierungs-, Erkennungs- und Segmentierungsmodellen beschriften.
  • Supervision: Ein Python Paket mit hilfreichen Dienstprogrammen f├╝r die Arbeit mit Computer Vision Modellen. Du kannst Supervision nutzen, um Erkennungen zu filtern, Konfusionsmatrizen zu berechnen und vieles mehr - und das alles in ein paar Zeilen Python Code.
  • Roboflow Blog: Der Roboflow Blog enth├Ąlt mehr als 500 Artikel zum Thema Computer Vision, die sich mit Themen wie dem Trainieren eines YOLOv8 Modells bis hin zu Best Practices bei der Annotation befassen.
  • Roboflow YouTube-Kanal: Auf unserem YouTube-Kanal findest du Dutzende von ausf├╝hrlichen Anleitungen zum Thema Computer Vision, die vom Training von YOLOv8 Modellen bis zur automatischen Bildbeschriftung reichen.

Projekt Schaufenster

Im Folgenden findest du einige der vielen R├╝ckmeldungen, die wir f├╝r die Verwendung von YOLOv8 und Roboflow zur Erstellung von Computer Vision Modellen erhalten haben.

Vorzeigebild Vorzeigebild Vorzeigebild



Erstellt am 2023-11-12, Aktualisiert am 2024-01-21
Autoren: glenn-jocher (8), capjamesg (1)

Kommentare