インスタンスセグメンテーションデータセットの概要
インスタンスセグメンテーションは、画像内の個々の物体を識別し、その輪郭を特定するコンピュータービジョンタスクです。このガイドでは、Ultralytics YOLOがインスタンスセグメンテーションタスクでサポートするデータセット形式の概要と、モデルのトレーニングに向けたデータセットの準備、変換、使用方法を説明します。
サポートされているデータセット形式#
Ultralytics YOLO形式#
YOLOセグメンテーションモデルのトレーニングに使用するデータセットのラベル形式は、次のとおりです。
- 画像ごとに1つのテキストファイル:データセット内の各画像に、画像ファイルと同じ名前で拡張子が「.txt」のテキストファイルが対応します。
- 物体ごとに1行:テキストファイルの各行は、画像内の1つの物体インスタンスに対応します。
- 各行に物体情報を記載:各行には、物体インスタンスに関する次の情報が含まれます。
- 物体クラスのインデックス:物体のクラスを表す整数(例:人は0、車は1など)。
- 物体ポリゴンの座標:物体のマスクの輪郭を示す
(x, y)の点で、値は0~1に正規化されています。
セグメンテーションデータセットファイルにおける1行の形式は、次のとおりです。
<class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>この形式では、<class-index>は物体のクラスインデックスで、<x1> <y1> <x2> <y2> ... <xn> <yn>は物体のセグメンテーションマスクを表す正規化済みポリゴン座標です(値は画像の幅と高さに対する[0, 1]です)。座標はスペースで区切られます。
以下は、3点のセグメントと5点のセグメントで構成された2つの物体を含む、1枚の画像に対するYOLOデータセット形式の例です。
0 0.681 0.485 0.670 0.487 0.676 0.487
1 0.504 0.000 0.501 0.004 0.498 0.004 0.493 0.010 0.492 0.0104- 各行の長さは同じである必要はありません。
- 各セグメンテーションラベルには、最低3つの
(x, y)点が必要です:<class-index> <x1> <y1> <x2> <y2> <x3> <y3> - すべてのオブジェクトにポリゴンが必要です。検出形式の行(
<class-index> <x_center> <y_center> <width> <height>)にはポリゴンが含まれておらず、ボックス数とポリゴン数が一致しないセグメンテーションデータセットは、ラベルの読み込み時にValueErrorで拒否されます。
データセットのYAML形式#
Ultralyticsフレームワークでは、セグメンテーションモデルのトレーニングに用いるデータセットとモデルの設定をYAMLファイル形式で定義します。以下は、セグメンテーションデータセットの定義に使用するYAML形式の例です。
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/segment/coco8-seg
# Example usage: yolo train data=coco8-seg.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco8-seg ← downloads here (1 MB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco8-seg # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-seg.ziptrain、val、testフィールドは、それぞれ学習、検証、テスト用の画像を指定します。各フィールドは、ディレクトリ、画像ファイル、ディレクトリまたは画像ファイルのリスト、あるいは1行につき1つの画像パスを記載したUTF-8の*.txtファイルを受け付けます(./で始まるパスは、*.txtファイルを基準に解決されます)。*.txtファイルは、ディレクトリ内の一部のデータのみで学習する場合、ラベルのない画像をスキップする場合、または複数のソースの画像を1つの分割にまとめる場合に便利です。
path: datasets/coco8-seg # dataset root
train: train.txt # a directory, an image, a list e.g. [images/a, images/b], or a *.txt file
val: val.txt
names:
0: personnamesはクラス名の辞書です。クラス名の順序は、YOLOデータセットファイル内のオブジェクトクラスインデックスの順序と一致させてください。
使用方法#
from ultralytics import YOLO
# モデルを読み込む
model = YOLO("yolo26n-seg.pt") # 事前トレーニング済みモデルを読み込みます(トレーニングにはこちらを推奨します)
# モデルをトレーニングする
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)サポート対象のデータセット#
Ultralytics YOLOは、インスタンスセグメンテーションタスク向けにさまざまなデータセットをサポートしています。以下は、最もよく使用されるデータセットの一覧です。これらのデータセットの多くはUltralytics Platformでもホストされており、画像やアノテーションの閲覧、データセット統計の確認、クラウド学習用のクローン作成ができます。
- Carparts-seg:自動車部品のセグメンテーションに特化したデータセットで、自動車関連の用途に最適です。さまざまな車両が含まれており、個々の車両部品に詳細なアノテーションが付けられています。
- COCO:物体検出、セグメンテーション、キャプション生成向けの包括的なデータセットです。幅広いカテゴリにわたる20万枚以上のラベル付き画像を収録しています。
- COCO8-seg:セグメンテーションモデルの学習をすばやくテストするために設計された、COCOのコンパクトな8枚の画像サブセットです。
ultralyticsリポジトリでのCIチェックやワークフロー検証に最適です。 - COCO128-seg:セグメンテーションアノテーション付きのCOCO画像128枚のサブセットを含む、インスタンスセグメンテーション用の小規模なデータセットです。
- Crack-seg:さまざまな表面のひび割れのセグメンテーションに特化したデータセットです。インフラの保守や品質管理に不可欠で、構造上の弱点を検出するモデルの学習に役立つ詳細な画像を提供します。
- Package-seg:さまざまな種類や形状の包装材のセグメンテーションに特化したデータセットです。物流や倉庫の自動化に特に有用で、荷物の取り扱いや仕分けを行うシステムの開発に役立ちます。
独自のデータセットを追加する#
独自のデータセットをお持ちで、Ultralytics YOLO形式を使ってセグメンテーションモデルを学習したい場合は、「Ultralytics YOLO形式」で前述した形式に準拠していることを確認してください。アノテーションを必要な形式に変換し、YAML設定ファイルでパス、クラス数、クラス名を指定します。images/とlabels/は同じ階層にある別々のフォルダーとし、サブフォルダー構造を一致させてください。画像フォルダー内にラベルの.txtファイルを置くと、モデルがラベルを認識できなくなる場合があります。
ラベル形式の移植または変換#
COCOデータセット形式からYOLO形式への変換#
以下のコード例を使用すると、一般的なCOCOデータセット形式からYOLO形式にラベルを変換できます。
from ultralytics.data.converter import convert_coco
convert_coco(labels_dir="path/to/coco/annotations/", use_segments=True)この変換ツールを使うと、COCOデータセットやCOCO形式の任意のデータセットをUltralytics YOLO形式に変換できます。
使用するデータセットがモデルと互換性があり、必要な形式規則に準拠していることを必ず再確認してください。セグメンテーションモデルの学習を成功させるには、データセットが適切にフォーマットされていることが重要です。
自動アノテーション#
自動アノテーションでは、事前学習済み検出モデルからセグメンテーションデータセットを生成できるため、すべてのマスクを手作業で描画せずに多数の画像へラベルを付けられます。ブラウザー上でラベル付けする場合は、Ultralytics PlatformがSAM、YOLO、クラスプロンプトに対応したスマートアノテーションを提供し、VLMリーダーボードではプロンプトを使用するモデルを検出精度、コスト、速度で比較できます。
検出モデルを使用したセグメンテーションデータセットの生成#
Ultralyticsフレームワークを使ってデータセットに自動アノテーションを付けるには、以下のようにauto_annotate関数を使用します。
from ultralytics.data.annotator import auto_annotate
auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")| 引数 | 種類 | デフォルト | 説明 |
|---|---|---|---|
data | str | 必須 | アノテーションまたはセグメンテーションの対象画像を含むディレクトリへのパス。 |
det_model | str | 'yolo26x.pt' | 初期の物体検出に使用するYOLO検出モデルのパス。 |
sam_model | str | 'sam_b.pt' | セグメンテーションに使用するSAMモデルのパス(SAM、SAM 2、MobileSAM、SAM 3の重みに対応)。 |
device | str | '' | 計算デバイス(例:'cuda:0'、'cpu'、またはデバイスを自動検出する場合は'')。 |
conf | float | 0.25 | 信頼度の低い検出結果を除外するためのYOLO検出信頼度しきい値。 |
iou | float | 0.5 | 重複するボックスを除外するための非最大値抑制のIoUしきい値。 |
imgsz | int | 640 | 画像のリサイズに使用する入力サイズ(必要に応じて32の倍数に切り上げられます)。 |
max_det | int | 300 | メモリ効率を高めるための、画像ごとの検出数の最大値。 |
classes | list[int] | None | 検出するクラスインデックスのリスト(例:人物と自転車の場合は[0, 1])。 |
output_dir | str | None | アノテーションの保存ディレクトリ(デフォルト:兄弟ディレクトリの<data>_auto_annotate_labels)。 |
auto_annotate関数には画像のパスを指定します。また、学習済みの検出モデル(例:YOLO26、YOLO11、その他のモデル)、セグメンテーションモデル(例:SAM、SAM 2、MobileSAM、SAM 3)、モデルを実行するデバイス、アノテーション結果を保存する出力ディレクトリも、オプション引数で指定できます。
事前学習済みモデルを使用した自動アノテーションにより、高品質なセグメンテーションデータセットの作成に必要な時間と労力を大幅に削減できます。これは、大規模な画像コレクションを扱う研究者や開発者にとって特に有用です。手作業でのアノテーションではなく、モデルの開発と評価に注力できます。
データセットのアノテーションを可視化する#
モデルを学習する前に、データセットのアノテーションを可視化して正しいことを確認すると役立つ場合があります。Ultralyticsは、この目的のためのユーティリティ関数を提供しています。この関数が読み取るのは検出形式のボックスラベル(<class-index> <x_center> <y_center> <width> <height>)のみであり、セグメンテーションのポリゴンラベルファイルは解析できません。
from ultralytics.data.utils import visualize_image_annotations
label_map = { # アノテーション済みのクラスラベルをすべて含むラベルマップを定義します。
0: "person",
1: "car",
}
# Visualize
visualize_image_annotations(
"path/to/image.jpg", # 入力画像のパス。
"path/to/annotations.txt", # 画像のアノテーションファイルのパス。
label_map,
)この関数はバウンディングボックスを描画し、クラス名でオブジェクトにラベルを付け、読みやすくなるようにテキストの色を調整します。学習前にアノテーションの誤りを見つけて修正するのに役立ちます。
セグメンテーションマスクのYOLO形式への変換#
各ピクセル値がクラスインデックス + 1(0は背景)を表すグレースケールマスク画像がある場合は、以下を使用してYOLOセグメンテーション形式に変換できます。
from ultralytics.data.converter import convert_segment_masks_to_yolo_seg
# COCOのように80クラスを持つデータセットの場合
convert_segment_masks_to_yolo_seg(masks_dir="path/to/masks_dir", output_dir="path/to/output_dir", classes=80)このユーティリティは、マスク画像をYOLOセグメンテーション形式に変換し、指定された出力ディレクトリに保存します。
よくある質問#
Ultralytics YOLOは、インスタンスセグメンテーション向けに複数のデータセット形式をサポートしており、主な形式は独自のUltralytics YOLO形式です。データセット内の各画像には、オブジェクト情報を複数行(オブジェクトごとに1行)に分けて記述した対応するテキストファイルが必要です。このファイルには、クラスインデックスと正規化されたポリゴン座標を記載します。
Ultralyticsのツールを使うと、COCO形式のアノテーションをYOLO形式に簡単に変換できます。
ultralytics.data.converterモジュールのconvert_coco関数を使用できます。from ultralytics.data.converter import convert_coco convert_coco(labels_dir="path/to/coco/annotations/", use_segments=True)このスクリプトは、COCOデータセットのアノテーションを必要なYOLO形式に変換し、YOLOモデルの学習に使用できるようにします。詳細については、ラベル形式の移植または変換をご覧ください。
UltralyticsでYOLOモデルを学習するためのYAMLファイルを準備するには、データセットのパスとクラス名を定義する必要があります。以下はYAML設定の例です。
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license # COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics # Documentation: https://docs.ultralytics.com/datasets/segment/coco8-seg # Example usage: yolo train data=coco8-seg.yaml # parent # ├── ultralytics # └── datasets # └── coco8-seg ← downloads here (1 MB) # Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..] path: coco8-seg # dataset root dir train: images/train # train images (relative to 'path') 4 images val: images/val # val images (relative to 'path') 4 images test: # test images (optional) # Classes names: 0: person 1: bicycle 2: car 3: motorcycle 4: airplane 5: bus 6: train 7: truck 8: boat 9: traffic light 10: fire hydrant 11: stop sign 12: parking meter 13: bench 14: bird 15: cat 16: dog 17: horse 18: sheep 19: cow 20: elephant 21: bear 22: zebra 23: giraffe 24: backpack 25: umbrella 26: handbag 27: tie 28: suitcase 29: frisbee 30: skis 31: snowboard 32: sports ball 33: kite 34: baseball bat 35: baseball glove 36: skateboard 37: surfboard 38: tennis racket 39: bottle 40: wine glass 41: cup 42: fork 43: knife 44: spoon 45: bowl 46: banana 47: apple 48: sandwich 49: orange 50: broccoli 51: carrot 52: hot dog 53: pizza 54: donut 55: cake 56: chair 57: couch 58: potted plant 59: bed 60: dining table 61: toilet 62: tv 63: laptop 64: mouse 65: remote 66: keyboard 67: cell phone 68: microwave 69: oven 70: toaster 71: sink 72: refrigerator 73: book 74: clock 75: vase 76: scissors 77: teddy bear 78: hair drier 79: toothbrush # Download script/URL (optional) download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-seg.zipデータセットに合わせてパスとクラス名を更新してください。詳細については、データセットのYAML形式のセクションをご覧ください。
Ultralytics YOLOの自動アノテーション機能を使うと、学習済みの検出モデルでデータセットのセグメンテーションアノテーションを生成できます。これにより、手動でラベル付けする必要性を大幅に減らせます。以下のように
auto_annotate関数を使用できます。from ultralytics.data.annotator import auto_annotate auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt") # または sam_model="mobile_sam.pt"この関数はアノテーションプロセスを自動化し、より迅速かつ効率的にします。詳細については、自動アノテーションのリファレンスをご覧ください。
コメント80
質問したり、結果を共有したり、ほかの人をサポートしたりできます。
hp0716
Hello, currently my segmentation task requires multi-channel masking, which means that one pixel may belong to multiple categories. Is there any code that implements this feature? Looking forward to receiving your reply.
1kh-diab
hello i tried to convert coco format to yolo format in segmented images but the generated yolo files are empty
from ultralytics.data.converter import convert_coco
convert_coco(labels_dir="groupC/annotations", use_segments=True)
can you tell me
this is example of the original annotation file exported from CVAT to coco format knowing that I used SAM model to do the segmentation
{ "id": 16, "image_id": 10, "category_id": 1, "segmentation": { "counts": [ 2815839, 2, 1817, 5, 1814, 7, 1812, 8, 1810, 10, 1809, 11, 1807, 14, 1805, 15, 1803, 17, 1802, 18, 1801, 18, 1800, 19, 1800, 19, 1800, 19, 1800, 20, 1798, 21, 1798, 21, 1798, 22, 1796, 23, 1796, 23, 1797, 23, 1796, 23, 1796, 23, 1796, 23, 1796, 23, 1797, 23, 1796, 23, 1797, 22, 1797, 23, 1797, 22, 1797, 23, 1797, 22, 1797, 22, 1798, 22, 1798, 21, 1798, 22, 1798, 21, 1798, 22, 1798, 21, 1799, 21, 1798, 21, 1799, 21, 1800, 19, 1801, 18, 1803, 15, 1807, 10, 829643 ], "size": [ 1820, 2048 ] }, "area": 861.0, "bbox": [ 1547.0, 263.0, 46.0, 42.0 ], "iscrowd": 1, "attributes": { "occluded": false } },
1
Glenn JocherUltralytics@kh-diab it seems like the conversion process isn't working as expected. Please ensure that your COCO annotations are correctly formatted and that the
use_segments=Trueparameter is set. Also, make sure you're using the latest version of the Ultralytics package. If the issue persists, try running the conversion with a smaller subset of your data to isolate the problem. For more detailed guidance, you can refer to the Instance Segmentation Datasets Overview.
ratom
I have semantic segmentation data of 6 classes. But the dataset has one folder for images and another folder for segmentation mask. I have color maps for each mask and each class. In this case, I want to create a dataset for YOLO style segmentation. How can I do it.
rohith-aiunika
hi yolo team, can i perform object tracking for my segmentation model using this kind of annotation format ... or do i need x_center, y_center, width, height ... format?
Glenn JocherUltralytics@rohith-aiunika the annotation format
<class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>is sufficient for segmentation tasks, including object tracking with segmentation models, as long as it aligns with the Ultralytics YOLO format. The additional fields for bounding boxes (e.g.,x_center, y_center, width, height) are not required unless explicitly specified for other tasks. For more details, you can refer to Instance Segmentation Datasets Overview.
mathrank
What should I do if the object has a hole in the center?
Glenn JocherUltralytics(編集済み)@mathrank each row in a segmentation label file is a single polygon, so a hole cannot be a separate row (it would be read as a second object). Instead, join the outer and inner boundaries into one polygon by connecting them with a thin bridge between their closest points, which is how the COCO converter (
merge_multi_segment) merges multi-part segments. For details on the format, refer to Instance Segmentation Datasets Overview.
johnlockejrr
Finally I ended up with the following code, any opinion?
from ultralytics import YOLO import cv2 import numpy as np from pathlib import Path image_path = "/home/incognito/yolov8/datasets/sam_v1/images/a34e234a-76be-5392-9b39-4abdcd051719.jpg" # Load the YOLOv8 model model = YOLO('/home/incognito/yolov8/runs/segment/train/weights/best.pt') # Perform inference on an image results = model(image_path) img = cv2.imread(image_path) img_name = Path(image_path).stem # Extract bounding boxes, classes, names, and confidences boxes = results[0].boxes.xyxy.tolist() classes = results[0].boxes.cls.tolist() names = results[0].names confidences = results[0].boxes.conf.tolist() bboxes = [] # Iterate through the results for box, cls, conf in zip(boxes, classes, confidences): x1, y1, x2, y2 = box confidence = conf detected_class = cls name = names[int(cls)] bboxes.append(box) #print(f"class: {name}, box: {box}") bboxes.sort(key=lambda x: x[0]) for number, bbox in enumerate(bboxes): print(bbox) x1, y1, x2, y2 = bbox iso_crop = img[int(y1):int(y2), int(x1):int(x2)] cv2.imwrite(f"{img_name}_{number}.jpg", iso_crop)johnlockejrr
90% ok, most of the lines are in the correct position, some are not... I sorted by
x1, was I wrong?
Glenn JocherUltralytics@johnlockejrr sorting by
x1is fine if you want to order the bounding boxes from left to right. Ensure this aligns with your intended use case. If you need further assistance, feel free to ask! For more on dataset formats, visit the Ultralytics documentation.
johnlockejrr(編集済み)
Yes, you are right, the solution is here https://docs.ultralytics.com/guides/isolating-segmentation-objects/#what-options-are-available-for-saving-the-isolated-objects-after-segmentation. Here is my code that does that (for anyone interested):
from pathlib import Path import cv2 import numpy as np from ultralytics import YOLO m = YOLO("/home/incognito/yolov8/runs/segment/train/weights/best.pt") res = m.predict("/home/incognito/yolov8/datasets/sam_v1/images/a34e234a-76be-5392-9b39-4abdcd051719.jpg") # Iterate detection results for r in res: img = np.copy(r.orig_img) img_name = Path(r.path).stem # Iterate each object contour for ci, c in enumerate(r): label = c.names[c.boxes.cls.tolist().pop()] b_mask = np.zeros(img.shape[:2], np.uint8) # Create contour mask contour = c.masks.xy.pop().astype(np.int32).reshape(-1, 1, 2) _ = cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED) # Choose one: # OPTION-1: Isolate object with black background mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR) isolated = cv2.bitwise_and(mask3ch, img) # OPTION-2: Isolate object with transparent background (when saved as PNG) #isolated = np.dstack([img, b_mask]) # OPTIONAL: detection crop (from either OPT1 or OPT2) x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32) iso_crop = isolated[y1:y2, x1:x2] cv2.imwrite(f"{img_name}_{ci}.jpg", iso_crop)The only problem is that the lines in page are random and not top-down in order. Is there a way to have them in order? As I read the
ultralyticscode the result is sorted by confidence (torch.argsort(scores, descending=True)), this, for segmenting lines of text in a page isn't helping, I should be able to sort it by masks location, from top down and left to right or right to left.
Glenn JocherUltralytics@johnlockejrr to sort the results by mask location, you can modify your code to sort based on the bounding box coordinates. Extract the y-coordinate of the bounding boxes and sort the results accordingly. This will help you achieve a top-down order. If you need further assistance, feel free to ask!
johnlockejrr
Yes, I got it, but that I'm not sure how to do it, didn't find anything in the docs
Glenn JocherUltralyticsTo sort the segmented objects by their location, you can modify your code to sort based on the y-coordinate of the bounding boxes. This will help you achieve a top-down order. If you need further assistance, feel free to ask!
johnlockejrr
@glenn-jocher, thank you for your help! I trained the model already and works pretty well, right now trying to figure out how to predict with it, I mean how to get back polygons so I forward them to a line recognition HTR (like PyLaia) for text recognition. I need to use the segmentation so I can cut the lines of text from the segmented image.
My script:
from ultralytics import YOLO # https://docs.ultralytics.com/modes/predict/#inference-arguments # Load a model model = YOLO("/home/incognito/yolov8/runs/segment/train4/weights/best.pt") # pretrained YOLOv8n model # Run batched inference on a list of images results = model("29.jpg") # return a list of Results objects # Process results list for result in results: boxes = result.boxes # Boxes object for bounding box outputs masks = result.masks # Masks object for segmentation masks outputs keypoints = result.keypoints # Keypoints object for pose outputs probs = result.probs # Probs object for classification outputs obb = result.obb # Oriented boxes object for OBB outputs result.show() # display to screen result.save(filename="result.jpg") # save to diskMy
result.jpg
Glenn JocherUltralytics@johnlockejrr to extract polygons for line recognition, you can access the
masksattribute in your results. This will give you the segmentation masks, which you can then process to obtain the polygon coordinates needed for your HTR system. If you need further details, please refer to the documentation on segmentation results processing.
johnlockejrr
Thank you @glenn-jocher, I converted my data with
page2darknetto darknet format then I converted it to YOLO OBB.johnlockejrr(編集済み)
I'm new to YOLO. I would like to convert my datasets for training a YOLOv8 model. My datasets are mainly in ALTO XML and PAGE XML formats (image/xml), the xml file contains polygons, any idea how to convert to YOLO format? Thank you!
Example:
<TextLine ID="eSc_line_48be6c40" TAGREFS="LT46" BASELINE="627 397 964 397 1713 373 2473 373" HPOS="625" VPOS="338" WIDTH="1848" HEIGHT="87"> <Shape><Polygon POINTS="2470 351 2454 351 2438 349 2422 349 2407 348 2391 348 2375 346 2359 346 2344 345 2328 345 2312 343 2296 343 2281 343 2274 342 2254 345 2184 338 2183 338 2181 338 2158 349 2156 349 2139 349 1986 342 1984 342 1983 342 1959 349 1868 338 1855 340 1839 340 1823 340 1808 342 1792 342 1776 342 1775 342 1700 346 1655 345 1650 346 1634 346 1618 346 1603 346 1587 348 1571 348 1555 348 1540 349 1524 349 1508 349 1492 351 1477 351 1461 351 1445 351 1429 353 1414 353 1398 353 1382 354 1366 354 1350 354 1335 356 1319 356 1303 356 1287 356 1272 357 1256 357 1240 357 1224 359 1209 359 1193 359 1179 359 1179 360 1161 365 966 365 956 367 941 367 925 367 909 368 893 368 878 368 862 370 846 370 830 370 815 370 799 368 788 365 646 365 641 368 625 370 627 397 627 425 734 423 736 423 780 412 846 420 848 420 1111 419 1112 417 1295 403 1377 409 1379 409 1380 409 1410 400 1741 397 1820 397 1842 406 1844 406 1845 406 1847 406 1886 406 2128 397 2148 401 2159 403 2161 403 2162 403 2167 401 2184 392 2470 395 2473 373 2471 351 2470 351"/></Shape> <String CONTENT="את הארון ואת בדיו ואת הכפרת ואת פרכת המסך" HPOS="625" VPOS="338" WIDTH="1848" HEIGHT="87"></String> </TextLine>EDIT: I think this should do it:
https://github.com/mittagessen/page2darknet
Glenn JocherUltralytics@johnlockejrr to convert your ALTO XML and PAGE XML datasets to the YOLO format, you'll need to extract the polygon coordinates and class indices, then format them as
<class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>. You might find thepage2darknettool helpful for this conversion. Once converted, ensure your dataset follows the YOLO format with a corresponding YAML file for training. For more details, you can refer to the Ultralytics documentation on dataset formats.1
