ابدأ

نظرة عامة على مجموعات بيانات تجزئة المثيلات

تجزئة الكائنات مهمة من مهام الرؤية الحاسوبية تتضمن تحديد الكائنات الفردية داخل الصورة ورسم حدودها. يقدم هذا الدليل نظرة عامة على تنسيقات مجموعات البيانات التي يدعمها Ultralytics YOLO لمهام تجزئة الكائنات، إلى جانب إرشادات لإعداد مجموعات البيانات هذه وتحويلها واستخدامها لتدريب نماذجك.

تنسيقات مجموعات البيانات المدعومة#

تنسيق Ultralytics YOLO#

تنسيق تسميات مجموعة البيانات المستخدم لتدريب نماذج تجزئة YOLO هو كما يلي:

  1. ملف نصي واحد لكل صورة: تقابل كل صورة في مجموعة البيانات ملفًا نصيًا يحمل اسم ملف الصورة نفسه، ويمتد باللاحقة ".txt".
  2. سطر واحد لكل كائن: يقابل كل سطر في الملف النصي مثيلًا واحدًا لكائن في الصورة.
  3. معلومات الكائن في كل سطر: يحتوي كل سطر على المعلومات التالية حول مثيل الكائن:
    • مؤشر فئة الكائن: عدد صحيح يمثل فئة الكائن (مثلًا، 0 للشخص و1 للسيارة، إلخ).
    • إحداثيات مضلّع الكائن: نقاط (x, y) التي تحدد محيط قناع الكائن، بعد تطبيعها لتقع بين 0 و1.

يكون تنسيق السطر الواحد في ملف مجموعة بيانات التجزئة كما يلي:

<class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>

في هذا التنسيق، يمثّل <class-index> مؤشر فئة الكائن، وتمثّل <x1> <y1> <x2> <y2> ... <xn> <yn> إحداثيات المضلّع المُطبّعة لقناع تجزئة الكائن (وتكون القيم ضمن [0, 1] بالنسبة إلى عرض الصورة وارتفاعها). وتُفصل الإحداثيات بمسافات.

فيما يلي مثال على تنسيق مجموعة بيانات YOLO لصورة واحدة تحتوي على كائنين: أحدهما مقطع مكوّن من 3 نقاط، والآخر مقطع مكوّن من 5 نقاط.

0 0.681 0.485 0.670 0.487 0.676 0.487
1 0.504 0.000 0.501 0.004 0.498 0.004 0.493 0.010 0.492 0.0104
نصيحة
  • ليس من الضروري أن يكون طول كل سطر متساويًا.
  • يجب أن تحتوي كل تسمية تجزئة على 3 نقاط (x, y) على الأقل: <class-index> <x1> <y1> <x2> <y2> <x3> <y3>
  • يحتاج كل كائن إلى مضلع. لا تحتوي صفوف تنسيق الكشف (<class-index> <x_center> <y_center> <width> <height>) على أي مضلعات، ويُرفض أي مجموعة بيانات تجزئة يختلف فيها عدد المربعات عن عدد المضلعات مع ظهور ValueError عند تحميل التسميات.

تنسيق YAML لمجموعة البيانات#

يستخدم إطار عمل Ultralytics تنسيق ملف YAML لتعريف مجموعة البيانات وإعداد النموذج عند تدريب نماذج التجزئة. فيما يلي مثال على تنسيق YAML المستخدم لتعريف مجموعة بيانات للتجزئة:

ultralytics/cfg/datasets/coco8-seg.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/segment/coco8-seg
# Example usage: yolo train data=coco8-seg.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco8-seg ← downloads here (1 MB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco8-seg # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)

# Classes
names:
  0: person
  1: bicycle
  2: car
  3: motorcycle
  4: airplane
  5: bus
  6: train
  7: truck
  8: boat
  9: traffic light
  10: fire hydrant
  11: stop sign
  12: parking meter
  13: bench
  14: bird
  15: cat
  16: dog
  17: horse
  18: sheep
  19: cow
  20: elephant
  21: bear
  22: zebra
  23: giraffe
  24: backpack
  25: umbrella
  26: handbag
  27: tie
  28: suitcase
  29: frisbee
  30: skis
  31: snowboard
  32: sports ball
  33: kite
  34: baseball bat
  35: baseball glove
  36: skateboard
  37: surfboard
  38: tennis racket
  39: bottle
  40: wine glass
  41: cup
  42: fork
  43: knife
  44: spoon
  45: bowl
  46: banana
  47: apple
  48: sandwich
  49: orange
  50: broccoli
  51: carrot
  52: hot dog
  53: pizza
  54: donut
  55: cake
  56: chair
  57: couch
  58: potted plant
  59: bed
  60: dining table
  61: toilet
  62: tv
  63: laptop
  64: mouse
  65: remote
  66: keyboard
  67: cell phone
  68: microwave
  69: oven
  70: toaster
  71: sink
  72: refrigerator
  73: book
  74: clock
  75: vase
  76: scissors
  77: teddy bear
  78: hair drier
  79: toothbrush

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-seg.zip

تشير الحقول train وval وtest إلى صور التدريب والتحقق والاختبار. يقبل كل حقل دليلاً أو ملف صورة أو قائمة من الأدلة أو ملفات الصور أو ملف *.txt بترميز UTF-8 يسرد مسار صورة واحداً في كل سطر (تُحل المسارات التي تبدأ بـ ./ نسبةً إلى الملف *.txt). يفيد ملف *.txt في التدريب على مجموعة فرعية من دليل، أو تخطي الصور غير الموسومة، أو جمع الصور من مصادر متعددة في تقسيم واحد.

مسارات الصور في ملف `*.txt`
path: datasets/coco8-seg # dataset root
train: train.txt # a directory, an image, a list e.g. [images/a, images/b], or a *.txt file
val: val.txt
names:
  0: person

names قاموس لأسماء الفئات. ينبغي أن يتطابق ترتيب الأسماء مع ترتيب مؤشرات فئات الكائنات في ملفات مجموعة بيانات YOLO.

الاستخدام#

مثال
from ultralytics import YOLO

# ⁨تحميل نموذج⁩
model = YOLO("yolo26n-seg.pt")  # ⁨تحميل نموذج مدرّب مسبقًا (موصى به للتدريب)⁩

# ⁨تدريب النموذج⁩
results = model.train(data="coco8-seg.yaml", epochs=100, imgsz=640)

مجموعات البيانات المدعومة#

تدعم Ultralytics YOLO مجموعات بيانات متنوعة لمهام تجزئة الكائنات الفردية. فيما يلي قائمة بأكثرها استخدامًا. وتُستضاف معظم هذه المجموعات أيضًا على منصة Ultralytics، حيث يمكنك تصفح الصور والتعليقات التوضيحية، والاطلاع على إحصاءات مجموعات البيانات، واستنساخها للتدريب السحابي.

  • Carparts-seg: مجموعة بيانات متخصصة تركز على تجزئة أجزاء السيارات، وهي مثالية لتطبيقات قطاع السيارات. وتتضمن مجموعة متنوعة من المركبات مع تعليقات توضيحية مفصلة لمكونات كل سيارة.
  • COCO: مجموعة بيانات شاملة لاكتشاف الكائنات والتجزئة وإضافة الأوصاف التوضيحية، وتضم أكثر من 200 ألف صورة موسومة ضمن فئات متنوعة.
  • COCO8-seg: مجموعة فرعية صغيرة من COCO تضم 8 صور، ومخصصة للاختبار السريع لتدريب نماذج التجزئة، وهي مثالية لفحوصات CI والتحقق من سير العمل في مستودع ultralytics.
  • COCO128-seg: مجموعة بيانات أصغر لمهام تجزئة المثيلات، تضم مجموعة فرعية من 128 صورة من COCO مع تعليقات توضيحية للتجزئة.
  • Crack-seg: مجموعة بيانات مصممة لتجزئة الشقوق في أسطح متنوعة. وهي أساسية لصيانة البنية التحتية ومراقبة الجودة، إذ توفر صورًا مفصلة لتدريب النماذج على تحديد نقاط الضعف الهيكلية.
  • Package-seg: مجموعة بيانات مخصصة لتجزئة أنواع مواد التغليف وأشكالها المختلفة. وهي مفيدة بوجه خاص لأتمتة الخدمات اللوجستية والمستودعات، وتساعد في تطوير أنظمة مناولة الطرود وفرزها.

إضافة مجموعة البيانات الخاصة بك#

إذا كانت لديك مجموعة بيانات خاصة بك وتريد استخدامها لتدريب نماذج التجزئة بتنسيق Ultralytics YOLO، فتأكد من اتباعها التنسيق المحدد أعلاه ضمن «تنسيق Ultralytics YOLO». حوّل التعليقات التوضيحية إلى التنسيق المطلوب، وحدد المسارات وعدد الفئات وأسماءها في ملف إعدادات YAML. احتفظ بالمجلدين images/ وlabels/ منفصلين وعلى المستوى نفسه، مع تطابق بنية المجلدات الفرعية؛ إذ قد يؤدي وضع ملفات .txt الخاصة بالتسميات في مجلد الصور إلى عدم اكتشاف النموذج للتسميات.

نقل تنسيقات التسميات أو تحويلها#

تحويل تنسيق مجموعة بيانات COCO إلى تنسيق YOLO#

يمكنك تحويل التسميات من تنسيق مجموعة بيانات COCO الشائع إلى تنسيق YOLO باستخدام مقتطف التعليمات البرمجية التالي:

مثال
from ultralytics.data.converter import convert_coco

convert_coco(labels_dir="path/to/coco/annotations/", use_segments=True)

يمكن استخدام أداة التحويل هذه لتحويل مجموعة بيانات COCO أو أي مجموعة بيانات بتنسيق COCO إلى تنسيق Ultralytics YOLO.

تذكّر التحقق جيدًا من توافق مجموعة البيانات التي تريد استخدامها مع نموذجك ومن اتباعها اصطلاحات التنسيق اللازمة. فالتنسيق الصحيح لمجموعات البيانات ضروري لتدريب نماذج تجزئة ناجحة.

التعليق التوضيحي التلقائي#

ينشئ التوسيم التلقائي مجموعة بيانات للتجزئة من نموذج اكتشاف مهيأ مسبقًا، ما يتيح لك وسم عدد كبير من الصور دون رسم كل قناع يدويًا. أما للتوسيم داخل المتصفح، فتقدم منصة Ultralytics أدوات التوسيم الذكي باستخدام SAM وYOLO والموجّه بالفئات، وتقارن لوحة ترتيب نماذج الرؤية واللغة (VLM) النماذج الموجّهة من حيث دقة الاكتشاف والتكلفة والسرعة.

إنشاء مجموعة بيانات للتجزئة باستخدام نموذج كشف#

لإضافة تعليقات توضيحية تلقائيًا إلى مجموعة بياناتك باستخدام إطار عمل Ultralytics، يمكنك استخدام الدالة auto_annotate كما هو موضح أدناه:

مثال
from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")
المعاملالنوعالافتراضيالوصف
datastrمطلوبمسار الدليل الذي يحتوي على الصور المستهدفة المراد وسمها أو تجزئتها.
det_modelstr'yolo26x.pt'مسار نموذج كشف YOLO لإجراء الكشف الأولي عن الكائنات.
sam_modelstr'sam_b.pt'مسار نموذج SAM لإجراء التجزئة (يدعم أوزان SAM وSAM 2 وMobileSAM وSAM 3).
devicestr''جهاز الحوسبة (مثل 'cuda:0' أو 'cpu' أو '' للكشف التلقائي عن الجهاز).
conffloat0.25عتبة الثقة لكشف YOLO لتصفية الكشوفات ضعيفة الثقة.
ioufloat0.5عتبة IoU لكبت غير الأقصى لتصفية المربعات المتداخلة.
imgszint640حجم الإدخال لتغيير أبعاد الصور (يُقرّب إلى أقرب مضاعف للعدد 32 عند الحاجة).
max_detint300الحد الأقصى لعدد الكشوفات لكل صورة لترشيد استخدام الذاكرة.
classeslist[int]Noneقائمة بمؤشرات الفئات المراد كشفها (مثل [0, 1] للشخص والدراجة).
output_dirstrNoneدليل حفظ الوسوم (الافتراضي: الدليل الشقيق <data>_auto_annotate_labels).

تستقبل الدالة auto_annotate مسار الصور، إلى جانب وسيطات اختيارية لتحديد نماذج الكشف المدرّبة مسبقًا، مثل YOLO26 وYOLO11 أو نماذج أخرى، ونماذج التجزئة، مثل SAM وSAM 2 وMobileSAM أو SAM 3، والجهاز الذي ستُشغّل عليه النماذج، ومجلد الإخراج لحفظ النتائج التي أُضيفت إليها التعليقات التوضيحية.

يقلل التوسيم التلقائي باستخدام النماذج المهيأة مسبقًا بدرجة كبيرة الوقت والجهد اللازمين لإنشاء مجموعات بيانات تجزئة عالية الجودة. ويفيد ذلك خصوصًا الباحثين والمطورين الذين يعملون على مجموعات صور كبيرة، إذ يتيح لهم التركيز على تطوير النماذج وتقييمها بدلًا من التوسيم اليدوي.

تصوير التعليقات التوضيحية لمجموعة البيانات#

غالبًا ما يكون من المفيد عرض التعليقات التوضيحية لمجموعة البيانات بصريًا قبل تدريب النموذج، للتأكد من صحتها. توفر Ultralytics دالة مساعدة لهذا الغرض. تقرأ الدالة تسميات المربعات بتنسيق الكشف (<class-index> <x_center> <y_center> <width> <height>) فقط، ولذلك لا يمكنها تحليل ملفات تسميات مضلعات التجزئة:

from ultralytics.data.utils import visualize_image_annotations

label_map = {  # ⁨عرّف خريطة التسميات التي تضم جميع تسميات الفئات المشروحة.⁩
    0: "person",
    1: "car",
}

# Visualize
visualize_image_annotations(
    "path/to/image.jpg",  # ⁨مسار صورة الإدخال.⁩
    "path/to/annotations.txt",  # ⁨مسار ملف التعليقات التوضيحية للصورة.⁩
    label_map,
)

ترسم هذه الدالة مربعات الإحاطة، وتضع أسماء الفئات لتسمية الكائنات، وتضبط لون النص لتحسين وضوحه، ما يساعدك على اكتشاف أخطاء التعليقات التوضيحية وتصحيحها قبل التدريب.

تحويل أقنعة التجزئة إلى تنسيق YOLO#

إذا كانت لديك صور أقنعة بتدرج الرمادي، حيث تمثل قيمة كل بكسل مؤشر الفئة + 1 (والخلفية قيمتها 0)، فيمكنك تحويلها إلى تنسيق تجزئة YOLO باستخدام:

from ultralytics.data.converter import convert_segment_masks_to_yolo_seg

# ⁨لمجموعات البيانات مثل COCO التي تضم 80 فئة⁩
convert_segment_masks_to_yolo_seg(masks_dir="path/to/masks_dir", output_dir="path/to/output_dir", classes=80)

تحوّل هذه الأداة المساعدة صور الأقنعة إلى تنسيق تجزئة YOLO وتحفظها في مجلد الإخراج المحدد.

الأسئلة الشائعة#

  • يدعم Ultralytics YOLO تنسيقات متعددة لمجموعات بيانات تجزئة الكائنات، ويُعدّ تنسيق Ultralytics YOLO التنسيق الأساسي. تحتاج كل صورة في مجموعة البيانات إلى ملف نصي مطابق يتضمن معلومات الكائنات مقسمة إلى عدة أسطر (سطر لكل كائن)، مع إدراج فهرس الفئة وإحداثيات المضلع المطبّعة.

  • من السهل تحويل التعليقات التوضيحية بتنسيق COCO إلى تنسيق YOLO باستخدام أدوات Ultralytics. يمكنك استخدام الدالة convert_coco من الوحدة ultralytics.data.converter:

    from ultralytics.data.converter import convert_coco
    
    convert_coco(labels_dir="path/to/coco/annotations/", use_segments=True)

    يحوّل هذا البرنامج النصي التعليقات التوضيحية لمجموعة بيانات COCO إلى تنسيق YOLO المطلوب، لتصبح مناسبة لتدريب نماذج YOLO. لمزيد من التفاصيل، راجع نقل تنسيقات التسميات أو تحويلها.

  • لإعداد ملف YAML لتدريب نماذج YOLO باستخدام Ultralytics، تحتاج إلى تعريف مسارات مجموعة البيانات وأسماء الفئات. فيما يلي مثال على إعداد YAML:

    # Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
    
    # COCO8-seg dataset (first 8 images from COCO train2017) by Ultralytics
    # Documentation: https://docs.ultralytics.com/datasets/segment/coco8-seg
    # Example usage: yolo train data=coco8-seg.yaml
    # parent
    # ├── ultralytics
    # └── datasets
    #     └── coco8-seg ← downloads here (1 MB)
    
    # Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
    path: coco8-seg # dataset root dir
    train: images/train # train images (relative to 'path') 4 images
    val: images/val # val images (relative to 'path') 4 images
    test: # test images (optional)
    
    # Classes
    names:
      0: person
      1: bicycle
      2: car
      3: motorcycle
      4: airplane
      5: bus
      6: train
      7: truck
      8: boat
      9: traffic light
      10: fire hydrant
      11: stop sign
      12: parking meter
      13: bench
      14: bird
      15: cat
      16: dog
      17: horse
      18: sheep
      19: cow
      20: elephant
      21: bear
      22: zebra
      23: giraffe
      24: backpack
      25: umbrella
      26: handbag
      27: tie
      28: suitcase
      29: frisbee
      30: skis
      31: snowboard
      32: sports ball
      33: kite
      34: baseball bat
      35: baseball glove
      36: skateboard
      37: surfboard
      38: tennis racket
      39: bottle
      40: wine glass
      41: cup
      42: fork
      43: knife
      44: spoon
      45: bowl
      46: banana
      47: apple
      48: sandwich
      49: orange
      50: broccoli
      51: carrot
      52: hot dog
      53: pizza
      54: donut
      55: cake
      56: chair
      57: couch
      58: potted plant
      59: bed
      60: dining table
      61: toilet
      62: tv
      63: laptop
      64: mouse
      65: remote
      66: keyboard
      67: cell phone
      68: microwave
      69: oven
      70: toaster
      71: sink
      72: refrigerator
      73: book
      74: clock
      75: vase
      76: scissors
      77: teddy bear
      78: hair drier
      79: toothbrush
    
    # Download script/URL (optional)
    download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-seg.zip

    تأكد من تحديث المسارات وأسماء الفئات بما يتوافق مع مجموعة بياناتك. لمزيد من المعلومات، راجع قسم تنسيق YAML لمجموعة البيانات.

  • تتيح ميزة التعليق التوضيحي التلقائي في Ultralytics YOLO إنشاء تعليقات توضيحية للتجزئة لمجموعة بياناتك باستخدام نموذج كشف مدرّب مسبقًا، ما يقلل بدرجة كبيرة الحاجة إلى الوسم اليدوي. يمكنك استخدام الدالة auto_annotate كما يلي:

    from ultralytics.data.annotator import auto_annotate
    
    auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")  # or sam_model="mobile_sam.pt"

    تؤتمت هذه الدالة عملية إضافة التعليقات التوضيحية، ما يجعلها أسرع وأكثر كفاءة. لمزيد من التفاصيل، راجع مرجع التعليق التوضيحي التلقائي.

التعليقات80

اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.

  1. hp0716GitHub

    Hello, currently my segmentation task requires multi-channel masking, which means that one pixel may belong to multiple categories. Is there any code that implements this feature? Looking forward to receiving your reply.

    1
  2. kh-diabGitHub

    hello i tried to convert coco format to yolo format in segmented images but the generated yolo files are empty

    from ultralytics.data.converter import convert_coco

    convert_coco(labels_dir="groupC/annotations", use_segments=True)

    can you tell me

    this is example of the original annotation file exported from CVAT to coco format knowing that I used SAM model to do the segmentation

    { "id": 16, "image_id": 10, "category_id": 1, "segmentation": { "counts": [ 2815839, 2, 1817, 5, 1814, 7, 1812, 8, 1810, 10, 1809, 11, 1807, 14, 1805, 15, 1803, 17, 1802, 18, 1801, 18, 1800, 19, 1800, 19, 1800, 19, 1800, 20, 1798, 21, 1798, 21, 1798, 22, 1796, 23, 1796, 23, 1797, 23, 1796, 23, 1796, 23, 1796, 23, 1796, 23, 1797, 23, 1796, 23, 1797, 22, 1797, 23, 1797, 22, 1797, 23, 1797, 22, 1797, 22, 1798, 22, 1798, 21, 1798, 22, 1798, 21, 1798, 22, 1798, 21, 1799, 21, 1798, 21, 1799, 21, 1800, 19, 1801, 18, 1803, 15, 1807, 10, 829643 ], "size": [ 1820, 2048 ] }, "area": 861.0, "bbox": [ 1547.0, 263.0, 46.0, 42.0 ], "iscrowd": 1, "attributes": { "occluded": false } },

    1
    1. Glenn JocherUltralytics

      @kh-diab it seems like the conversion process isn't working as expected. Please ensure that your COCO annotations are correctly formatted and that the use_segments=True parameter is set. Also, make sure you're using the latest version of the Ultralytics package. If the issue persists, try running the conversion with a smaller subset of your data to isolate the problem. For more detailed guidance, you can refer to the Instance Segmentation Datasets Overview.

  3. ratomGitHub

    I have semantic segmentation data of 6 classes. But the dataset has one folder for images and another folder for segmentation mask. I have color maps for each mask and each class. In this case, I want to create a dataset for YOLO style segmentation. How can I do it.

  4. rohith-aiunikaGitHub

    hi yolo team, can i perform object tracking for my segmentation model using this kind of annotation format ... or do i need x_center, y_center, width, height ... format?

    1. Glenn JocherUltralytics

      @rohith-aiunika the annotation format <class-index> <x1> <y1> <x2> <y2> ... <xn> <yn> is sufficient for segmentation tasks, including object tracking with segmentation models, as long as it aligns with the Ultralytics YOLO format. The additional fields for bounding boxes (e.g., x_center, y_center, width, height) are not required unless explicitly specified for other tasks. For more details, you can refer to Instance Segmentation Datasets Overview.

    1. Glenn JocherUltralytics(تم التعديل)

      @mathrank each row in a segmentation label file is a single polygon, so a hole cannot be a separate row (it would be read as a second object). Instead, join the outer and inner boundaries into one polygon by connecting them with a thin bridge between their closest points, which is how the COCO converter (merge_multi_segment) merges multi-part segments. For details on the format, refer to Instance Segmentation Datasets Overview.

  5. johnlockejrrGitHub

    Finally I ended up with the following code, any opinion?

    from ultralytics import YOLO
    import cv2
    import numpy as np
    from pathlib import Path
    
    image_path = "/home/incognito/yolov8/datasets/sam_v1/images/a34e234a-76be-5392-9b39-4abdcd051719.jpg"
    
    # Load the YOLOv8 model
    model = YOLO('/home/incognito/yolov8/runs/segment/train/weights/best.pt')
    
    # Perform inference on an image
    results = model(image_path)
    img = cv2.imread(image_path)
    img_name = Path(image_path).stem
    
    # Extract bounding boxes, classes, names, and confidences
    boxes = results[0].boxes.xyxy.tolist()
    classes = results[0].boxes.cls.tolist()
    names = results[0].names
    confidences = results[0].boxes.conf.tolist()
    
    bboxes = []
    # Iterate through the results
    for box, cls, conf in zip(boxes, classes, confidences):
        x1, y1, x2, y2 = box
        confidence = conf
        detected_class = cls
        name = names[int(cls)]
        bboxes.append(box)
        #print(f"class: {name}, box: {box}")
    
    bboxes.sort(key=lambda x: x[0])
    
    for number, bbox in enumerate(bboxes):
        print(bbox)
        x1, y1, x2, y2 = bbox
        iso_crop = img[int(y1):int(y2), int(x1):int(x2)]
        cv2.imwrite(f"{img_name}_{number}.jpg", iso_crop)
    1. Glenn JocherUltralytics

      @johnlockejrr sorting by x1 is fine if you want to order the bounding boxes from left to right. Ensure this aligns with your intended use case. If you need further assistance, feel free to ask! For more on dataset formats, visit the Ultralytics documentation.

  6. johnlockejrrGitHub(تم التعديل)

    Yes, you are right, the solution is here https://docs.ultralytics.com/guides/isolating-segmentation-objects/#what-options-are-available-for-saving-the-isolated-objects-after-segmentation. Here is my code that does that (for anyone interested):

    from pathlib import Path
    
    import cv2
    import numpy as np
    
    from ultralytics import YOLO
    
    m = YOLO("/home/incognito/yolov8/runs/segment/train/weights/best.pt")
    res = m.predict("/home/incognito/yolov8/datasets/sam_v1/images/a34e234a-76be-5392-9b39-4abdcd051719.jpg")
    
    # Iterate detection results
    for r in res:
        img = np.copy(r.orig_img)
        img_name = Path(r.path).stem
    
        # Iterate each object contour
        for ci, c in enumerate(r):
            label = c.names[c.boxes.cls.tolist().pop()]
    
            b_mask = np.zeros(img.shape[:2], np.uint8)
    
            # Create contour mask
            contour = c.masks.xy.pop().astype(np.int32).reshape(-1, 1, 2)
            _ = cv2.drawContours(b_mask, [contour], -1, (255, 255, 255), cv2.FILLED)
    
            # Choose one:
    
            # OPTION-1: Isolate object with black background
            mask3ch = cv2.cvtColor(b_mask, cv2.COLOR_GRAY2BGR)
            isolated = cv2.bitwise_and(mask3ch, img)
    
            # OPTION-2: Isolate object with transparent background (when saved as PNG)
            #isolated = np.dstack([img, b_mask])
    
            # OPTIONAL: detection crop (from either OPT1 or OPT2)
            x1, y1, x2, y2 = c.boxes.xyxy.cpu().numpy().squeeze().astype(np.int32)
            iso_crop = isolated[y1:y2, x1:x2]
            cv2.imwrite(f"{img_name}_{ci}.jpg", iso_crop)

    The only problem is that the lines in page are random and not top-down in order. Is there a way to have them in order? As I read the ultralytics code the result is sorted by confidence (torch.argsort(scores, descending=True)), this, for segmenting lines of text in a page isn't helping, I should be able to sort it by masks location, from top down and left to right or right to left.

    1. Glenn JocherUltralytics

      @johnlockejrr to sort the results by mask location, you can modify your code to sort based on the bounding box coordinates. Extract the y-coordinate of the bounding boxes and sort the results accordingly. This will help you achieve a top-down order. If you need further assistance, feel free to ask!

    2. Glenn JocherUltralytics

      To sort the segmented objects by their location, you can modify your code to sort based on the y-coordinate of the bounding boxes. This will help you achieve a top-down order. If you need further assistance, feel free to ask!

  7. johnlockejrrGitHub

    @glenn-jocher, thank you for your help! I trained the model already and works pretty well, right now trying to figure out how to predict with it, I mean how to get back polygons so I forward them to a line recognition HTR (like PyLaia) for text recognition. I need to use the segmentation so I can cut the lines of text from the segmented image.

    My script:

    from ultralytics import YOLO
    # https://docs.ultralytics.com/modes/predict/#inference-arguments
    # Load a model
    model = YOLO("/home/incognito/yolov8/runs/segment/train4/weights/best.pt")  # pretrained YOLOv8n model
    
    # Run batched inference on a list of images
    results = model("29.jpg")  # return a list of Results objects
    
    # Process results list
    for result in results:
        boxes = result.boxes  # Boxes object for bounding box outputs
        masks = result.masks  # Masks object for segmentation masks outputs
        keypoints = result.keypoints  # Keypoints object for pose outputs
        probs = result.probs  # Probs object for classification outputs
        obb = result.obb  # Oriented boxes object for OBB outputs
        result.show()  # display to screen
        result.save(filename="result.jpg")  # save to disk

    My result.jpg

    result

    1. Glenn JocherUltralytics

      @johnlockejrr to extract polygons for line recognition, you can access the masks attribute in your results. This will give you the segmentation masks, which you can then process to obtain the polygon coordinates needed for your HTR system. If you need further details, please refer to the documentation on segmentation results processing.

  8. johnlockejrrGitHub(تم التعديل)

    I'm new to YOLO. I would like to convert my datasets for training a YOLOv8 model. My datasets are mainly in ALTO XML and PAGE XML formats (image/xml), the xml file contains polygons, any idea how to convert to YOLO format? Thank you!

    Example:

              <TextLine ID="eSc_line_48be6c40"
                        TAGREFS="LT46"
                        BASELINE="627 397 964 397 1713 373 2473 373"
                        HPOS="625"
                        VPOS="338"
                        WIDTH="1848"
                        HEIGHT="87">
                <Shape><Polygon POINTS="2470 351 2454 351 2438 349 2422 349 2407 348 2391 348 2375 346 2359 346 2344 345 2328 345 2312 343 2296 343 2281 343 2274 342 2254 345 2184 338 2183 338 2181 338 2158 349 2156 349 2139 349 1986 342 1984 342 1983 342 1959 349 1868 338 1855 340 1839 340 1823 340 1808 342 1792 342 1776 342 1775 342 1700 346 1655 345 1650 346 1634 346 1618 346 1603 346 1587 348 1571 348 1555 348 1540 349 1524 349 1508 349 1492 351 1477 351 1461 351 1445 351 1429 353 1414 353 1398 353 1382 354 1366 354 1350 354 1335 356 1319 356 1303 356 1287 356 1272 357 1256 357 1240 357 1224 359 1209 359 1193 359 1179 359 1179 360 1161 365 966 365 956 367 941 367 925 367 909 368 893 368 878 368 862 370 846 370 830 370 815 370 799 368 788 365 646 365 641 368 625 370 627 397 627 425 734 423 736 423 780 412 846 420 848 420 1111 419 1112 417 1295 403 1377 409 1379 409 1380 409 1410 400 1741 397 1820 397 1842 406 1844 406 1845 406 1847 406 1886 406 2128 397 2148 401 2159 403 2161 403 2162 403 2167 401 2184 392 2470 395 2473 373 2471 351 2470 351"/></Shape>
                <String CONTENT="את הארון ואת בדיו ואת הכפרת ואת פרכת המסך"
                        HPOS="625"
                        VPOS="338"
                        WIDTH="1848"
                        HEIGHT="87"></String>
              </TextLine>

    EDIT: I think this should do it: https://github.com/mittagessen/page2darknet

    1. Glenn JocherUltralytics

      @johnlockejrr to convert your ALTO XML and PAGE XML datasets to the YOLO format, you'll need to extract the polygon coordinates and class indices, then format them as <class-index> <x1> <y1> <x2> <y2> ... <xn> <yn>. You might find the page2darknet tool helpful for this conversion. Once converted, ensure your dataset follows the YOLO format with a corresponding YAML file for training. For more details, you can refer to the Ultralytics documentation on dataset formats.

      1