Датасет COCO8-Multispectral#
Введение#
Датасет COCO8-Multispectral от Ultralytics — это усовершенствованный вариант исходного датасета COCO8, предназначенный для экспериментов с моделями мультиспектрального обнаружения объектов. В него входят те же 8 изображений набора COCO train 2017: 4 для обучения и 4 для валидации, но каждое изображение преобразовано в 10-канальный мультиспектральный формат. Благодаря расширению стандартного набора каналов RGB COCO8-Multispectral позволяет разрабатывать и оценивать модели, использующие более богатую спектральную информацию.
COCO8-Multispectral полностью совместим с платформой Ultralytics и YOLO26, что упрощает интеграцию в твои рабочие процессы компьютерного зрения.
Смотри: Как обучить Ultralytics YOLO на монохромных и мультиспектральных датасетах | Многоканальное VisionAI 🚀
Структура набора данных#
COCO8-Multispectral использует те же 8 изображений, что и COCO8: 4 для обучения и 4 для валидации, размеченные 80 названиями классов COCO. Однако каждое изображение хранится как 10-канальный мультиспектральный .tiff в формате разметки YOLO:
coco8-multispectral/
├── images/
│ ├── train/ # 4 images (10-channel .tiff)
│ └── val/ # 4 images (10-channel .tiff)
└── labels/
├── train/
└── val/Создание датасета#
Мультиспектральные изображения COCO8-Multispectral созданы путём интерполяции исходных RGB-изображений по 10 равномерно распределённым спектральным каналам в видимом диапазоне. Процесс включает:
- Назначение длин волн: назначение номинальных длин волн каналам RGB — красный: 650 нм, зелёный: 510 нм, синий: 475 нм.
- Интерполяция: линейная интерполяция для оценки значений пикселей на промежуточных длинах волн между 450 нм и 700 нм, в результате чего получаются 10 спектральных каналов.
- Экстраполяция: линейная экстраполяция для оценки значений за пределами исходных длин волн RGB, обеспечивающая полное спектральное представление.
Этот подход имитирует процесс мультиспектральной съёмки и предоставляет более разнообразные данные для обучения и оценки моделей. Подробнее о мультиспектральной съёмке см. в статье Википедии о мультиспектральной съёмке.
Файл YAML набора данных#
Датасет COCO8-Multispectral настраивается с помощью YAML-файла, в котором указаны пути к данным, названия классов и важные метаданные. Официальный файл coco8-multispectral.yaml можно посмотреть в репозитории Ultralytics на GitHub.
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# COCO8-Multispectral dataset (COCO8 images interpolated across 10 channels in the visual spectrum) by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/detect/coco8-multispectral
# Example usage: yolo train data=coco8-multispectral.yaml
# parent
# ├── ultralytics
# └── datasets
# └── coco8-multispectral ← downloads here (20.2 MB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: coco8-multispectral # dataset root dir
train: images/train # train images (relative to 'path') 4 images
val: images/val # val images (relative to 'path') 4 images
test: # test images (optional)
# Number of multispectral image channels
channels: 10
# Classes
names:
0: person
1: bicycle
2: car
3: motorcycle
4: airplane
5: bus
6: train
7: truck
8: boat
9: traffic light
10: fire hydrant
11: stop sign
12: parking meter
13: bench
14: bird
15: cat
16: dog
17: horse
18: sheep
19: cow
20: elephant
21: bear
22: zebra
23: giraffe
24: backpack
25: umbrella
26: handbag
27: tie
28: suitcase
29: frisbee
30: skis
31: snowboard
32: sports ball
33: kite
34: baseball bat
35: baseball glove
36: skateboard
37: surfboard
38: tennis racket
39: bottle
40: wine glass
41: cup
42: fork
43: knife
44: spoon
45: bowl
46: banana
47: apple
48: sandwich
49: orange
50: broccoli
51: carrot
52: hot dog
53: pizza
54: donut
55: cake
56: chair
57: couch
58: potted plant
59: bed
60: dining table
61: toilet
62: tv
63: laptop
64: mouse
65: remote
66: keyboard
67: cell phone
68: microwave
69: oven
70: toaster
71: sink
72: refrigerator
73: book
74: clock
75: vase
76: scissors
77: teddy bear
78: hair drier
79: toothbrush
# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/coco8-multispectral.zipПодготовь TIFF-изображения в порядке (channel, height, width), сохрани их с расширением .tiff или .tif и убедись, что они имеют формат uint8, чтобы использовать их с Ultralytics:
import cv2
import numpy as np
# Создание и запись 10-канального TIFF
image = np.ones((10, 640, 640), dtype=np.uint8) # Порядок CHW
cv2.imwritemulti("example.tiff", image)
# Чтение TIFF
success, frames_list = cv2.imreadmulti("example.tiff")
image = np.stack(frames_list, axis=2)
print(image.shape) # (640, 640, 10) порядок HWC для обучения и инференсаИспользование#
Датасет COCO8-Multispectral (20,2 МБ) загружается автоматически при первом запуске обучения. Чтобы обучить модель YOLO26n на COCO8-Multispectral в течение 100 эпох с размером изображения 640, используй следующие примеры. Полный список параметров обучения смотри в документации по обучению YOLO.
from ultralytics import YOLO
# Загрузить предобученную модель YOLO26n
model = YOLO("yolo26n.pt")
# Обучи модель на COCO8-Multispectral
results = model.train(data="coco8-multispectral.yaml", epochs=100, imgsz=640)Подробнее о выборе модели и лучших практиках читай в документации по моделям Ultralytics YOLO и руководстве по обучению моделей YOLO.
Примеры изображений и аннотаций#
Ниже приведён пример мозаичного обучающего батча из датасета COCO8-Multispectral:
- Мозаичное изображение: на этом изображении показан обучающий батч, в котором несколько изображений датасета объединены с помощью мозаичной аугментации. Мозаичная аугментация увеличивает разнообразие объектов и сцен в каждом батче, помогая модели лучше обобщать данные для объектов разных размеров и пропорций, а также для разных фонов.
Этот метод особенно полезен для небольших датасетов, таких как COCO8-Multispectral, поскольку позволяет максимально эффективно использовать каждое изображение во время обучения.
Цитирование и благодарности#
Если ты используешь датасет COCO в исследовательской или разработческой работе, укажи в ссылках следующую статью:
@misc{lin2015microsoft,
title={Microsoft COCO: Common Objects in Context},
author={Tsung-Yi Lin and Michael Maire and Serge Belongie and Lubomir Bourdev and Ross Girshick and James Hays and Pietro Perona and Deva Ramanan and C. Lawrence Zitnick and Piotr Dollár},
year={2015},
eprint={1405.0312},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Особая благодарность консорциуму COCO за постоянный вклад в развитие сообщества компьютерного зрения.
Часто задаваемые вопросы#
Датасет Ultralytics COCO8-Multispectral предназначен для быстрого тестирования и отладки моделей мультиспектрального обнаружения объектов. В нём всего 8 изображений (4 для обучения и 4 для валидации), поэтому он идеально подходит для проверки пайплайнов обучения YOLO26 и того, что всё работает как ожидается, прежде чем переходить к более крупным датасетам. Другие датасеты для экспериментов ищи в каталоге датасетов Ultralytics.
Мультиспектральные данные содержат дополнительную спектральную информацию помимо стандартного RGB. Благодаря этому модели могут различать объекты по небольшим различиям в отражательной способности на разных длинах волн. Это повышает точность обнаружения, особенно в сложных условиях. Подробнее о мультиспектральной съёмке и её применении в продвинутом компьютерном зрении.
Да, COCO8-Multispectral полностью совместим с платформой Ultralytics и всеми моделями YOLO, включая новейшую YOLO26. Это позволяет легко встроить датасет в процессы обучения и валидации.
Чтобы подробнее разобраться в методах аугментации данных, таких как мозаичная аугментация, и их влиянии на производительность модели, смотри руководство по аугментации данных YOLO и статью в блоге Ultralytics об аугментации данных.
Конечно! Небольшой размер и мультиспектральная природа COCO8-Multispectral делают его идеальным для бенчмаркинга, учебных демонстраций и создания прототипов новых архитектур моделей. Другие датасеты для бенчмаркинга смотри в коллекции бенчмаркинговых датасетов Ultralytics.



