Набор данных ключевых точек кисти#

Введение#

Набор данных Hand Keypoints от Ultralytics содержит 26 768 изображений кистей рук, каждое из которых размечено 21 ключевой точкой, сгенерированными с помощью библиотеки Google MediaPipe для обеспечения высокой точности и согласованности. Он совместим с форматами Ultralytics YOLO26 для обучения моделей оценки позы.

Ключевые точки#

Каждая кисть руки размечена 21 ключевой точкой следующим образом:

1. Запястье
2. Большой палец (4 точки)
3. Указательный палец (4 точки)
4. Средний палец (4 точки)
5. Безымянный палец (4 точки)
6. Мизинец (4 точки)

Структура набора данных#

• Всего изображений: 26 768 (18 776 обучающих / 7 992 валидационных).
• Классы: 1 (кисть руки).
• Ключевые точки: 21 на кисть руки с триплетами (x, y, visibility).
• Размер загрузки: ~369 МБ.

Для создания пользовательского словаря жестов, выходящего за рамки стандартных ориентиров кисти, используй Ultralytics Platform, которая позволяет выполнять разметку и обучение собственного набора данных прямо в браузере.

Применение#

Ключевые точки кисти поддерживают несколько практических применений:

• Распознавание жестов: взаимодействие человека с компьютером и бесконтактные интерфейсы управления.
• Управление в AR/VR: точное взаимодействие с виртуальными объектами.
• Роботизированные манипуляции: высокоточное управление роботизированными руками.
• Здравоохранение: анализ движений рук для медицинской диагностики.
• Анимация: захват движения для реалистичной анимации рук.
• Биометрическая аутентификация: системы безопасности, основанные на геометрии кисти руки.

YAML набора данных#

Для определения конфигурации набора данных используется YAML-файл. Он содержит информацию о путях к набору данных, классах и другие важные сведения. В случае с набором данных Hand Keypoints файл hand-keypoints.yaml находится по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/hand-keypoints.yaml.

# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# Hand Keypoints dataset by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/pose/hand-keypoints
# Example usage: yolo train data=hand-keypoints.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── hand-keypoints ← downloads here (369 MB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: hand-keypoints # dataset root dir
train: images/train # train images (relative to 'path') 18776 images
val: images/val # val images (relative to 'path') 7992 images

# Keypoints
kpt_shape: [21, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 1, 2, 4, 3, 10, 11, 12, 13, 14, 5, 6, 7, 8, 9, 15, 16, 17, 18, 19, 20]

# Classes
names:
  0: hand

# Keypoint names per class
kpt_names:
  0:
    - wrist
    - thumb_cmc
    - thumb_mcp
    - thumb_ip
    - thumb_tip
    - index_mcp
    - index_pip
    - index_dip
    - index_tip
    - middle_mcp
    - middle_pip
    - middle_dip
    - middle_tip
    - ring_mcp
    - ring_pip
    - ring_dip
    - ring_tip
    - pinky_mcp
    - pinky_pip
    - pinky_dip
    - pinky_tip

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/hand-keypoints.zip

Использование#

Чтобы обучить модель YOLO26n-pose на наборе данных Hand Keypoints в течение 100 эпох с размером изображения 640, ты можешь использовать следующие фрагменты кода. Полный список доступных аргументов см. на странице Обучение модели.

from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n-pose.pt")  # load a pretrained model (recommended for training)

# Train the model
results = model.train(data="hand-keypoints.yaml", epochs=100, imgsz=640)

Примеры изображений и аннотации#

Набор данных Hand Keypoints содержит разнообразный набор изображений с человеческими руками, размеченными ключевыми точками. Ниже приведены примеры изображений из набора данных вместе с соответствующими аннотациями:

• Мозаичное изображение: это изображение демонстрирует обучающий пакет, составленный из мозаично собранных изображений. Мозаика — это техника, используемая во время обучения, которая объединяет несколько изображений в одно, чтобы увеличить разнообразие объектов и сцен в каждом обучающем пакете. Это помогает улучшить способность модели к обобщению при работе с объектами различных размеров, соотношений сторон и контекстов.

Этот пример демонстрирует разнообразие и сложность изображений в наборе данных Hand Keypoints, а также преимущества использования мозаики в процессе обучения.

Цитирование и благодарности#

Если ты используешь набор данных Hand Keypoints в своих исследованиях или разработках, пожалуйста, укажи следующие источники:

Мы также хотели бы поблагодарить создателя этого набора данных, Rion Dsilva, за его большой вклад в исследования Vision AI.

FAQ#

Как обучить модель YOLO26 на наборе данных Hand Keypoints?#

Загрузи yolo26n-pose.pt и вызови model.train(data="hand-keypoints.yaml", epochs=100, imgsz=640) — смотри Пример обучения выше для получения полных фрагментов кода на Python и CLI, а также страницу Обучение для получения полного списка аргументов.

В чем заключаются преимущества использования набора данных Hand Keypoints?#

Благодаря 26 768 размеченным изображениям и 21 ключевой точке на каждую кисть, сгенерированным с помощью Google MediaPipe, набор данных Hand Keypoints предоставляет моделям оценки позы масштаб и точность разметки, необходимые для задач продвинутой оценки позы. Смотри раздел Ключевые точки для получения подробного описания ориентиров.

Для каких приложений может быть полезен набор данных Hand Keypoints?#

Hand Keypoints поддерживает распознавание жестов, управление AR/VR, роботизированные манипуляции, анализ движений в здравоохранении, анимацию и биометрическую аутентификацию — подробности по каждому пункту см. в разделе Приложения.

Как структурирован набор данных Hand Keypoints?#

Набор данных Hand Keypoints разделен на два подмножества:

1. Train: Содержит 18 776 изображений для обучения моделей оценки позы.
2. Val: Содержит 7 992 изображения для целей валидации во время обучения модели.

Эта структура обеспечивает комплексный процесс обучения и валидации. Для получения более подробной информации см. раздел Структура набора данных.

Как использовать файл YAML набора данных для обучения?#

Конфигурация набора данных определяется в файле YAML, который включает пути, классы и другую актуальную информацию. Файл hand-keypoints.yaml можно найти по ссылке hand-keypoints.yaml.

Чтобы использовать этот файл YAML для обучения, укажи его в своем скрипте обучения или команде CLI, как показано в примере обучения выше. Для получения более подробной информации обратись к разделу Dataset YAML.