Ultralytics YOLO27:
Get Started

Датасет ключевых точек кисти руки#

Введение#

Датасет ключевых точек кисти руки от Ultralytics содержит 26 768 изображений кистей, размеченных 21 ключевой точкой каждое. Данные созданы с помощью библиотеки Google MediaPipe, что обеспечивает высокую точность и согласованность. Датасет совместим с форматами Ultralytics YOLO26 для обучения моделей оценки позы.



Смотри: Оценка ключевых точек кисти с Ultralytics YOLO | Руководство по оценке позы человеческой кисти

Ключевые точки#

Схема ключевых точек кисти руки с 21 точкой

Каждая кисть размечена 21 ключевой точкой:

  1. Запястье
  2. Большой палец (4 точки)
  3. Указательный палец (4 точки)
  4. Средний палец (4 точки)
  5. Безымянный палец (4 точки)
  6. Мизинец (4 точки)

Структура набора данных#

  • Всего изображений: 26 768 (18 776 train / 7 992 val).
  • Классы: 1 (кисть руки).
  • Ключевые точки: 21 на кисть, представленные триплетами (x, y, visibility).
  • Размер загрузки: ~369 МБ.

Если тебе нужен собственный словарь жестов, а не стандартные ориентиры кисти, платформа Ultralytics позволяет размечать и обучать собственный датасет прямо в браузере.

Применение#

Ключевые точки кисти руки подходят для решения нескольких практических задач:

  • Распознавание жестов: взаимодействие человека с компьютером и бесконтактное управление.
  • Управление AR/VR: точное взаимодействие с виртуальными объектами.
  • Роботизированные манипуляции: точное управление роботизированными кистями.
  • Здравоохранение: анализ движений кисти для медицинской диагностики.
  • Анимация: захват движений для реалистичной анимации кисти.
  • Биометрическая аутентификация: системы безопасности на основе геометрии кисти руки.

Файл YAML набора данных#

Для описания конфигурации датасета используется YAML-файл. В нём содержатся пути к данным, классы и другая необходимая информация. Для датасета ключевых точек кисти руки файл hand-keypoints.yaml поддерживается по адресу https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/datasets/hand-keypoints.yaml.

ultralytics/cfg/datasets/hand-keypoints.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license

# Hand Keypoints dataset by Ultralytics
# Documentation: https://docs.ultralytics.com/datasets/pose/hand-keypoints
# Example usage: yolo train data=hand-keypoints.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── hand-keypoints ← downloads here (369 MB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: hand-keypoints # dataset root dir
train: images/train # train images (relative to 'path') 18776 images
val: images/val # val images (relative to 'path') 7992 images

# Keypoints
kpt_shape: [21, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 1, 2, 4, 3, 10, 11, 12, 13, 14, 5, 6, 7, 8, 9, 15, 16, 17, 18, 19, 20]

# Classes
names:
  0: hand

# Keypoint names per class
kpt_names:
  0:
    - wrist
    - thumb_cmc
    - thumb_mcp
    - thumb_ip
    - thumb_tip
    - index_mcp
    - index_pip
    - index_dip
    - index_tip
    - middle_mcp
    - middle_pip
    - middle_dip
    - middle_tip
    - ring_mcp
    - ring_pip
    - ring_dip
    - ring_tip
    - pinky_mcp
    - pinky_pip
    - pinky_dip
    - pinky_tip

# Download script/URL (optional)
download: https://github.com/ultralytics/assets/releases/download/v0.0.0/hand-keypoints.zip

Использование#

Чтобы обучить модель YOLO26n-pose на датасете ключевых точек кисти руки в течение 100 эпох с размером изображения 640, используй следующие фрагменты кода. Полный список доступных аргументов смотри на странице модели Обучение.

Пример обучения
from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-pose.pt")  # загрузить предварительно обученную модель (рекомендуется для обучения)

# Обучить модель
results = model.train(data="hand-keypoints.yaml", epochs=100, imgsz=640)

Примеры изображений и аннотаций#

Датасет ключевых точек кисти руки содержит разнообразные изображения человеческих кистей с разметкой ключевых точек. Ниже приведены примеры изображений из датасета с соответствующими аннотациями:

Пример датасета для оценки позы по ключевым точкам кисти руки

  • Мозаичное изображение: на изображении показан обучающий батч, составленный из мозаично объединённых изображений датасета. Мозаичное объединение — это метод, применяемый во время обучения: несколько изображений объединяются в одно, чтобы увеличить разнообразие объектов и сцен в каждом обучающем батче. Это помогает модели лучше обобщать данные для объектов разных размеров, с разными соотношениями сторон и в разных контекстах.

Этот пример демонстрирует разнообразие и сложность изображений в датасете ключевых точек кисти руки, а также преимущества использования мозаичной аугментации при обучении.

Цитирование и благодарности#

Если ты используешь датасет ключевых точек кисти руки в исследованиях или разработке, укажи следующие источники:

Цитата

Мы хотели бы поблагодарить следующие источники за предоставленные изображения, использованные в этом датасете:

Изображения были собраны и использованы в соответствии с лицензиями, предоставленными каждой платформой, и распространяются по лицензии Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Мы также хотим поблагодарить создателя этого набора данных, Rion Dsilva, за значительный вклад в исследования в области ИИ для компьютерного зрения.

Часто задаваемые вопросы#

  • Загрузи yolo26n-pose.pt и вызови model.train(data="hand-keypoints.yaml", epochs=100, imgsz=640) — полный код на Python и примеры команд CLI смотри выше в разделе Пример обучения, а полный список аргументов — на странице модели Обучение.

  • Набор данных Hand Keypoints содержит 26 768 размеченных изображений и по 21 ключевой точке на руку, полученных с помощью Google MediaPipe. Он обеспечивает модели оценки позы масштаб и точность разметки, необходимые для задач продвинутой оценки позы. Полный список ориентиров см. в разделе Ключевые точки.

  • Hand Keypoints подходит для распознавания жестов, управления в AR/VR, манипуляций роботами, анализа движений в здравоохранении, анимации и биометрической аутентификации — подробное описание каждого направления см. в разделе Применение.

  • Набор данных Hand Keypoints разделён на две подвыборки:

    1. Train: 18 776 изображений для обучения моделей оценки позы.
    2. Val: 7 992 изображения для валидации во время обучения модели.

    Такая структура обеспечивает полноценный процесс обучения и валидации. Подробнее см. в разделе Структура набора данных.

  • Конфигурация набора данных задаётся в YAML-файле, который содержит пути, классы и другие необходимые сведения. Файл hand-keypoints.yaml доступен по ссылке hand-keypoints.yaml.

    Чтобы использовать этот YAML-файл для обучения, укажи его в скрипте обучения или команде CLI, как показано в примере обучения выше. Подробнее см. в разделе YAML-файл набора данных.

Комментарии