Начать

Датасет ImageNet

Датасет Ultralytics ImageNet (data="imagenet") — это подмножество ImageNet-1k / ILSVRC-2012, используемое для обучения и тестирования моделей классификации изображений. Он содержит 1 000 классов объектов, 1 281 167 обучающих изображений и 50 000 валидационных изображений; обычно модели обучают с размером изображения 224x224, а загрузка занимает около 144 GB. Более широкая база данных ImageNet намного больше: более 14 миллионов изображений высокого разрешения, размеченных синсетами WordNet и относящихся более чем к 20 000 категориям. Однако Ultralytics обучает модели на стандартизированном подмножестве ILSVRC из 1 000 классов, ставшем фактическим бенчмарком для глубокого обучения в сфере компьютерного зрения.

Предобученные модели ImageNet#

Модельразмер
(пиксели)
точ
top1
точ
top5
Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(M)
FLOPs
(B) при 224
YOLO26n-cls22471.490.15.0 ± 0.31.1 ± 0.02.80.4
YOLO26s-cls22476.092.97.9 ± 0.21.3 ± 0.06.71.5
YOLO26m-cls22478.194.217.2 ± 0.42.0 ± 0.011.64.8
YOLO26l-cls22479.094.623.2 ± 0.32.8 ± 0.014.16.0
YOLO26x-cls22479.995.041.4 ± 0.93.8 ± 0.029.613.5

Основные особенности#

  • Датасет Ultralytics imagenet содержит 1 000 классов, 1 281 167 обучающих и 50 000 валидационных изображений (ILSVRC-2012) и служит стандартным бенчмарком для предварительного обучения моделей классификации изображений.
  • Классы организованы по иерархии WordNet, где каждому классу соответствует синсет (набор синонимичных терминов).
  • Обычно модели обучают на изображениях размером 224x224, а загрузка полного датасета занимает около ~144 GB.
  • Ежегодный конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC) сыграл важную роль в развитии исследований компьютерного зрения.

Структура набора данных#

В датасете Ultralytics ImageNet используется разбиение ILSVRC-2012:

ПодвыборкаИзображенияКлассы
Обучение1,281,1671,000
Валидация50,0001,000

Изображения хранятся в папках для каждого класса, названных по идентификатору синсета WordNet (например, n01440764), — именно такую структуру ожидает обучение классификации в Ultralytics. Каждому из 1 000 классов соответствует синсет WordNet; отдельной тестовой выборки нет, поэтому для измерения точности используется валидационная выборка из 50 000 изображений.

Размер загрузки

Загрузка ImageNet-1k занимает примерно ~144 GB, поэтому перед обучением убедись, что на диске достаточно места. Для быстрых экспериментов можно взять уменьшенные подмножества ImageNette и ImageNet10: они используют тот же формат папок и обучаются за малую долю этого времени.

Конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC)#

Ежегодный конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC) позволял исследователям тестировать алгоритмы на крупном стандартизированном датасете с единообразными метриками оценки. Конкурс способствовал значительным достижениям в глубоком обучении для классификации изображений, обнаружения объектов и других задач компьютерного зрения — особенно победа AlexNet в 2012 году, которая помогла начать современную эпоху глубокого обучения.

Применение#

Датасет ImageNet широко используют для обучения и оценки моделей глубокого обучения в задачах классификации изображений, обнаружения объектов и локализации объектов. Такие знаковые архитектуры, как AlexNet, VGG и ResNet, были разработаны и оценены на ImageNet. Веса, предварительно обученные на ImageNet, остаются распространённой отправной точкой для переноса обучения между задачами компьютерного зрения.

Использование#

Чтобы обучить модель классификации YOLO на ImageNet в течение 100 эпох с размером изображения 224x224, используй приведённые ниже фрагменты кода.

Пример обучения
from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n-cls.pt")  # загрузить предварительно обученную модель (рекомендуется для обучения)

# Обучить модель
results = model.train(data="imagenet", epochs=100, imgsz=224)

Ты также можешь управлять датасетами для классификации и запускать обучение в облаке с помощью Ultralytics Platform.

Примеры изображений и аннотаций#

Датасет ImageNet охватывает 1 000 классов ILSVRC-2012 и представляет собой разнообразный обширный ресурс для обучения и оценки моделей компьютерного зрения. Вот несколько примеров изображений из датасета:

Примеры изображений из датасета ImageNet для классификации

Цитирование и благодарности#

Если ты используешь набор данных ImageNet в исследовательской или разработческой работе, пожалуйста, процитируй следующую статью:

Цитирование
@article{ILSVRC15,
         author = {Olga Russakovsky and Jia Deng and Hao Su and Jonathan Krause and Sanjeev Satheesh and Sean Ma and Zhiheng Huang and Andrej Karpathy and Aditya Khosla and Michael Bernstein and Alexander C. Berg and Li Fei-Fei},
         title={ImageNet Large Scale Visual Recognition Challenge},
         year={2015},
         journal={International Journal of Computer Vision (IJCV)},
         volume={115},
         number={3},
         pages={211-252}
}

Мы хотели бы поблагодарить команду ImageNet, которой руководили Olga Russakovsky, Jia Deng и Li Fei-Fei, за создание и поддержку датасета ImageNet — ценного ресурса для сообщества исследователей в области машинного обучения и компьютерного зрения. Подробнее о датасете ImageNet и его создателях читай на сайте ImageNet.

Часто задаваемые вопросы#

  • Датасет ImageNet — это крупная база изображений, основная коллекция которой содержит более 14 миллионов изображений высокого разрешения, размеченных синсетами WordNet. В Ultralytics модель data="imagenet" обучается на стандартизированном подмножестве ILSVRC-2012 из 1 000 классов, которое служит фактическим бенчмарком для предварительного обучения моделей классификации изображений. Знаковые модели, такие как AlexNet, VGG и ResNet, обучались и тестировались на ImageNet, что подчеркивает роль датасета в развитии компьютерного зрения.

  • Датасет Ultralytics imagenet использует подмножество ILSVRC-2012: 1 000 классов, 1 281 167 обучающих изображений и 50 000 валидационных изображений; обычно модели обучают с размером изображения 224x224, а загрузка занимает около 144 GB. Полная база ImageNet значительно больше: более 14 миллионов изображений, распределенных по более чем 20 000 синсетам WordNet. Однако для обучения классификации и тестирования используют именно подмножество из 1 000 классов.

  • Чтобы обучить модель Ultralytics YOLO на ImageNet, загрузи предобученную модель классификации и укажи для data путь imagenet:

    Пример обучения
    from ultralytics import YOLO
    
    # Загрузить модель
    model = YOLO("yolo26n-cls.pt")  # загрузить предварительно обученную модель (рекомендуется для обучения)
    
    # Обучить модель
    results = model.train(data="imagenet", epochs=100, imgsz=224)

    Подробные инструкции по обучению смотри на нашей странице обучения.

  • Предобученные модели классификации Ultralytics YOLO26 обеспечивают удачный баланс скорости и точности. Например, модель YOLO26n-cls с точностью top-1 71,4% и top-5 90,1% оптимизирована для приложений реального времени. Предобученные модели сокращают вычислительные ресурсы, необходимые для обучения с нуля, и ускоряют циклы разработки.

  • Ежегодный конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC) способствовал развитию компьютерного зрения, предоставляя конкурентную площадку для оценки алгоритмов на крупном стандартизированном датасете. Единообразные метрики оценки стимулировали инновации в классификации изображений, обнаружении объектов и сегментации изображений, постоянно расширяя возможности глубокого обучения и компьютерного зрения.

Комментарии8

Задай вопрос, поделись результатами или помоги кому-нибудь.

    1. Paula DerrengerUltralytics(изменено)

      @keeper-jie hi there!

      To reproduce the pretrained classification results on ImageNet, train from the model YAML (not the .pt weights) so the model starts from random initialization:

      Using Python:
      from ultralytics import YOLO
      
      # Build a model from its YAML configuration (replace 'yolo26n-cls.yaml' with other sizes like 'yolo26s-cls.yaml')
      model = YOLO("yolo26n-cls.yaml")
      
      # Train the model on ImageNet
      results = model.train(data="imagenet", epochs=100, imgsz=224)
      Using CLI:
      yolo train data=imagenet model=yolo26n-cls.yaml epochs=100 imgsz=224

      These commands train on the ImageNet dataset for 100 epochs at 224x224. You can adjust the epochs and imgsz parameters as needed. For more details, refer to the Ultralytics documentation on ImageNet.

      If you encounter any issues, please ensure you are using the latest version of the Ultralytics package, and provide a minimum reproducible example. Happy training! 🚀

    2. Jie Liu

      please show me the command to use yolov8 yaml file to reproduce the table result like below without pretrain model:

      Model	size(pixels)	acc-top1	acc-top5	Speed-CPU ONNX(ms)	Speed-A100 TensorRT(ms)	params(M)	FLOPs(B) at 640
      YOLOv8n-cls	224	69.0	88.3	12.9	0.31	2.7	4.3
    3. Paula DerrengerUltralytics(изменено)

      Hi @keeper-jie,

      To reproduce the results of the YOLO26 classification models on the ImageNet dataset without using pretrained weights, you can follow the steps below. This will allow you to train the models from scratch and evaluate their performance.

      Using Python:
      from ultralytics import YOLO
      
      # Load a model configuration without pretrained weights
      model = YOLO("yolo26n-cls.yaml")  # You can replace 'yolo26n-cls.yaml' with other model variants like 'yolo26s-cls.yaml', 'yolo26m-cls.yaml', etc.
      
      # Train the model on ImageNet
      results = model.train(data="imagenet", epochs=100, imgsz=224)
      Using CLI:
      # Start training from scratch using a *.yaml model configuration
      yolo train data=imagenet model=yolo26n-cls.yaml epochs=100 imgsz=224

      These commands will initiate training on the ImageNet dataset for 100 epochs with an image size of 224x224 pixels. You can adjust the epochs and imgsz parameters as needed.

      Important Notes:
      • Ensure you have the latest version of the Ultralytics package installed.
      • Providing a minimum reproducible example can be very helpful if you encounter any issues. You can find more information on how to create one here.

      For more detailed information and additional arguments you can use, please refer to the Ultralytics documentation on ImageNet.

      If you have any further questions or run into any issues, feel free to ask. Happy training! 🚀

    4. Jie Liu

      I train the model with !yolo train data=/dataset/imagenet model=yolov8x-cls.yaml epochs=100 imgsz=224 batch=476*8 device=0,1,2,3,4,5,6,7, but the result is only 0.631 on top1 acc, please help me check it. Log:

      100 epochs completed in 7.923 hours.
      Optimizer stripped from /usr/src/ultralytics/runs/classify/train4/weights/last.pt, 115.1MB
      Optimizer stripped from /usr/src/ultralytics/runs/classify/train4/weights/best.pt, 115.1MB
      
      Validating /usr/src/ultralytics/runs/classify/train4/weights/best.pt...
      Ultralytics YOLOv8.1.8 🚀 Python-3.10.13 torch-2.1.0 CUDA:0 (NVIDIA L20, 45596MiB)
      YOLOv8x-cls summary (fused): 133 layers, 57404200 parameters, 0 gradients, 154.8 GFLOPs
      train: /dataset/imagenet/train... found 1281167 images in 1000 classes ✅ 
      val: /dataset/imagenet/val... found 50000 images in 1000 classes ✅ 
      test: None...
                     classes   top1_acc   top5_acc: 100%|██████████| 53/53 [00:31<00:0
                         all      0.631      0.858
    5. Paula DerrengerUltralytics(изменено)

      Hi @keeper-jie,

      Thank you for sharing the details of your training process and results. To better assist you, it would be helpful to have a minimum reproducible example. This will allow us to diagnose the issue more effectively. You can find guidelines on how to create one here: Minimum Reproducible Example.

      In the meantime, here are a few suggestions to help troubleshoot and potentially improve your model's performance:

      1. Verify Dataset Integrity: Ensure that the ImageNet dataset is correctly formatted and all images are accessible. Sometimes, missing or corrupted images can affect training results.

      2. Hyperparameter Tuning: Experiment with different hyperparameters such as learning rate, batch size, and optimizer settings. The default settings might not always yield the best results for every dataset.

      3. Data Augmentation: Implementing data augmentation techniques can help improve model generalization. Techniques like random cropping, flipping, and color jittering can be beneficial.

      4. Learning Rate Scheduler: Using a learning rate scheduler can help in adjusting the learning rate during training, which might improve convergence.

      5. Regularization Techniques: Techniques such as dropout and weight decay can help in preventing overfitting and improving model performance.

      6. Latest Version: Ensure you are using the latest version of the Ultralytics package. Sometimes, updates include performance improvements and bug fixes.

      Here is an example command to train the model from scratch using the YOLO26 YAML configuration:

      Using Python:
      from ultralytics import YOLO
      
      # Load a model configuration without pretrained weights
      model = YOLO("yolo26x-cls.yaml")
      
      # Train the model on ImageNet
      results = model.train(data="imagenet", epochs=100, imgsz=224)
      Using CLI:
      # Start training from scratch using a *.yaml model configuration
      yolo train data=imagenet model=yolo26x-cls.yaml epochs=100 imgsz=224

      If the issue persists, please provide more details or a reproducible example, and we will be happy to assist you further. Thank you for your patience and cooperation!

    6. Jie Liu

      Bug description:

      use 8 L20 GPU can not reproduce yolov8x-cls top1 acc.

      MRE:

      yolo train data=imagenet model=yolov8x-cls.yaml epochs=100 imgsz=224 batch=476*8 device=0,1,2,3,4,5,6,7

      Result :

      100 epochs completed in 7.923 hours.
      Optimizer stripped from /usr/src/ultralytics/runs/classify/train4/weights/last.pt, 115.1MB
      Optimizer stripped from /usr/src/ultralytics/runs/classify/train4/weights/best.pt, 115.1MB
      
      Validating /usr/src/ultralytics/runs/classify/train4/weights/best.pt...
      Ultralytics YOLOv8.1.8 🚀 Python-3.10.13 torch-2.1.0 CUDA:0 (NVIDIA L20, 45596MiB)
      YOLOv8x-cls summary (fused): 133 layers, 57404200 parameters, 0 gradients, 154.8 GFLOPs
      train: /dataset/imagenet/train... found 1281167 images in 1000 classes ✅ 
      val: /dataset/imagenet/val... found 50000 images in 1000 classes ✅ 
      test: None...
                     classes   top1_acc   top5_acc: 100%|██████████| 53/53 [00:31<00:0
                         all      0.631      0.858

      Dependencies(yolo checks):

      Ultralytics YOLOv8.1.8 🚀 Python-3.10.13 torch-2.1.0 CUDA:0 (NVIDIA L20, 45596MiB)
      Setup complete ✅ (128 CPUs, 503.5 GB RAM, 860.1/7096.0 GB disk)
      
      OS                  Linux-5.15.0-94-generic-x86_64-with-glibc2.31
      Environment         Linux
      Python              3.10.13
      Install             git
      RAM                 503.52 GB
      CPU                 Intel Xeon Gold 6458Q
      CUDA                12.1
      
      matplotlib          ✅ 3.8.2>=3.3.0
      numpy               ✅ 1.23.5>=1.22.2
      opencv-python       ✅ 4.9.0.80>=4.6.0
      pillow              ✅ 10.0.1>=7.1.2
      pyyaml              ✅ 6.0>=5.3.1
      requests            ✅ 2.31.0>=2.23.0
      scipy               ✅ 1.12.0>=1.4.1
      torch               ✅ 2.1.0>=1.8.0
      torchvision         ✅ 0.16.0>=0.9.0
      tqdm                ✅ 4.65.0>=4.64.0
      psutil              ✅ 5.9.0
      py-cpuinfo          ✅ 9.0.0
      thop                ✅ 0.1.1-2209072238>=0.1.1
      pandas              ✅ 2.2.0>=1.1.4
      seaborn             ✅ 0.13.2>=0.11.0

      Addition train config:

      task: classify
      mode: train
      model: yolov8x-cls.yaml
      data: /dataset/imagenet
      epochs: 100
      time: null
      patience: 50
      batch: 3808
      imgsz: 224
      save: true
      save_period: -1
      cache: false
      device:
      - 0
      - 1
      - 2
      - 3
      - 4
      - 5
      - 6
      - 7
      workers: 8
      project: null
      name: train4
      exist_ok: false
      pretrained: true
      optimizer: auto
      verbose: true
      seed: 0
      deterministic: true
      single_cls: false
      rect: false
      cos_lr: false
      close_mosaic: 10
      resume: false
      amp: true
      fraction: 1.0
      profile: false
      freeze: null
      multi_scale: false
      overlap_mask: true
      mask_ratio: 4
      dropout: 0.0
      val: true
      split: val
      save_json: false
      save_hybrid: false
      conf: null
      iou: 0.7
      max_det: 300
      half: false
      dnn: false
      plots: true
      source: null
      vid_stride: 1
      stream_buffer: false
      visualize: false
      augment: false
      agnostic_nms: false
      classes: null
      retina_masks: false
      embed: null
      show: false
      save_frames: false
      save_txt: false
      save_conf: false
      save_crop: false
      show_labels: true
      show_conf: true
      show_boxes: true
      line_width: null
      format: torchscript
      keras: false
      optimize: false
      int8: false
      dynamic: false
      simplify: false
      opset: null
      workspace: 4
      nms: false
      lr0: 0.01
      lrf: 0.01
      momentum: 0.937
      weight_decay: 0.0005
      warmup_epochs: 3.0
      warmup_momentum: 0.8
      warmup_bias_lr: 0.1
      box: 7.5
      cls: 0.5
      dfl: 1.5
      pose: 12.0
      kobj: 1.0
      label_smoothing: 0.0
      nbs: 64
      hsv_h: 0.015
      hsv_s: 0.7
      hsv_v: 0.4
      degrees: 0.0
      translate: 0.1
      scale: 0.5
      shear: 0.0
      perspective: 0.0
      flipud: 0.0
      fliplr: 0.5
      mosaic: 1.0
      mixup: 0.0
      copy_paste: 0.0
      auto_augment: randaugment
      erasing: 0.4
      crop_fraction: 1.0
      cfg: null
      tracker: botsort.yaml
      save_dir: /usr/src/ultralytics/runs/classify/train4

      I use yolov8 docker with command docker pull ultralytics/ultralytics:8.1.8

    7. Paula DerrengerUltralytics(изменено)

      Hi @keeper-jie,

      Thank you for providing detailed information about your training process and results. It's great to see that you're using the YOLOv8 classification model on the ImageNet dataset. Let's work together to troubleshoot and improve your model's performance.

      Steps to Troubleshoot and Improve Performance:
      1. Verify Dataset Integrity: Ensure that the ImageNet dataset is correctly formatted and all images are accessible. Sometimes, missing or corrupted images can affect training results.

      2. Hyperparameter Tuning: Experiment with different hyperparameters such as learning rate, batch size, and optimizer settings. The default settings might not always yield the best results for every dataset.

      3. Data Augmentation: Implementing data augmentation techniques can help improve model generalization. Techniques like random cropping, flipping, and color jittering can be beneficial.

      4. Learning Rate Scheduler: Using a learning rate scheduler can help in adjusting the learning rate during training, which might improve convergence.

      5. Regularization Techniques: Techniques such as dropout and weight decay can help in preventing overfitting and improving model performance.

      6. Latest Version: Ensure you are using the latest version of the Ultralytics package. Sometimes, updates include performance improvements and bug fixes.

      Example Command to Train from Scratch:

      Here is an example command to train the model from scratch using the YOLO26 YAML configuration:

      Using Python:
      from ultralytics import YOLO
      
      # Load a model configuration without pretrained weights
      model = YOLO("yolo26x-cls.yaml")
      
      # Train the model on ImageNet
      results = model.train(data="imagenet", epochs=100, imgsz=224)
      Using CLI:
      # Start training from scratch using a *.yaml model configuration
      yolo train data=imagenet model=yolo26x-cls.yaml epochs=100 imgsz=224
      Additional Tips:
      • Check for Overfitting: Monitor the training and validation loss. If the training loss is significantly lower than the validation loss, your model might be overfitting.
      • Use Mixed Precision Training: Enabling Automatic Mixed Precision (AMP) can speed up training and reduce memory usage.
      Minimum Reproducible Example:

      If the issue persists, please provide a minimum reproducible example. This will help us diagnose the issue more effectively. You can find guidelines on how to create one here: Minimum Reproducible Example.

      If you have any further questions or run into any issues, feel free to ask. Happy training! 🚀