Efficient Hyperparameter Tuning with Ray Tune and YOLO11

El ajuste de hiperparámetros es vital para lograr el máximo rendimiento del modelo mediante la detección del conjunto óptimo de hiperparámetros. Esto implica la realización de ensayos con diferentes hiperparámetros y la evaluación del rendimiento de cada ensayo.

Accelerate Tuning with Ultralytics YOLO11 and Ray Tune

Ultralytics YOLO11 incorporates Ray Tune for hyperparameter tuning, streamlining the optimization of YOLO11 model hyperparameters. With Ray Tune, you can utilize advanced search strategies, parallelism, and early stopping to expedite the tuning process.

Ray Tune

Ray Tune is a hyperparameter tuning library designed for efficiency and flexibility. It supports various search strategies, parallelism, and early stopping strategies, and seamlessly integrates with popular machine learning frameworks, including Ultralytics YOLO11.

Integración con Weights & Biases

YOLO11 also allows optional integration with Weights & Biases for monitoring the tuning process.

Instalación

Para instalar los paquetes necesarios, ejecuta

# Install and update Ultralytics and Ray Tune packages
pip install -U ultralytics "ray[tune]"

# Optionally install W&B for logging
pip install wandb

Utilización

from ultralytics import YOLO

# Load a YOLO11n model
model = YOLO("yolo11n.pt")

# Start tuning hyperparameters for YOLO11n training on the COCO8 dataset
result_grid = model.tune(data="coco8.yaml", use_ray=True)

tune() Parámetros del método

En tune() method in YOLO11 provides an easy-to-use interface for hyperparameter tuning with Ray Tune. It accepts several arguments that allow you to customize the tuning process. Below is a detailed explanation of each parameter:

Personalizando estos parámetros, puedes ajustar el proceso de optimización de hiperparámetros para adaptarlo a tus necesidades específicas y a los recursos informáticos disponibles.

Espacio de búsqueda por defecto Descripción

The following table lists the default search space parameters for hyperparameter tuning in YOLO11 with Ray Tune. Each parameter has a specific value range defined by tune.uniform().

Ejemplo de espacio de búsqueda personalizado

In this example, we demonstrate how to use a custom search space for hyperparameter tuning with Ray Tune and YOLO11. By providing a custom search space, you can focus the tuning process on specific hyperparameters of interest.

from ultralytics import YOLO

# Define a YOLO model
model = YOLO("yolo11n.pt")

# Run Ray Tune on the model
result_grid = model.tune(
    data="coco8.yaml",
    space={"lr0": tune.uniform(1e-5, 1e-1)},
    epochs=50,
    use_ray=True,
)

In the code snippet above, we create a YOLO model with the "yolo11n.pt" pretrained weights. Then, we call the tune() especificando la configuración del conjunto de datos con "coco8.yaml". Proporcionamos un espacio de búsqueda personalizado para la tasa de aprendizaje inicial lr0 utilizando un diccionario con la clave "lr0" y el valor tune.uniform(1e-5, 1e-1). Por último, pasamos argumentos de entrenamiento adicionales, como el número de épocas, directamente al método de ajuste como epochs=50.

Procesamiento de los resultados de la sintonización de rayos

Después de ejecutar un experimento de ajuste de hiperparámetros con Ray Tune, es posible que quieras realizar diversos análisis de los resultados obtenidos. Esta guía te llevará a través de flujos de trabajo comunes para procesar y analizar estos resultados.

Cargar los resultados de un experimento Tune desde un directorio

Después de realizar el experimento de ajuste con tuner.fit()puedes cargar los resultados desde un directorio. Esto es útil, sobre todo si realizas el análisis después de que haya salido el script de entrenamiento inicial.

experiment_path = f"{storage_path}/{exp_name}"
print(f"Loading results from {experiment_path}...")

restored_tuner = tune.Tuner.restore(experiment_path, trainable=train_mnist)
result_grid = restored_tuner.get_results()

Análisis básico a nivel experimental

Obtén una visión general del rendimiento de las pruebas. Puedes comprobar rápidamente si hubo algún error durante las pruebas.

if result_grid.errors:
    print("One or more trials failed!")
else:
    print("No errors!")

Análisis básico a nivel de prueba

Accede a las configuraciones individuales de los hiperparámetros de los ensayos y a las últimas métricas comunicadas.

for i, result in enumerate(result_grid):
    print(f"Trial #{i}: Configuration: {result.config}, Last Reported Metrics: {result.metrics}")

Trazar todo el historial de métricas notificadas de un ensayo

Puedes trazar el historial de las métricas comunicadas de cada ensayo para ver cómo evolucionan las métricas a lo largo del tiempo.

import matplotlib.pyplot as plt

for i, result in enumerate(result_grid):
    plt.plot(
        result.metrics_dataframe["training_iteration"],
        result.metrics_dataframe["mean_accuracy"],
        label=f"Trial {i}",
    )

plt.xlabel("Training Iterations")
plt.ylabel("Mean Accuracy")
plt.legend()
plt.show()

Resumen

En esta documentación, cubrimos los flujos de trabajo habituales para analizar los resultados de los experimentos realizados con Ray Tune utilizando Ultralytics. Los pasos clave incluyen la carga de los resultados del experimento desde un directorio, la realización de análisis básicos a nivel de experimento y a nivel de prueba, y el trazado de métricas.

Explora más a fondo la página de documentación Analizar resultados de Ray Tune para sacar el máximo partido a tus experimentos de ajuste de hiperparámetros.

PREGUNTAS FRECUENTES

How do I tune the hyperparameters of my YOLO11 model using Ray Tune?

To tune the hyperparameters of your Ultralytics YOLO11 model using Ray Tune, follow these steps:

1. Instala los paquetes necesarios:

   pip install -U ultralytics "ray[tune]"
   pip install wandb  # optional for logging
   

2. Load your YOLO11 model and start tuning:

   from ultralytics import YOLO
   
   # Load a YOLO11 model
   model = YOLO("yolo11n.pt")
   
   # Start tuning with the COCO8 dataset
   result_grid = model.tune(data="coco8.yaml", use_ray=True)
   

Esto utiliza las estrategias de búsqueda avanzada y el paralelismo de Ray Tune para optimizar eficazmente los hiperparámetros de tu modelo. Para más información, consulta la documentación de Ray Tune.

What are the default hyperparameters for YOLO11 tuning with Ray Tune?

Ultralytics YOLO11 uses the following default hyperparameters for tuning with Ray Tune:

Estos hiperparámetros pueden personalizarse para adaptarlos a tus necesidades específicas. Para obtener una lista completa y más detalles, consulta la Guía de ajuste de hiperparámetros.

How can I integrate Weights & Biases with my YOLO11 model tuning?

To integrate Weights & Biases (W&B) with your Ultralytics YOLO11 tuning process:

1. Instala W&B:

   pip install wandb
   

2. Modifica tu script de ajuste:

   import wandb
   
   from ultralytics import YOLO
   
   wandb.init(project="YOLO-Tuning", entity="your-entity")
   
   # Load YOLO model
   model = YOLO("yolo11n.pt")
   
   # Tune hyperparameters
   result_grid = model.tune(data="coco8.yaml", use_ray=True)
   

Esta configuración te permitirá supervisar el proceso de ajuste, realizar un seguimiento de las configuraciones de los hiperparámetros y visualizar los resultados en W&B.

Why should I use Ray Tune for hyperparameter optimization with YOLO11?

Ray Tune ofrece numerosas ventajas para la optimización de hiperparámetros:

• Estrategias avanzadas de búsqueda: Utiliza algoritmos como la Optimización Bayesiana y HyperOpt para una búsqueda eficiente de parámetros.
• Paralelismo: Admite la ejecución en paralelo de varios ensayos, lo que acelera considerablemente el proceso de ajuste.
• Detención Temprana: Emplea estrategias como ASHA para terminar antes los ensayos de bajo rendimiento, ahorrando recursos computacionales.

Ray Tune seamlessly integrates with Ultralytics YOLO11, providing an easy-to-use interface for tuning hyperparameters effectively. To get started, check out the Efficient Hyperparameter Tuning with Ray Tune and YOLO11 guide.

How can I define a custom search space for YOLO11 hyperparameter tuning?

To define a custom search space for your YOLO11 hyperparameter tuning with Ray Tune:

from ray import tune

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
search_space = {"lr0": tune.uniform(1e-5, 1e-1), "momentum": tune.uniform(0.6, 0.98)}
result_grid = model.tune(data="coco8.yaml", space=search_space, use_ray=True)

Esto personaliza el rango de hiperparámetros como la tasa de aprendizaje inicial y el impulso que se explorarán durante el proceso de ajuste. Para configuraciones avanzadas, consulta la sección Ejemplo de espacio de búsqueda personalizado.

📅 Created 11 months ago ✏️ Updated 7 days ago

Comentarios