Empezar

RT-DETR de Baidu: detector de objetos en tiempo real basado en Vision Transformer

Descripción general#

Real-Time Detection Transformer (RT-DETR), desarrollado por Baidu, es un detector de objetos de extremo a extremo que ofrece un rendimiento en tiempo real y mantiene una alta precisión. Se basa en DETR, un framework de detección Transformer sin NMS, y añade una red troncal convolucional y un codificador híbrido eficiente para alcanzar velocidades en tiempo real. RT-DETR procesa eficazmente características multiescala al desacoplar la interacción dentro de cada escala de la fusión entre escalas. El modelo es muy adaptable y permite ajustar de forma flexible la velocidad de inferencia mediante distintas capas del decodificador, sin necesidad de volver a entrenarlo. RT-DETR ofrece el mejor rendimiento en backends acelerados como CUDA con TensorRT.



Ver: Cómo usar RT-DETR de Baidu para la detección de objetos | Inferencia y benchmarking con Ultralytics

Descripción general de la arquitectura del modelo Baidu RT-DETR Descripción general de RT-DETR de Baidu. El diagrama de la arquitectura del modelo RT-DETR muestra las tres últimas etapas del backbone {S3, S4, S5} como entrada del codificador. El codificador híbrido eficiente transforma las características multiescala en una secuencia de características de imagen mediante la interacción de características intr escala (AIFI) y el módulo de fusión de características entre escalas (CCFM). La selección de consultas basada en IoU se utiliza para seleccionar un número fijo de características de imagen que servirán como consultas iniciales de objetos para el decodificador. Por último, el decodificador, con cabezales de predicción auxiliares, optimiza iterativamente las consultas de objetos para generar cajas y puntuaciones de confianza (fuente).

Características principales#

  • Codificador híbrido eficiente: RT-DETR de Baidu utiliza un codificador híbrido eficiente que procesa características multiescala al desacoplar la interacción dentro de cada escala de la fusión entre escalas. Este diseño basado en Transformer reduce los costes computacionales y permite la detección de objetos en tiempo real.
  • Selección de consultas con conocimiento de IoU: RT-DETR de Baidu mejora la inicialización de las consultas de objetos mediante la selección de consultas con conocimiento de IoU. Esto permite al modelo centrarse en los objetos más relevantes de la escena y mejora la precisión de detección.
  • Velocidad de inferencia adaptable: RT-DETR de Baidu permite ajustar de forma flexible la velocidad de inferencia utilizando distintas capas del decodificador, sin necesidad de volver a entrenarlo. Esta adaptabilidad facilita su aplicación práctica en diversos escenarios de detección de objetos en tiempo real.
  • Marco sin NMS: Basado en DETR, RT-DETR elimina la necesidad del posprocesamiento de supresión no máxima, lo que simplifica el flujo de detección y puede mejorar la eficiencia.
  • Detección sin anclajes: Como detector sin anclajes, RT-DETR simplifica el proceso de detección y puede mejorar la generalización entre distintos conjuntos de datos.

Modelos preentrenados#

La API Python de Ultralytics ofrece modelos RT-DETR de PaddlePaddle preentrenados con distintas escalas:

  • RT-DETR-L: 53,0 % AP en COCO val2017, 114 FPS en una GPU T4
  • RT-DETR-X: 54,8 % AP en COCO val2017, 74 FPS en GPU T4

Baidu publicó RTDETRv2 en julio de 2024, con nuevas mejoras en la arquitectura original.

Ejemplos de uso#

Los ejemplos siguientes muestran cómo realizar tareas sencillas de entrenamiento e inferencia con RT-DETR. También puedes entrenar los modelos en GPU en la nube a través de Ultralytics Platform.

Ejemplo
from ultralytics import RTDETR

# Carga un modelo RT-DETR-l preentrenado con COCO
model = RTDETR("rtdetr-l.pt")

# Mostrar información del modelo (opcional)
model.info()

# Entrena el modelo durante 100 épocas con el conjunto de datos de ejemplo COCO8
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Ejecuta la inferencia con el modelo RT-DETR-l en la imagen «bus.jpg»
results = model("path/to/bus.jpg")
Entrenamiento determinista

Establece deterministic=False al entrenar RT-DETR con CUDA y PyTorch 2.0 o posterior. Su atención deformable utiliza F.grid_sample, que no dispone de retropropagación CUDA determinista, por lo que deterministic=True no puede hacer que la ejecución sea reproducible y puede reducir el rendimiento del entrenamiento. seed sigue controlando la inicialización de los pesos, el orden de los datos y el muestreo de aumentos.

Compromisos de una inferencia más rápida

Los pesos preentrenados de RT-DETR admiten dos ajustes en tiempo de inferencia para reducir la latencia sin volver a entrenar:

  • eval_idx: Detén antes la decodificación. Para el decodificador predeterminado de 6 capas, utiliza un índice basado en cero (0–5). eval_idx=5 utiliza todas las capas; eval_idx=3 utiliza 4 capas. En una GPU T4 con TensorRT v10.11, RT-DETR-L mejora de 8,0 ms / 52,7 mAP a 7,4 ms / 52,5 mAP con 4 capas.
  • num_queries: Reduce las consultas de objetos (valor predeterminado: 300). Si lo reduces a 100, puedes alcanzar 7,4 ms / 51,7 mAP en COCO con la misma configuración. En conjuntos de datos con menos objetos por imagen, la caída de mAP suele ser menor, pero mantén el valor por encima del número máximo previsto de objetos por imagen.

Ambos ajustes pueden reducir mAP; valida el equilibrio en tu conjunto de datos antes de la implementación.

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Elige uno o ambos ajustes tras validar el equilibrio entre velocidad y precisión.
head.decoder.eval_idx = 3  # Utiliza 4 de las 6 capas del decodificador.
head.num_queries = 100  # Utiliza menos consultas de objetos.

results = rtdetr("path/to/image.jpg")

# La exportación utiliza los mismos ajustes del decodificador y de las consultas, incluidas las exportaciones a TensorRT.
rtdetr.export(format="engine", device=0, quantize=16)

Tareas y modos compatibles#

Esta tabla muestra los tipos de modelo, los pesos preentrenados específicos, las tareas que admite cada modelo y los modos compatibles (Train, Val, Predict, Export), indicados con emojis ✅.

Tipo de modeloPesos preentrenadosTareas compatiblesEntrenamientoValidaciónInferenciaExportar
RT-DETR grandertdetr-l.ptDetección de objetos✅✅✅✅
RT-DETR extragrandertdetr-x.ptDetección de objetos✅✅✅✅
Variantes solo de arquitectura

rtdetr-resnet50.yaml y rtdetr-resnet101.yaml se distribuyen únicamente como arquitecturas YAML. Ultralytics solo publica pesos preentrenados para rtdetr-l y rtdetr-x. Crea instancias de las variantes ResNet a partir de YAML (por ejemplo, RTDETR("rtdetr-resnet50.yaml")) y entrénalas o ajústalas según sea necesario.

Casos de uso ideales#

RT-DETR es especialmente adecuado para aplicaciones que requieren tanto una gran precisión como rendimiento en tiempo real:

Citas y agradecimientos#

Si utilizas RT-DETR de Baidu en tu trabajo de investigación o desarrollo, cita el artículo original:

Cita
@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Para RTDETRv2, puedes citar el artículo de 2024:

Cita
@misc{lv2024rtdetrv2,
      title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Queremos agradecer a Baidu y al equipo de PaddlePaddle la creación y el mantenimiento de este valioso recurso para la comunidad de visión artificial. Apreciamos enormemente su desarrollo de RT-DETR, un detector de objetos en tiempo real basado en Transformer.

Preguntas frecuentes#

  • RT-DETR (Transformer de detección en tiempo real) de Baidu es un detector de objetos en tiempo real basado en Transformer. Procesa eficazmente características multiescala al desacoplar la interacción dentro de cada escala y la fusión entre escalas mediante su eficiente codificador híbrido. Al utilizar una selección de consultas basada en IoU, el modelo se centra en los objetos más relevantes y mejora la precisión de la detección. Su velocidad de inferencia adaptable, que se consigue ajustando las capas del decodificador sin volver a entrenar, hace que RT-DETR sea adecuado para diversos escenarios de detección de objetos en tiempo real.

  • Utiliza la API de Python de Ultralytics para cargar los modelos RT-DETR de PaddlePaddle preentrenados. Por ejemplo, para cargar el modelo RT-DETR-l preentrenado con COCO, ajustarlo y ejecutar la inferencia:

    Ejemplo
    from ultralytics import RTDETR
    
    # Carga un modelo RT-DETR-l preentrenado con COCO
    model = RTDETR("rtdetr-l.pt")
    
    # Mostrar información del modelo (opcional)
    model.info()
    
    # Entrena el modelo durante 100 épocas con el conjunto de datos de ejemplo COCO8
    results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
    
    # Ejecuta la inferencia con el modelo RT-DETR-l en la imagen «bus.jpg»
    results = model("path/to/bus.jpg")
  • RT-DETR de Baidu combina un codificador híbrido eficiente con la selección de consultas con conocimiento de IoU, lo que reduce el coste computacional y mantiene una alta precisión. Su capacidad para ajustar la velocidad de inferencia utilizando distintas capas del decodificador sin volver a entrenar el modelo aporta flexibilidad, una característica útil para aplicaciones en tiempo real que utilizan backends acelerados como CUDA con TensorRT. La arquitectura Transformer también capta un contexto más global que los detectores tradicionales basados en CNN.

  • RT-DETR de Baidu permite ajustar de forma flexible la velocidad de inferencia utilizando distintas capas del decodificador sin necesidad de volver a entrenar el modelo. Esto te permite equilibrar la velocidad y la precisión en tareas de detección de objetos en tiempo real: utiliza menos capas del decodificador para procesar más rápido con una precisión ligeramente inferior, o utiliza todas las capas para obtener las detecciones más precisas. Esta función es especialmente útil al desplegar modelos en dispositivos con distintas capacidades computacionales.

  • No. En RT-DETR, max_det limita el número de predicciones que se devuelven tras la inferencia, pero no aumenta el número de consultas de objetos que genera el decodificador. Los puntos de control preentrenados de RT-DETR de Ultralytics utilizan 300 consultas de objetos, por lo que no pueden devolver más de 300 detecciones por imagen, aunque establezcas max_det en un valor superior.

    Utiliza max_det para reducir las detecciones devueltas, por ejemplo, max_det=100, cuando solo necesites menos predicciones con alta confianza. Si tu conjunto de datos puede contener más de 300 objetos por imagen, entrena un modelo RT-DETR personalizado con un número mayor de consultas del decodificador (nq) en el YAML del modelo; cambiar este valor en un punto de control preentrenado después del entrenamiento no es equivalente y requiere volver a entrenar para que el modelo aprenda las consultas adicionales.

  • Sí, los modelos RT-DETR admiten los modos de entrenamiento, validación, predicción y exportación de Ultralytics. El framework de Ultralytics ofrece una API coherente para distintas arquitecturas de modelo, por lo que RT-DETR utiliza el mismo flujo de trabajo que los modelos YOLO.

Comentarios148

Haz una pregunta, comparte tus resultados o ayuda a otra persona.

    1. Glenn JocherUltralytics

      Hey there! 👋

      We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.

      Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:

      from ultralytics import RTDETR
      
      # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second)
      model = RTDETR('rtdetr-l.pt')  
      
      # For an extra-large model prioritizing accuracy over speed
      model_x = RTDETR('rtdetr-x.pt')

      Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the .train() or .predict() processes, especially understanding what goes behind each configuration setting in these functions.

      Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊

      For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.

      Happy coding! 🚀

  1. Murat Raimbekov

    hey @wba-zzu, thanks for raising this.

    quick rundown of where things stand:

    resnet50 / resnet101 - the architectures are already shipped as yaml configs:

    you can build and train them straight from yaml:

    from ultralytics import RTDETR
    
    model = RTDETR("rtdetr-resnet50.yaml")
    model.train(data="coco.yaml", epochs=100, imgsz=640)

    however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are rtdetr-l.pt and rtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".

    resnet18 - not shipped. there is no rtdetr-resnet18.yaml in the repo, so a resnet18 variant would need its own yaml and corresponding modules added.

    loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.

    hope this helps!

  2. Boao Wang

    想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型

  3. 995742853GitHub

    您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重

    1. Glenn JocherUltralytics

      目前 RT-DETR 文档 里公开提供的 Ultralytics 预训练权重只有 rtdetr-l.pt 和 rtdetr-x.pt;如果你找的是 ResNet50 版本,建议查看 Baidu 官方的 RT-DETR PyTorch 权重列表,其中提供的是 rtdetr_r50vd_*.pth,不是 Ultralytics 直接发布的 rtdetr-resnet50.pt,也欢迎直接在这里继续提问,方便 Ultralytics 团队跟进。 (docs.ultralytics.com)

    1. Glenn JocherUltralytics

      Ultralytics currently exposes the original RT-DETR pretrained weights (rtdetr-l.pt, rtdetr-x.pt) via the RTDETR API; RT-DETRv2 pretrained weights/configs aren’t packaged in ultralytics yet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.

      from ultralytics import RTDETR
      
      model = RTDETR("rtdetr-l.pt")
      results = model("path/to/image.jpg")
  4. fxc0627GitHub

    你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?

  5. wang18382140151-hubGitHub

    你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?

  6. AK993GitHub

    你好,rt-detr支持在转为rknn格式,并在rk3588上部署吗