Integração Roboflow

Roboflow fornece um conjunto de ferramentas concebidas para a criação e implementação de modelos de visão computacional. Pode integrar Roboflow em várias fases do seu pipeline de desenvolvimento utilizando as suas APIs e SDKs, ou utilizar a sua interface de ponta a ponta para gerir o processo desde a recolha de imagens até à inferência. Roboflow oferece funcionalidades para rotulagem de dados, treinamento de modelos e implantação de modelos, fornecendo componentes para o desenvolvimento de soluções personalizadas de visão computacional juntamente com as ferramentas Ultralytics .

Este guia demonstra como encontrar, rotular e organizar dados para treinar um Ultralytics YOLO11 personalizado usando o Roboflow.

• Recolha de dados para treinar um modelo YOLO11 personalizado
• Carregar, converter e rotular dados para o formato YOLO11
• Pré-processar e aumentar os dados para garantir a robustez do modelo
• Gestão de conjuntos de dados para YOLO11
• Exportar dados em mais de 40 formatos para formação de modelos
• Carregar pesos personalizados do modelo YOLO11 para teste e implantação
• Como avaliar os modelos YOLO11
• Recursos de aprendizagem
• Apresentação do projeto
• FAQ

Recolha de dados para treinar um modelo YOLO11 personalizado

Roboflow oferece dois serviços principais para ajudar na recolha de dados para osmodelos Ultralytics YOLO : Universo e Recolha. Para obter informações mais gerais sobre estratégias de recolha de dados, consulte o nosso Guia de Recolha de Dados e Anotações.

Roboflow Universo

O Roboflow Universe é um repositório em linha que inclui um grande número de conjuntos de dados de visão.

Com uma conta Roboflow , pode exportar conjuntos de dados disponíveis no Universe. Para exportar um conjunto de dados, utilize o botão "Descarregar este conjunto de dados" na página do conjunto de dados em causa.

Para compatibilidade com o Ultralytics YOLO11selecioneYOLO11" como formato de exportação:

O Universe também apresenta uma página que agrega modelos YOLO públicos e afinados carregados no Roboflow. Isto pode ser útil para explorar modelos pré-treinados para testes ou rotulagem automática de dados.

Roboflow Collect

Se preferir recolher imagens por si próprio, Roboflow Collect é um projeto de código aberto que permite a recolha automática de imagens através de uma webcam em dispositivos de ponta. Pode utilizar avisos de texto ou imagem para especificar os dados a recolher, ajudando a captar apenas as imagens necessárias para o seu modelo de visão.

Carregar, converter e rotular dados para o formato YOLO11

Roboflow Annotate é uma ferramenta online para etiquetar imagens para várias tarefas de visão computacional, incluindo deteção, classificação e segmentação de objectos.

Para rotular dados para um Ultralytics YOLO (que suporta deteção, segmentação de instâncias, classificação, estimativa de pose e OBB), comece por criar um projeto no Roboflow.

Em seguida, carregue as suas imagens e quaisquer anotações existentes de outras ferramentas para o Roboflow.

Após o carregamento, será direcionado para a página Anotar. Selecione o lote de imagens carregadas e clique em "Iniciar Anotação" para começar a etiquetar.

Ferramentas de anotação

• Anotação de caixa delimitadora: Imprensa B ou clique no ícone da caixa. Clique e arraste para criar a caixa delimitadora. Uma janela pop-up solicitará a seleção de uma classe para a anotação.

• Anotação de polígonos: Utilizado para segmentação de instâncias. Imprensa P ou clique no ícone do polígono. Clique em pontos à volta do objeto para desenhar o polígono.

Assistente de EtiquetasSAM IntegraçãoSAM )

Roboflow integra um assistente de etiquetas baseado no Segment Anything Model (SAM) para acelerar potencialmente a anotação.

Para utilizar o assistente de etiquetas, clique no ícone do cursor na barra lateral. SAM será ativado para o seu projeto.

Passe o rato sobre um objeto e SAM poderá sugerir uma anotação. Clique para aceitar a anotação. Pode refinar a especificidade da anotação clicando dentro ou fora da área sugerida.

Marcação

Pode adicionar etiquetas às imagens utilizando o painel Etiquetas na barra lateral. As etiquetas podem representar atributos como localização, origem da câmara, etc. Estas etiquetas permitem-lhe procurar imagens específicas e gerar versões de conjuntos de dados que contenham imagens com determinadas etiquetas.

Assistência de etiquetas (baseada em modelos)

Os modelos alojados no Roboflow podem ser utilizados com o Label Assist, uma ferramenta de anotação automatizada que tira partido da sua experiência YOLO11 treinado para sugerir anotações. Primeiro, carregue os pesos do seu modelo YOLO11 para o Roboflow (ver instruções abaixo). Em seguida, active o Label Assist clicando no ícone da varinha mágica na barra lateral esquerda e selecionando o seu modelo.

Escolha o seu modelo e clique em "Continuar" para ativar o Label Assist:

Quando abre novas imagens para anotação, o Label Assist pode sugerir automaticamente anotações com base nas previsões do seu modelo.

Gestão de conjuntos de dados para YOLO11

Roboflow fornece várias ferramentas para compreender e gerir os seus conjuntos de dados de visão computacional.

Pesquisa de conjuntos de dados

Utilize a pesquisa de conjuntos de dados para encontrar imagens com base em descrições de texto semântico (por exemplo, "encontrar todas as imagens que contenham pessoas") ou etiquetas/marcadores específicos. Aceda a esta funcionalidade clicando em "Conjunto de dados" na barra lateral e utilizando a barra de pesquisa e os filtros.

Por exemplo, procurar imagens que contenham pessoas:

Pode refinar as pesquisas utilizando etiquetas através do seletor "Etiquetas":

Controlo de saúde

Antes da formação, utilize o Roboflow Health Check para obter informações sobre o seu conjunto de dados e identificar potenciais melhorias. Aceda ao mesmo através da ligação da barra lateral "Health Check". Ele fornece estatísticas sobre tamanhos de imagens, equilíbrio de classes, mapas de calor de anotações e muito mais.

O Health Check pode sugerir alterações para melhorar o desempenho, tais como a resolução de desequilíbrios de classe identificados na funcionalidade de equilíbrio de classe. Compreender a saúde do conjunto de dados é crucial para uma formação eficaz do modelo.

Pré-processar e aumentar os dados para garantir a robustez do modelo

Para exportar os seus dados, tem de criar uma versão do conjunto de dados, que é um instantâneo do seu conjunto de dados num ponto específico no tempo. Clique em "Versões" na barra lateral e, em seguida, em "Criar nova versão". Aqui, pode aplicar passos de pré-processamento e aumentos de dados para melhorar potencialmente a robustez do modelo.

Para cada aumento selecionado, uma janela pop-up permite-lhe afinar os respectivos parâmetros, como o brilho. O aumento adequado pode melhorar significativamente a generalização do modelo, um conceito-chave discutido no nosso guia de dicas de treinamento de modelos.

Exportar dados em mais de 40 formatos para formação de modelos

Uma vez gerada a versão do seu conjunto de dados, pode exportá-lo em vários formatos adequados para o treino do modelo. Clique no botão "Exportar conjunto de dados" na página da versão.

Selecione o formatoYOLO11" para compatibilidade com os pipelines de formação Ultralytics . Agora você está pronto para treinar seu formato personalizado YOLO11 personalizado. Consulte a documentação do modoUltralytics Train para obter instruções detalhadas sobre como iniciar o treinamento com o conjunto de dados exportado.

Carregar pesos personalizados do modelo YOLO11 para teste e implantação

Roboflow oferece uma API escalável para modelos implantados e SDKs compatíveis com dispositivos como NVIDIA Jetson, Luxonis OAK, Raspberry Pi e sistemas GPU. Explore várias opções de implantação de modelos em nossos guias.

Pode implementar os modelos YOLO11 carregando os seus pesos para o Roboflow usando um simples comando Python simples.

Crie um novo ficheiro Python e adicione o seguinte código:

import roboflow  # install with 'pip install roboflow'

# Log in to Roboflow (requires API key)
roboflow.login()

# Initialize Roboflow client
rf = roboflow.Roboflow()

# Define your workspace and project details
WORKSPACE_ID = "your-workspace-id"  # Replace with your actual Workspace ID
PROJECT_ID = "your-project-id"  # Replace with your actual Project ID
VERSION = 1  # Replace with your desired dataset version number
MODEL_PATH = "path/to/your/runs/detect/train/"  # Replace with the path to your YOLO11 training results directory

# Get project and version
project = rf.workspace(WORKSPACE_ID).project(PROJECT_ID)
dataset = project.version(VERSION)

# Upload model weights for deployment
# Ensure model_path points to the directory containing 'best.pt'
project.version(dataset.version).deploy(
    model_type="yolov8", model_path=MODEL_PATH
)  # Note: Use "yolov8" as model_type for YOLO11 compatibility in Roboflow deployment

print(f"Model from {MODEL_PATH} uploaded to Roboflow project {PROJECT_ID}, version {VERSION}.")
print("Deployment may take up to 30 minutes.")

Neste código, substitua your-workspace-id, your-project-id, o VERSION número, e o MODEL_PATH com os valores específicos da sua conta Roboflow , projeto e diretório local de resultados de formação. Certifique-se de que o MODEL_PATH aponta corretamente para o diretório que contém o seu best.pt ficheiro de pesos.

Quando executar o código acima, ser-lhe-á pedido para se autenticar (normalmente através de uma chave de API). Em seguida, seu modelo será carregado e um ponto de extremidade da API será criado para seu projeto. Esse processo pode levar até 30 minutos para ser concluído.

Para testar o seu modelo e encontrar instruções de implementação para os SDKs suportados, vá ao separador "Deploy" na barra lateral Roboflow . No topo desta página, aparecerá um widget que lhe permitirá testar o seu modelo utilizando a sua webcam ou carregando imagens ou vídeos.

O modelo carregado também pode ser utilizado como assistente de etiquetagem, sugerindo anotações em novas imagens com base na sua formação.

Como avaliar os modelos YOLO11

Roboflow fornece recursos para avaliar o desempenho do modelo. A compreensão das métricas de desempenho é crucial para a iteração do modelo.

Depois de carregar um modelo, aceda à ferramenta de avaliação do modelo através da página do seu modelo no painel de controlo Roboflow . Clique em "View Detailed Evaluation" (Ver avaliação detalhada).

Esta ferramenta apresenta uma matriz de confusão que ilustra o desempenho do modelo e um gráfico interativo de análise vetorial que utiliza os encaixes CLIP. Estas caraterísticas ajudam a identificar áreas para melhoria do modelo.

A matriz de confusão aparece:

Passe o rato sobre as células para ver os valores e clique nas células para ver as imagens correspondentes com as previsões do modelo e os dados reais.

Clique em "Análise Vetorial" para obter um gráfico de dispersão que visualiza a semelhança de imagens com base em CLIP embeddings. As imagens mais próximas são semanticamente semelhantes. Os pontos representam imagens, coloridas de branco (bom desempenho) a vermelho (mau desempenho).

A Análise Vetorial ajuda:

• Identificar clusters de imagens.
• Identificar os grupos em que o modelo tem um desempenho fraco.
• Compreender as semelhanças entre as imagens que causam um fraco desempenho.

Recursos de aprendizagem

Explore estes recursos para saber mais sobre a utilização do Roboflow com o Ultralytics YOLO11:

• Treinar YOLO11 num conjunto de dados personalizado (Colab): Um bloco de notas interativo Google Colab que o orienta no treino do YOLO11 nos seus dados.
• DocumentaçãoYOLO11 : Saiba mais sobre como treinar, exportar e implantar modelos YOLO11 na estrutura Ultralytics .
• BlogueUltralytics : Apresenta artigos sobre visão computacional, incluindo as melhores práticas de formação e anotação YOLO11 .
• Canal YouTube doUltralytics : Oferece guias de vídeo aprofundados sobre tópicos de visão por computador, desde a formação de modelos até à rotulagem e implementação automatizadas.

Apresentação do projeto

Comentários de utilizadores que combinam Ultralytics YOLO11 e Roboflow:

FAQ

Perguntas mais frequentes

Como é que etiqueto dados para modelos YOLO11 utilizando Roboflow?

Utilize o Roboflow Annotate. Crie um projeto, carregue imagens e utilize as ferramentas de anotação (B para caixas delimitadoras, P para polígonos) ou o assistente de etiquetas SAM para uma etiquetagem mais rápida. Os passos detalhados estão disponíveis na secção Secção Carregar, converter e etiquetar dados.

Que serviços oferece Roboflow para a recolha de dados de formação YOLO11 ?

Roboflow fornece o Universe (acesso a numerosos conjuntos de dados) e o Collect (recolha automática de imagens através da webcam). Estes podem ajudar a adquirir os dados de treino necessários para o seu modelo YOLO11 , complementando as estratégias descritas no nosso Guia de Recolha de Dados.

Como posso gerir e analisar o meu conjunto de dados YOLO11 utilizando Roboflow?

Utilize as funcionalidades de pesquisa de conjuntos de dados, etiquetagem e verificação de saúde do Roboflow. A pesquisa encontra imagens por texto ou tags, enquanto o Health Check analisa a qualidade do conjunto de dados (equilíbrio de classes, tamanhos de imagem, etc.) para orientar melhorias antes do treinamento. Consulte a secção Gestão de conjuntos de dados para obter mais informações.

Como é que exporto o meu conjunto de dados YOLO11 de Roboflow?

Crie uma versão do conjunto de dados no Roboflow, aplique o pré-processamento e as ampliações desejadas e, em seguida, clique em "Exportar conjunto de dados" e selecione o formato YOLO11 . O processo é descrito na secção Exportar dados. Isso prepara os seus dados para serem usados com ospipelines de treinamento Ultralytics .

Como posso integrar e implementar modelos YOLO11 com Roboflow?

Carregue os seus pesos YOLO11 treinados para o Roboflow usando o script Python fornecido. Isso cria um ponto de extremidade de API implantável. Consulte a secção Carregar Pesos Personalizados para obter o script e as instruções. Explore outras opções de implementação na nossa documentação.

📅C riado há 1 ano ✏️ Atualizado há 18 dias

Comentários