성능 지표 심층 분석

소개

Performance metrics are key tools to evaluate the accuracy and efficiency of object detection models. They shed light on how effectively a model can identify and localize objects within images. Additionally, they help in understanding the model's handling of false positives and false negatives. These insights are crucial for evaluating and enhancing the model's performance. In this guide, we will explore various performance metrics associated with YOLO11, their significance, and how to interpret them.

Watch: Ultralytics YOLO11 Performance Metrics | MAP, F1 Score, 정밀도, IoU & Accuracy

객체 감지 메트릭

Let's start by discussing some metrics that are not only important to YOLO11 but are broadly applicable across different object detection models.

• Intersection over Union (IoU): IoU is a measure that quantifies the overlap between a predicted bounding box and a ground truth bounding box. It plays a fundamental role in evaluating the accuracy of object localization.

• 평균 정밀도(AP): AP는 정밀도-재응답 곡선 아래의 영역을 계산하여 모델의 정밀도와 재응답 성능을 요약하는 단일 값을 제공합니다.

• 평균 평균 정밀도(mAP): mAP는 여러 객체 클래스에서 평균 AP 값을 계산하여 AP의 개념을 확장합니다. 이는 다중 클래스 객체 감지 시나리오에서 모델 성능에 대한 종합적인 평가를 제공하는 데 유용합니다.

• 정확도 및 회수율: 정확도는 모든 양성 예측 중 정양성 비율을 정량화하여 오탐을 피하는 모델의 능력을 평가합니다. 반면에 Recall은 모든 실제 양성 중 정탐의 비율을 계산하여 클래스의 모든 인스턴스를 탐지하는 모델의 능력을 측정합니다.

• F1 점수: F1 점수는 정확도와 회수율의 조화 평균으로, 오탐과 오탐을 모두 고려하면서 모델의 성능을 균형 있게 평가할 수 있습니다.

How to Calculate Metrics for YOLO11 Model

Now, we can explore YOLO11's Validation mode that can be used to compute the above discussed evaluation metrics.

유효성 검사 모드 사용은 간단합니다. 학습된 모델이 있으면 model.val() 함수를 호출하면 됩니다. 그러면 이 함수는 유효성 검사 데이터 세트를 처리하고 다양한 성능 지표를 반환합니다. 하지만 이러한 메트릭은 무엇을 의미할까요? 그리고 이를 어떻게 해석해야 할까요?

출력 해석하기

model.val() 함수의 출력을 세분화하여 출력의 각 세그먼트를 이해해 보겠습니다.

클래스별 메트릭

출력의 섹션 중 하나는 성능 메트릭의 클래스별 분석입니다. 이 세분화된 정보는 특히 다양한 범위의 개체 범주가 있는 데이터 세트에서 각 특정 클래스에 대해 모델이 얼마나 잘 작동하는지 이해하려고 할 때 유용합니다. 데이터 세트의 각 클래스에 대해 다음이 제공됩니다:

• 클래스: '사람', '자동차', '개' 등 개체 클래스의 이름을 나타냅니다.

• 이미지: 이 메트릭은 유효성 검사 세트에서 개체 클래스를 포함하는 이미지의 수를 알려줍니다.

• 인스턴스: 유효성 검사 세트의 모든 이미지에서 클래스가 표시되는 횟수를 제공합니다.

• Box(P, R, mAP50, mAP50-95): 이 메트릭은 물체를 감지하는 모델의 성능에 대한 인사이트를 제공합니다:

  • P(정확도): 감지된 개체의 정확도로, 얼마나 많은 개체를 정확하게 감지했는지를 나타냅니다.

  • R(리콜): 이미지에서 객체의 모든 인스턴스를 식별하는 모델의 기능입니다.

  • mAP50: 평균 평균 정밀도(IoU) 임계값 0.50에서 계산된 평균 정밀도입니다. '쉬운' 탐지만 고려한 모델의 정확도를 측정한 값입니다.

  • mAP50-95: 0.50~0.95 범위의 다양한 IoU 임계값에서 계산된 평균 평균 정밀도의 평균입니다. 다양한 탐지 난이도 수준에서 모델의 성능을 종합적으로 파악할 수 있습니다.

속도 메트릭

추론 속도는 특히 실시간 객체 감지 시나리오에서 정확도만큼이나 중요할 수 있습니다. 이 섹션에서는 전처리부터 후처리까지 유효성 검사 프로세스의 다양한 단계에 걸리는 시간을 세분화하여 설명합니다.

COCO 지표 평가

COCO 데이터 세트에서 유효성을 검사하는 사용자의 경우, COCO 평가 스크립트를 사용하여 추가 지표가 계산됩니다. 이러한 메트릭은 다양한 IoU 임계값과 다양한 크기의 오브젝트에 대한 정확도 및 리콜에 대한 인사이트를 제공합니다.

시각적 출력

model.val() 함수는 숫자 메트릭을 생성하는 것 외에도 모델의 성능을 보다 직관적으로 이해할 수 있는 시각적 출력을 생성합니다. 다음은 예상할 수 있는 시각적 출력에 대한 분석입니다:

• F1 점수 커브(F1_curve.png): This curve represents the F1 score across various thresholds. Interpreting this curve can offer insights into the model's balance between false positives and false negatives over different thresholds.

• 정밀도-리콜 커브(PR_curve.png): An integral visualization for any classification problem, this curve showcases the trade-offs between precision and recall at varied thresholds. It becomes especially significant when dealing with imbalanced classes.

• 정밀 커브(P_curve.png): 다양한 임계값에서의 정밀도 값을 그래픽으로 표현한 것입니다. 이 곡선은 임계값이 변함에 따라 정밀도가 어떻게 변하는지를 이해하는 데 도움이 됩니다.

• 리콜 커브(R_curve.png): 이에 따라 이 그래프는 다양한 임계값에 따라 리콜 값이 어떻게 변하는지를 보여줍니다.

• Confusion Matrix (confusion_matrix.png): 혼동 행렬은 각 클래스에 대한 진양성, 진음성, 오탐, 오탐의 개수를 보여주는 결과에 대한 자세한 보기를 제공합니다.

• 정규화된 혼동 행렬(confusion_matrix_normalized.png): 이 시각화는 혼동 행렬의 정규화된 버전입니다. 원시 개수가 아닌 비율로 데이터를 나타냅니다. 이 형식을 사용하면 클래스 간 성능을 더 간단하게 비교할 수 있습니다.

• 유효성 검사 배치 레이블(val_batchX_labels.jpg): 이 이미지는 유효성 검사 데이터 세트에서 별개의 배치에 대한 기준값 레이블을 나타냅니다. 데이터 세트에 따라 개체의 종류와 각 위치를 명확하게 파악할 수 있습니다.

• 유효성 검사 배치 예측(val_batchX_pred.jpg): Contrasting the label images, these visuals display the predictions made by the YOLO11 model for the respective batches. By comparing these to the label images, you can easily assess how well the model detects and classifies objects visually.

결과 저장

나중에 참조할 수 있도록 결과는 일반적으로 runs/detect/val이라는 이름의 디렉터리에 저장됩니다.

올바른 지표 선택

평가할 올바른 지표를 선택하는 것은 종종 특정 애플리케이션에 따라 달라집니다.

• mAP: 모델 성능에 대한 광범위한 평가에 적합합니다.

• IoU: 정확한 객체 위치가 중요한 경우 필수적입니다.

• 정확성: 오탐지를 최소화하는 것이 최우선 과제일 때 중요합니다.

• 리콜: 객체의 모든 인스턴스를 감지하는 것이 중요한 경우 필수적입니다.

• F1 점수: 정확도와 회상률 간의 균형이 필요할 때 유용합니다.

실시간 애플리케이션의 경우, 적시에 결과를 얻기 위해서는 FPS(초당 프레임 수) 및 지연 시간과 같은 속도 지표가 매우 중요합니다.

결과 해석

메트릭을 이해하는 것이 중요합니다. 다음은 일반적으로 관찰되는 몇 가지 낮은 점수가 시사하는 바입니다:

• 낮은 맵: 모델에 일반적인 개선이 필요할 수 있음을 나타냅니다.

• 낮은 IoU: 모델이 오브젝트를 정확하게 찾아내는 데 어려움을 겪고 있을 수 있습니다. 다른 바운딩 박스 메서드가 도움이 될 수 있습니다.

• 낮은 정밀도: 모델이 존재하지 않는 개체를 너무 많이 감지하고 있을 수 있습니다. 신뢰도 임계값을 조정하면 이 문제를 줄일 수 있습니다.

• Low Recall: The model could be missing real objects. Improving feature extraction or using more data might help.

• 불균형한 F1 점수: 정확도와 회상도 사이에 불균형이 있습니다.

• 수업별 AP: 여기서 낮은 점수는 모델이 어려움을 겪고 있는 수업을 강조할 수 있습니다.

사례 연구

실제 사례를 통해 이러한 메트릭이 실제로 어떻게 작동하는지 명확히 알 수 있습니다.

사례 1

• 상황: mAP와 F1 점수는 최적이 아니지만, 리콜은 좋지만 정확도는 그렇지 않습니다.

• 해석 및 조치: 잘못된 감지가 너무 많을 수 있습니다. 신뢰도 임계값을 강화하면 이러한 오류를 줄일 수 있지만 회상률이 약간 감소할 수도 있습니다.

사례 2

• 상황: mAP 및 리콜은 허용되지만 IoU는 부족합니다.

• 해석 및 조치: 모델이 객체를 잘 감지하지만 정확하게 위치를 파악하지 못할 수 있습니다. 바운딩 박스 예측을 세분화하면 도움이 될 수 있습니다.

사례 3

• 상황: 일부 클래스는 전체 맵이 괜찮더라도 다른 클래스보다 AP가 훨씬 낮습니다.

• 해석 및 행동: 이러한 클래스는 모델에 더 까다로울 수 있습니다. 이러한 클래스에 더 많은 데이터를 사용하거나 훈련 중에 클래스 가중치를 조정하면 도움이 될 수 있습니다.

연결 및 공동 작업

Tapping into a community of enthusiasts and experts can amplify your journey with YOLO11. Here are some avenues that can facilitate learning, troubleshooting, and networking.

더 넓은 커뮤니티와 소통하기

• GitHub Issues: The YOLO11 repository on GitHub has an Issues tab where you can ask questions, report bugs, and suggest new features. The community and maintainers are active here, and it's a great place to get help with specific problems.

• Ultralytics 디스코드 서버: Ultralytics 다른 사용자 및 개발자와 소통할 수 있는 디스코드 서버가 있습니다.

공식 문서 및 리소스:

• Ultralytics YOLO11 Docs: The official documentation provides a comprehensive overview of YOLO11, along with guides on installation, usage, and troubleshooting.

Using these resources will not only guide you through any challenges but also keep you updated with the latest trends and best practices in the YOLO11 community.

결론

In this guide, we've taken a close look at the essential performance metrics for YOLO11. These metrics are key to understanding how well a model is performing and are vital for anyone aiming to fine-tune their models. They offer the necessary insights for improvements and to make sure the model works effectively in real-life situations.

Remember, the YOLO11 and Ultralytics community is an invaluable asset. Engaging with fellow developers and experts can open doors to insights and solutions not found in standard documentation. As you journey through object detection, keep the spirit of learning alive, experiment with new strategies, and share your findings. By doing so, you contribute to the community's collective wisdom and ensure its growth.

행복한 물체 감지!

자주 묻는 질문

What is the significance of Mean Average Precision (mAP) in evaluating YOLO11 model performance?

Mean Average Precision (mAP) is crucial for evaluating YOLO11 models as it provides a single metric encapsulating precision and recall across multiple classes. mAP@0.50 measures precision at an IoU threshold of 0.50, focusing on the model's ability to detect objects correctly. mAP@0.50:0.95 averages precision across a range of IoU thresholds, offering a comprehensive assessment of detection performance. High mAP scores indicate that the model effectively balances precision and recall, essential for applications like autonomous driving and surveillance.

How do I interpret the Intersection over Union (IoU) value for YOLO11 object detection?

IoU(교차점 오버 유니온)는 예측된 바운딩 박스와 기준 정보 바운딩 박스 간의 중첩을 측정합니다. IoU 값의 범위는 0에서 1까지이며, 값이 클수록 측위 정확도가 향상됩니다. IoU가 1.0이면 완벽한 정렬을 의미합니다. 일반적으로 0.50의 IoU 임계값은 mAP와 같은 지표에서 정탐을 정의하는 데 사용됩니다. IoU 값이 낮을수록 모델이 정확한 객체 로컬라이제이션에 어려움을 겪고 있음을 의미하며, 이는 바운딩 박스 회귀를 개선하거나 어노테이션 정확도를 높임으로써 개선할 수 있습니다.

Why is the F1 Score important for evaluating YOLO11 models in object detection?

The F1 Score is important for evaluating YOLO11 models because it provides a harmonic mean of precision and recall, balancing both false positives and false negatives. It is particularly valuable when dealing with imbalanced datasets or applications where either precision or recall alone is insufficient. A high F1 Score indicates that the model effectively detects objects while minimizing both missed detections and false alarms, making it suitable for critical applications like security systems and medical imaging.

What are the key advantages of using Ultralytics YOLO11 for real-time object detection?

Ultralytics YOLO11 offers multiple advantages for real-time object detection:

• 속도와 효율성: 고속 추론에 최적화되어 짧은 지연 시간이 필요한 애플리케이션에 적합합니다.
• 높은 정확도: 고급 알고리즘으로 높은 mAP 및 IoU 점수를 보장하여 정밀도와 리콜의 균형을 맞춥니다.
• 유연성: 물체 감지, 세분화, 분류 등 다양한 작업을 지원합니다.
• 사용 편의성: 사용자 친화적인 인터페이스, 방대한 문서, Ultralytics HUB(HUB 퀵스타트)와 같은 플랫폼과의 원활한 통합.

This makes YOLO11 ideal for diverse applications from autonomous vehicles to smart city solutions.

How can validation metrics from YOLO11 help improve model performance?

Validation metrics from YOLO11 like precision, recall, mAP, and IoU help diagnose and improve model performance by providing insights into different aspects of detection:

• 정확성: 오탐을 식별하고 최소화하는 데 도움이 됩니다.
• 리콜: 모든 관련 개체가 감지되었는지 확인합니다.
• mAP: 전반적인 성능 스냅샷을 제공하여 전반적인 개선 사항을 안내합니다.
• IoU: 오브젝트 위치 정확도를 미세 조정하는 데 도움이 됩니다.

이러한 지표를 분석하여 신뢰도 임계값을 조정하여 정확도를 개선하거나 더 다양한 데이터를 수집하여 리콜률을 높이는 등 특정 약점을 타겟팅할 수 있습니다. 이러한 메트릭에 대한 자세한 설명과 해석 방법은 객체 탐지 메트릭을 참조하세요.

📅 Created 11 months ago ✏️ Updated 10 days ago

댓글