パフォーマンス指標の詳細
はじめに
パフォーマンス指標は、精度と物体検出モデルの効率を評価するための重要なツールです。モデルが画像内の物体をどれだけ効果的に識別し、特定できるかを明らかにします。さらに、偽陽性および偽陰性のモデルの処理を理解するのに役立ちます。これらの洞察は、モデルのパフォーマンスを評価および向上させるために不可欠です。このガイドでは、YOLO11に関連するさまざまなパフォーマンス指標、その重要性、およびそれらを解釈する方法について説明します。
見る: Ultralytics YOLO11 パフォーマンス指標 | MAP、F1スコア 適合率、IoUと精度
物体検出の指標
YOLO11 にとって重要なだけでなく、さまざまなオブジェクト検出モデルに広く適用できるいくつかのメトリクスについて説明することから始めましょう。
Intersection over Union (IoU): IoUは、予測されたバウンディングボックスと正解のバウンディングボックスの間の重複を定量化する尺度です。オブジェクトのローカリゼーションの精度を評価する上で基本的な役割を果たします。
平均精度 (AP): AP 精度-想起曲線の下での面積を計算し、モデルの精度と想起性能を包括する単一の値を提供する。
Mean Average Precision (mAP): mAPは、複数のオブジェクトクラスにわたる平均AP値を計算することにより、APの概念を拡張したものです。これは、モデルのパフォーマンスを包括的に評価するために、マルチクラスオブジェクトdetectのシナリオで役立ちます。
精度（Precision）と再現率（Recall）：Precisionは，すべての陽性予測の中の真陽性の比率を定量化し，偽陽性を回避するモデルの能力を評価する．一方、Recall は、すべての実際の陽性の中の真の陽性の比率を計算し、クラスのすべてのインスタンスをdetect するモデルの能力を測定します。
F1スコア: F1スコアは、適合率と再現率の調和平均であり、偽陽性と偽陰性の両方を考慮しながら、モデルのパフォーマンスのバランスの取れた評価を提供します。
YOLO11モデルのメトリクスを計算する方法
次に、上記で説明した評価指標を計算するために使用できるYOLO11の検証モードを調べることができます。
検証モードの使用は簡単です。学習済みモデルがあれば、model.val() 関数を呼び出すことができます。この関数は、検証データセットを処理し、さまざまなパフォーマンス指標を返します。しかし、これらの指標は何を意味するのでしょうか？また、どのように解釈すればよいのでしょうか？
出力の解釈
model.val()関数の出力を分解して、出力のsegment 理解しよう。
クラスごとのメトリクス
出力のセクションの1つは、パフォーマンスメトリックのクラスごとの内訳です。この詳細な情報は、特に多様なオブジェクトカテゴリを持つデータセットで、モデルが特定のクラスに対してどの程度うまく機能しているかを理解しようとする場合に役立ちます。データセット内の各クラスについて、以下が提供されます。
クラス: これは、「人」、「車」、「犬」などのオブジェクトクラスの名前を示します。
画像: このメトリクスは、オブジェクトクラスを含む検証セット内の画像の数を示します。
インスタンス：これは、検証セット内のすべての画像にクラスが表示される回数を示します。
Box(P、R、mAP50、mAP50)：このメトリックは、オブジェクトを検出する際のモデルの性能に関する洞察を提供する：
P (適合率): 検出されたオブジェクトの精度。検出がどれだけ正しかったかを示します。
R (再現率): 画像内のオブジェクトのすべてのインスタンスを識別するモデルの能力。
mAP50:IoUintersection over union)しきい値0.50で計算された平均精度。これは「簡単な」検出のみを考慮したモデルの精度の指標です。
mAP50: 0.50から0.95までの様々なIoU 閾値で計算された平均平均精度。異なる検出難易度におけるモデルのパフォーマンスを包括的に見ることができる。
速度の指標
推論の速度は、特にリアルタイムオブジェクト検出のシナリオでは、精度と同じくらい重要になる可能性があります。このセクションでは、プリプロセスからポストプロセスまで、検証プロセスのさまざまな段階にかかる時間を分析します。
COCO 評価指標
COCO データセットで検証するユーザーのために、COCO 評価スクリプトを使用して追加のメトリクスが計算されます。これらのメトリクスは、異なるIoU しきい値や異なるサイズのオブジェクトに対する精度とリコールに関する洞察を与えます。
視覚的な出力
model.val() 関数は、数値メトリックを生成するだけでなく、モデルのパフォーマンスをより直感的に理解できる視覚的な出力も生成します。期待できる視覚的な出力の内訳は次のとおりです。
F1スコア曲線（
F1_curve.png): この曲線は、以下を表しています。 F1スコア さまざまな閾値にわたって。この曲線を解釈することで、異なる閾値における偽陽性と偽陰性の間のモデルのバランスに関する洞察が得られます。適合率-再現率曲線 (
PR_curve.png)：あらゆる分類問題に対する積分視覚化であり、この曲線は適合率と再現率の間のトレードオフを示します。 再現率 さまざまな閾値で評価した場合。特に、不均衡なクラスを扱う場合に重要になります。適合率曲線 (
P_curve.png)：異なる閾値における適合率のグラフ表示。この曲線は、閾値が変化するにつれて適合率がどのように変化するかを理解するのに役立ちます。再現率曲線 (
R_curve.png): 同様に、このグラフは、異なる閾値における再現率の値がどのように変化するかを示しています。混同行列 (
confusion_matrix.png): 混同行列は、各クラスの真陽性、真陰性、偽陽性、偽陰性の数を示す、結果の詳細なビューを提供します。正規化された混同行列 (
confusion_matrix_normalized.png): この視覚化は、混同行列の正規化されたバージョンです。生カウントではなく、比率でデータを表します。この形式により、クラス全体のパフォーマンスを簡単に比較できます。検証バッチラベル（
val_batchX_labels.jpg): これらの画像は、検証データセットの個別のバッチに対する正解ラベルを示しています。データセットに従って、オブジェクトが何であるか、およびそれぞれの場所を明確に示しています。検証バッチ予測（
val_batchX_pred.jpg)：ラベル画像とは対照的に、これらのビジュアルは、それぞれのバッチに対してYOLO11モデルによって行われた予測を表示します。これらをラベル画像と比較することで、モデルがオブジェクトをどれだけうまく検出し、分類しているかを視覚的に簡単に評価できます。
結果の保存
将来の参考のために、結果は通常detect/detect/valという名前のディレクトリに保存される。
適切な指標の選択
評価のために適切な指標を選ぶことは、多くの場合、特定のアプリケーションに依存します。
mAP：モデルの性能を幅広く評価するのに適している。
IoU：対象物の正確な位置が重要な場合に不可欠。
適合率: 誤検出を最小限に抑えることが優先される場合に重要です。
リコール：オブジェクトのすべてのインスタンスをdetect ことが重要な場合に重要。
F1スコア: 適合率と再現率のバランスが必要な場合に役立ちます。
リアルタイムアプリケーションでは、FPS（Frames Per Second）やレイテンシなどの速度指標が、タイムリーな結果を保証するために重要です。
結果の解釈
メトリクスを理解することが重要です。一般的に観察される低いスコアが示唆する可能性のある内容は次のとおりです。
mAP低い：モデルの全般的な改良が必要であることを示す。
IoU低い：モデルがオブジェクトを正確に特定するのに苦労している可能性がある。バウンディングボックスの方法を変えれば解決する可能性がある。
低いPrecision: モデルが多すぎる非実在のオブジェクトを検出している可能性があります。信頼度閾値を調整すると、これを減らすことができます。
低いRecall: モデルが実際のオブジェクトを見逃している可能性があります。特徴抽出を改善するか、より多くのデータを使用すると役立つ場合があります。
不均衡なF1スコア: 適合率と再現率の間にずれがあります。
クラス別のAP：ここでのスコアが低いと、そのモデルが苦手とするクラスが浮き彫りになる。
ケーススタディ
実世界の例は、これらの指標が実際にどのように機能するかを明確にするのに役立ちます。
ケース1
状況： mAP F1スコアは最適ではないが、Recallは良いがPrecisionは良くない。
解釈とアクション： 不正確な検出が多すぎる可能性があります。信頼度しきい値を厳しくすると、これらを減らすことができますが、再現率もわずかに低下する可能性があります。
ケース2
状況： mAP リコールは問題ないが、IoU 不足している。
解釈とアクション： モデルはオブジェクトをうまく検出していますが、正確にローカライズしていない可能性があります。バウンディングボックスの予測を改良すると役立つ場合があります。
ケース 3
状況全体的なmAPそこそこでも、AP 他のクラスよりずっと低いクラスがある。
解釈とアクション： これらのクラスは、モデルにとってより難しい場合があります。これらのクラスにより多くのデータを使用するか、トレーニング中にクラスの重みを調整すると有益な場合があります。
つながりとコラボレーション
熱心なファンや専門家のコミュニティに参加することで、YOLO11の理解を深めることができます。ここでは、学習、トラブルシューティング、ネットワーキングを促進するいくつかの方法を紹介します。
より広範なコミュニティとの連携
GitHub Issues: GitHubのYOLO11リポジトリには、質問、バグの報告、新機能の提案ができるIssuesタブがあります。コミュニティとメンテナーがここで活発に活動しており、特定の問題に関するヘルプを得るのに最適な場所です。
Ultralytics Discord Server: Ultralyticsには、他のユーザーや開発者と交流できるDiscordサーバーがあります。
公式ドキュメントとリソース:
- Ultralytics YOLO11 Docs: 公式ドキュメントには、YOLO11の包括的な概要と、インストール、使用法、トラブルシューティングに関するガイドが記載されています。
これらのリソースを使用すると、あらゆる課題を乗り越えるだけでなく、YOLO11 コミュニティの最新トレンドやベストプラクティスを常に把握できます。
結論
このガイドでは、YOLO11の重要なパフォーマンス指標を詳しく見てきました。これらの指標は、モデルのパフォーマンスを理解するための鍵であり、モデルを微調整しようとするすべての人にとって不可欠です。改善に必要な洞察を提供し、モデルが実際の状況で効果的に機能することを保証します。
YOLO11とUltralyticsコミュニティは非常に貴重な資産であることを忘れないでください。仲間の開発者や専門家と交流することで、標準的なドキュメントにはない洞察や解決策への扉が開かれることがあります。オブジェクト検出の過程では、学習意欲を持ち続け、新しい戦略を試し、発見したことを共有してください。そうすることで、コミュニティの集合的な知恵に貢献し、その成長を確実なものとします。
オブジェクト検出をお楽しみください！
よくある質問
YOLO11 モデルの性能評価における平均平均精度mAP）の意義は？
平均平均精度mAP）は、複数のクラスにわたる精度と想起をカプセル化した単一の指標を提供するため、YOLO11 モデルを評価する上で極めて重要であるmAPmAP@0.50、IoU しきい値0.50における精度を測定し、物体を正しくdetect するモデルの能力に焦点を当てるmAPmAP@0.50:0.95、IoU しきい値の範囲にわたって精度を平均化し、検出性能の包括的な評価を提供する。高いmAP スコアは、モデルが精度と想起のバランスを効果的に取っていることを示し、正確な検出と最小限の誤警報の両方が重要な自律走行や監視システムのようなアプリケーションに不可欠です。
YOLO11 物体検出におけるIntersection over UnionIoUの値の解釈は？
Intersection over UnionIoU)は、予測されたバウンディングボックスとグランドトゥルースのバウンディングボックスの重なりを測定する。IoU 値は0から1の範囲で、値が大きいほどローカライズの精度が高いことを示す。IoU 1.0であれば、完璧なアライメントを意味します。通常、IoU しきい値0.50は、mAPようなメトリクスで真陽性を定義するために使用されます。低いIoU 値は、モデルが正確なオブジェクト・ローカライゼーションに苦戦していることを示唆します。これは、バウンディング・ボックス回帰を改良するか、トレーニング・データセットのアノテーション精度を上げることで改善できます。
オブジェクト検出において、YOLO11モデルを評価するためにF1スコアが重要なのはなぜですか？
F1スコアは、適合率と再現率の調和平均を提供し、偽陽性と偽陰性の両方のバランスを取るため、YOLO11モデルを評価する上で重要です。これは、不均衡なデータセットや、適合率または再現率のいずれか一方だけでは不十分なアプリケーションを扱う場合に特に役立ちます。高いF1スコアは、モデルがオブジェクトを効果的に検出し、検出漏れと誤警報の両方を最小限に抑えていることを示しており、セキュリティシステムや医療画像処理などの重要なアプリケーションに適しています。
リアルタイムオブジェクト検出にUltralytics YOLO11を使用する主な利点は何ですか？
Ultralytics YOLO11 は、リアルタイム物体検出において複数の利点を提供します。
- 速度と効率： 高速推論に最適化されており、低遅延を必要とするアプリケーションに適しています。
- 高精度：高度なアルゴリズムにより、mAP IoU スコアが高く、精度と想起のバランスがとれています。
- 柔軟性：物体検出、セグメンテーション、分類など、さまざまなタスクをサポートします。
- 使いやすさ: ユーザーフレンドリーなインターフェース、豊富なドキュメント、およびUltralytics HUB（HUBクイックスタート）のようなプラットフォームとのシームレスな統合。
これにより、YOLO11 は、自動運転車からスマートシティソリューションまで、多様なアプリケーションに最適です。
YOLO11の検証指標は、モデルのパフォーマンス向上にどのように役立ちますか？
YOLO11 検証メトリクス（precision、recall、mAP、IoU ）は、検出のさまざまな側面に関する洞察を提供することで、モデルのパフォーマンスを診断し、改善するのに役立つ：
- 適合率: 偽陽性を特定し、最小限に抑えるのに役立ちます。
- Recall（再現率）: 関連するすべてのオブジェクトが確実に検出されます。
- mAP:全体的なパフォーマンスのスナップショットを提供し、全般的な改善を導く。
- IoU:オブジェクトの位置決め精度の微調整に役立ちます。
これらのメトリクスを分析することで、精度を向上させるために信頼度閾値を調整したり、リコールを強化するためにより多様なデータを収集するなど、特定の弱点をターゲットにすることができます。これらのメトリクスの詳細な説明と解釈方法については、物体検出メトリクスを確認し、モデルを最適化するためにハイパーパラメータチューニングの実装を検討してください。
