パフォーマンスメトリクスの詳細#

はじめに#

パフォーマンスメトリクスは、object detectionモデルのaccuracyと効率を評価するための重要なツールです。モデルが画像内のオブジェクトをどの程度効果的に識別し、位置特定できるかを明らかにします。さらに、モデルが偽陽性や偽陰性をどのように処理しているかを理解するのにも役立ちます。これらの洞察は、モデルのパフォーマンスを評価および向上させるために不可欠です。このガイドでは、YOLO26に関連するさまざまなパフォーマンスメトリクス、その重要性、およびそれらの解釈方法について説明します。

物体検出メトリクス#

まずは、YOLO26だけでなく、さまざまな物体検出モデルに幅広く適用できる重要なメトリクスについて説明します。

• Intersection over Union (IoU): IoUは、予測されたbounding boxとグランドトュースのバウンディングボックスの間の重なりを定量化する尺度です。オブジェクト位置特定の精度を評価する上で、基本的な役割を果たします。

• Average Precision (AP): APは、適合率-再現率（Precision-Recall）曲線の下の面積を計算し、モデルの適合率と再現率のパフォーマンスを単一の値に要約します。

• Mean Average Precision (mAP): mAPは、複数のオブジェクトクラスにわたる平均AP値を計算することで、APの概念を拡張したものです。これは、マルチクラスオブジェクト検出のシナリオにおいて、モデルのパフォーマンスを包括的に評価するのに役立ちます。

• 適合率（Precision）と再現率（Recall）: 適合率は、すべての正予測のうち真陽性が占める割合を定量化し、モデルが誤検出を回避する能力を評価します。一方、再現率は、すべての実際の陽性のうち真陽性が占める割合を計算し、クラスのすべてのインスタンスを検出するモデルの能力を測定します。

• F1 Score: F1 Scoreは、適合率と再現率の調和平均であり、偽陽性と偽陰性の両方を考慮しつつ、モデルのパフォーマンスをバランスよく評価します。

YOLO26モデルのメトリクスを計算する方法#

次に、上記で説明した評価メトリクスを計算するために使用できるYOLO26's Validation modeについて説明します。

検証モード（validation mode）の使用はシンプルです。トレーニング済みのモデルがあれば、model.val()関数を呼び出すことができます。この関数が検証データセットを処理し、様々なパフォーマンスメトリクスを返します。しかし、これらのメトリクスは何を意味するのでしょうか？また、どのように解釈すべきでしょうか？

出力の解釈#

model.val()関数の出力を分解し、各セグメントの内容を理解していきましょう。

クラスごとのメトリクス#

出力の一部には、パフォーマンスメトリクスのクラスごとの内訳が含まれています。この詳細な情報は、特に多様なオブジェクトカテゴリを含むデータセットにおいて、モデルが各クラスに対してどの程度うまく機能しているかを理解しようとする際に役立ちます。データセット内の各クラスについて、以下の情報が提供されます。

• Class: "person"（人）、"car"（車）、"dog"（犬）といったオブジェクトクラスの名前を示します。

• Images: 検証セットの中でそのオブジェクトクラスを含む画像の数を示します。

• Instances: 検証セットの全画像を通して、そのクラスが出現する合計回数を示します。

• Box(P, R, mAP50, mAP50-95): このメトリクスは、モデルの物体検出パフォーマンスに関する洞察を提供します。

  • P (Precision): 検出されたオブジェクトの精度を示し、何件の検出が正解であったかを表します。

  • R (Recall): 画像内のすべてのオブジェクトインスタンスを特定するモデルの能力を表します。

  • mAP50: Intersection over Union (IoU) しきい値 0.50 で計算された平均精度です。これは「簡単な」検出のみを考慮したモデルの精度尺度です。

  • mAP50-95: 0.50 から 0.95 までのさまざまなIoUしきい値で計算された平均精度の平均値です。これは、異なる検出難易度レベルにわたるモデルのパフォーマンスを包括的に示します。

速度メトリクス#

推論速度は、特にリアルタイムの物体検出シナリオでは精度と同じくらい重要になることがあります。このセクションでは、前処理から後処理に至るまで、検証プロセスの各段階にかかった時間を分解して示します。

COCOメトリクス評価#

COCOデータセットで検証を行うユーザー向けに、COCO評価スクリプトを使用して追加のメトリクスが計算されます。これらのメトリクスは、異なるIoUしきい値および異なるサイズのオブジェクトに対する適合率と再現率に関する洞察を提供します。

視覚的出力#

model.val()関数は、数値的なメトリクスを作成するだけでなく、モデルのパフォーマンスをより直感的に理解できる視覚的な出力も生成します。以下に、予想される視覚的出力を分類します：

• F1 Score Curve (BoxF1_curve.png): この曲線は、さまざまな閾値におけるF1 scoreを表します。この曲線を解釈することで、さまざまな閾値における偽陽性と偽陰性の間のモデルのバランスについての洞察を得ることができます。

• Precision-Recall Curve (BoxPR_curve.png): すべての分類問題に不可欠な視覚化であり、この曲線は、さまざまな閾値における適合率とrecallのトレードオフを示しています。不均衡なクラスを扱う場合に、特に重要になります。

• Precision Curve (BoxP_curve.png): さまざまな閾値における適合率の値のグラフィカルな表現です。この曲線は、閾値の変更に伴って適合率がどのように変化するかを理解するのに役立ちます。

• Recall Curve (BoxR_curve.png): 同様に、このグラフは、さまざまな閾値にわたって再現率の値がどのように変化するかを示しています。

• Confusion Matrix (confusion_matrix.png): 混同行列は、結果の詳細なビューを提供し、各クラスの真陽性、真陰性、偽陽性、偽陰性の数を示します。

• Normalized Confusion Matrix (confusion_matrix_normalized.png): この視覚化は、混同行列の正規化されたバージョンです。生データの数ではなく、比率でデータを表します。この形式により、クラス間のパフォーマンスの比較がシンプルになります。

• Validation Batch Labels (val_batchX_labels.jpg): これらの画像は、検証データセットからの個別のバッチのグランドトュースラベルを示しています。オブジェクトが何であるか、およびデータセットに従ったそれぞれの位置の明確な全体像を提供します。

• Validation Batch Predictions (val_batchX_pred.jpg): ラベル画像とは対照的に、これらの視覚情報は、それぞれのバッチに対してYOLO26モデルが行った予測を表示します。これらをラベル画像と比較することで、モデルがオブジェクトをどれほど上手に視覚的に検出し、分類しているかを簡単に評価できます。

detection、segmentation、およびposeのタスクでは、曲線プロットにメトリクスのタイプが接頭辞として付加されます。detectionはBox*の曲線を描き、segmentationはBox*とMask*の両方の曲線を描き、poseはBox*とPose*の両方の曲線を描きます。

結果の保存#

後で参照できるように、結果は通常 runs/detect/val という名前のディレクトリに保存されます。

適切なメトリクスの選択#

評価する適切なメトリクスの選択は、多くの場合、特定のアプリケーションに依存します。

• mAP: モデルパフォーマンスの幅広い評価に適しています。

• IoU: 正確なオブジェクトの位置特定が不可欠な場合に必須です。

• Precision: 誤検出を最小限に抑えることが優先される場合に重要です。

• Recall: オブジェクトのすべてのインスタンスを検出することが重要な場合に不可欠です。

• F1 Score: 適合率と再現率のバランスが必要な場合に有用です。

リアルタイムアプリケーションでは、タイムリーな結果を保証するために、FPS（Frames Per Second）やレイテンシなどの速度メトリクスが不可欠です。

結果の解釈#

メトリクスを理解することは重要です。よく見られる低いスコアが何を意味する可能性があるかを以下に示します。

• Low mAP: モデルに全体的な調整が必要である可能性があります。

• Low IoU: モデルがオブジェクトを正確に特定するのに苦戦している可能性があります。異なるバウンディングボックス手法が改善に役立つかもしれません。

• Low Precision: モデルが実在しないオブジェクトを検出しすぎている可能性があります。信頼度しきい値を調整することで、これを減らせるかもしれません。

• Low Recall: モデルが実際のオブジェクトを見逃している可能性があります。feature extractionを改善するか、より多くのデータを使用することが役立つ場合があります。

• Imbalanced F1 Score: 適合率と再現率の間に乖離があります。

• Class-specific AP: ここでの低いスコアは、モデルが苦戦しているクラスを強調する可能性があります。

ユースケース#

実際の事例は、これらのメトリクスが実際にどのように機能するかを明らかにするのに役立ちます。

ケース 1#

• 状況: mAPとF1 Scoreが最適ではなく、再現率は良いが適合率が低い。

• 解釈とアクション: 誤検出が多すぎる可能性があります。信頼度しきい値を厳しくすることで誤検出を減らせる可能性がありますが、再現率がわずかに低下する可能性があります。

ケース 2#

• 状況: mAPと再現率は許容範囲だが、IoUが不足している。

• 解釈とアクション: モデルはオブジェクトを十分に検出できていますが、正確な位置特定ができていない可能性があります。バウンディングボックス予測の調整が役立つかもしれません。

ケース 3#

• 状況: 全体的なmAPはまずまずであるにもかかわらず、特定のクラスのAPが他より大幅に低い。

• 解釈とアクション: これらのクラスはモデルにとってより難易度が高い可能性があります。これらのクラスのデータを増やすことや、学習中にクラスの重みを調整することが有益かもしれません。

接続とコラボレーション#

愛好家や専門家のコミュニティを活用することで、YOLO26での経験がより充実したものになります。学習、トラブルシューティング、ネットワーキングを促進するためのいくつかの方法を以下に示します。

より広範なコミュニティとの交流#

• GitHubのIssues: GitHubのYOLO26リポジトリにはIssuesタブがあり、質問、バグの報告、新機能の提案を行うことができます。コミュニティやメンテナーがここで活動しており、特定の問題についてのヘルプを得るのに最適な場所です。

• Ultralytics Discordサーバー: Ultralyticsには、他のユーザーや開発者と交流できるDiscordサーバーがあります。

公式ドキュメントとリソース:#

• Ultralytics YOLO26 Docs: official documentationには、YOLO26の包括的な概要に加え、インストール、使用法、トラブルシューティングに関するガイドが記載されています。

これらのリソースを活用することは、課題の解決に役立つだけでなく、YOLO26コミュニティの最新トレンドやベストプラクティスを常に把握することにもつながります。

結論#

本ガイドでは、YOLO26の必須パフォーマンスメトリクスを詳しく見てきました。これらのメトリクスは、モデルがどの程度機能しているかを理解する鍵であり、モデルの微調整を目指す人には不可欠です。それらは、改善に必要な洞察を提供し、実際の状況でモデルが確実に効果的に機能するようにします。

YOLO26およびUltralyticsコミュニティが貴重な資産であることを忘れないでください。他の開発者や専門家と交流することで、標準的なドキュメントにはない洞察や解決策への扉が開かれます。物体検出の探求を続ける中で、学習する精神を持ち続け、新しい戦略を試し、発見を共有してください。そうすることで、コミュニティの集合知に貢献し、その成長を確実にします。

よくある質問 (FAQ)#