パフォーマンス指標の詳細#

はじめに#

パフォーマンス指標は、精度と物体検出モデルの効率を評価するための重要なツールです。これらの指標から、モデルが画像内の物体をどれだけ効果的に識別し、位置を特定できるかがわかります。また、偽陽性と偽陰性をモデルがどのように処理するかを理解するのにも役立ちます。これらの知見は、モデルのパフォーマンスを評価し、向上させるうえで重要です。このガイドでは、YOLO26に関連するさまざまなパフォーマンス指標とその重要性、解釈方法について説明します。

物体検出の指標#

まず、YOLO26だけでなく、さまざまな物体検出モデルに広く適用できる重要な指標について説明します。

• 積集合と和集合の比率（IoU）: IoUは、予測されたバウンディングボックスと正解のバウンディングボックスの重なり具合を定量化する指標です。物体の位置特定の精度を評価するうえで、基本的な役割を果たします。

• 平均適合率（AP）: APは、適合率-再現率曲線の下の面積を算出し、モデルの適合率と再現率の性能を表す単一の値を示します。

• 平均平均適合率（mAP）: mAPは、複数の物体クラスにわたるAP値の平均を計算することで、APの概念を拡張したものです。マルチクラス物体検出のシナリオでモデルの性能を包括的に評価するのに役立ちます。

• 適合率と再現率: 適合率は、陽性と予測されたもののうち真陽性が占める割合を定量化し、偽陽性を避けるモデルの能力を評価します。一方、再現率は、実際の陽性のうち真陽性が占める割合を算出し、クラスのすべてのインスタンスを検出するモデルの能力を測定します。

• F1スコア: F1スコアは適合率と再現率の調和平均であり、偽陽性と偽陰性の両方を考慮してモデルの性能をバランスよく評価します。

YOLO26モデルの指標を計算する方法#

次に、前述の評価指標の計算に使用できるYOLO26の検証モードについて説明します。

検証モードの使用は簡単です。モデルの学習が完了したら、model.val()関数を呼び出します。この関数は検証データセットを処理し、さまざまなパフォーマンス指標を返します。では、これらの指標は何を意味し、どのように解釈すればよいのでしょうか？

出力の解釈#

model.val()関数の出力を分解し、各項目の内容を確認しましょう。

クラス別の指標#

出力の一部には、クラスごとのパフォーマンス指標の内訳が含まれます。この詳細な情報は、特に多様な物体カテゴリを含むデータセットで、各クラスに対するモデルの性能を把握するのに役立ちます。データセット内の各クラスについて、次の情報が示されます。

• クラス: 「person」、「car」、「dog」など、物体クラスの名前を示します。

• 画像: 検証セット内で、その物体クラスを含む画像の枚数を示す指標です。

• インスタンス: 検証セット内のすべての画像を通じて、クラスが出現する回数を示します。

• Box（P、R、mAP50、mAP50-95）: この指標から、物体検出におけるモデルの性能を把握できます。

  • P（適合率）: 検出された物体の精度を示し、検出結果のうち正しかったものがどれだけあるかを表します。

  • R（再現率）: 画像内の物体のすべてのインスタンスをモデルが識別する能力です。

  • mAP50: 積集合と和集合の比率（IoU）のしきい値を0.50として計算した平均平均適合率です。「簡単な」検出のみを考慮したモデルの精度を示します。

  • mAP50-95: 0.50から0.95までのさまざまなIoUしきい値で計算した平均平均適合率の平均です。検出難易度の異なる各条件におけるモデルの性能を包括的に示します。

速度指標#

特にリアルタイム物体検出のシナリオでは、推論速度は精度と同じくらい重要になる場合があります。このセクションでは、前処理から後処理まで、検証プロセスの各段階にかかる時間を詳しく説明します。

COCO指標の評価#

COCOデータセットで検証する場合、COCO評価スクリプトを使用して追加の指標が計算されます。これらの指標から、さまざまなIoUしきい値やサイズの物体に対する適合率と再現率を把握できます。

視覚的な出力#

model.val()関数は、数値指標の出力に加えて、モデルの性能をより直感的に理解するのに役立つ視覚的な出力も生成します。出力される視覚情報の内訳は次のとおりです。

• F1スコア曲線 (BoxF1_curve.png): この曲線は、さまざまなしきい値におけるF1スコアを表します。この曲線を解釈すると、しきい値ごとの偽陽性と偽陰性のバランスについて、モデルの傾向を把握できます。

• 適合率-再現率曲線 (BoxPR_curve.png): 分類問題で欠かせない可視化であるこの曲線は、さまざまなしきい値における適合率と再現率のトレードオフを示します。クラスの不均衡に対処する場合に、特に重要です。

• 適合率曲線 (BoxP_curve.png): さまざまなしきい値における適合率の値をグラフで表したものです。この曲線を見ると、しきい値の変化に伴って適合率がどのように変わるかを理解できます。

• 再現率曲線 (BoxR_curve.png): これに対応するグラフは、さまざまなしきい値における再現率の変化を示します。

• 混同行列 (confusion_matrix.png): 混同行列は結果を詳細に示し、各クラスについて真陽性、真陰性、偽陽性、偽陰性の数を表示します。

• 正規化混同行列 (confusion_matrix_normalized.png): この可視化は、混同行列を正規化したものです。生の件数ではなく割合でデータを表します。この形式を使うと、クラス間の性能を簡単に比較できます。

• 検証バッチのラベル (val_batchX_labels.jpg): これらの画像は、検証データセット内の異なるバッチに含まれる正解ラベルを示します。データセットに基づいて、対象物が何であるか、またそれぞれがどこに位置するかを明確に確認できます。

• 検証バッチの予測 (val_batchX_pred.jpg): ラベル画像とは対照的に、これらの画像は各バッチに対するYOLO26モデルの予測結果を示します。ラベル画像と比較することで、モデルが対象物を視覚的にどれだけ適切に検出・分類できているかを簡単に評価できます。

検出、セグメンテーション、ポーズの各タスクでは、曲線プロットの先頭に指標の種類が付きます。検出では Box* 曲線、セグメンテーションでは Box* と Mask* の曲線、ポーズでは Box* と Pose* の曲線が出力されます。

結果の保存場所#

後で参照できるよう、結果は通常 runs/detect/val という名前のディレクトリに保存されます。

適切な指標の選択#

評価に適切な指標は、多くの場合、具体的な用途によって異なります。

• mAP: モデルの性能を幅広く評価するのに適しています。

• IoU: 対象物の位置を正確に特定する必要がある場合に不可欠です。

• 適合率: 誤検出の最小化を優先する場合に重要です。

• 再現率: 対象物のすべてのインスタンスを検出することが重要な場合に欠かせません。

• F1スコア: 適合率と再現率のバランスが必要な場合に役立ちます。

リアルタイムアプリケーションでは、適時に結果を得るために、FPS（フレーム毎秒）やレイテンシなどの速度指標が重要です。

結果の解釈#

指標を理解することが重要です。一般的に見られる低いスコアから考えられることを、いくつか紹介します。

• 低いmAP: モデル全般の改善が必要な可能性を示します。

• 低いIoU: モデルが対象物の位置を正確に特定できていない可能性があります。異なるバウンディングボックス手法が役立つことがあります。

• 低い適合率: 実際には存在しない対象物をモデルが過剰に検出している可能性があります。信頼度のしきい値を調整すると、誤検出を減らせる場合があります。

• 低い再現率: モデルが実在する対象物を見逃している可能性があります。特徴抽出を改善したり、データを増やしたりすると役立つ場合があります。

• 不均衡なF1スコア: 適合率と再現率に差があることを示します。

• クラス別AP: ここでスコアが低い場合、モデルが苦手とするクラスを特定できます。

ケーススタディ#

実例を見ると、これらの指標が実際にどのように機能するかを理解しやすくなります。

ケース1#

• 状況: mAPとF1スコアは最適とは言えませんが、再現率は良好である一方、適合率は低い状態です。

• 解釈と対応: 誤検出が多すぎる可能性があります。信頼度のしきい値を厳しくすると誤検出を減らせますが、再現率もわずかに低下する可能性があります。

ケース2#

• 状況: mAPと再現率は許容範囲ですが、IoUが低い状態です。

• 解釈と対応: モデルは対象物を適切に検出していますが、位置を正確に特定できていない可能性があります。バウンディングボックスの予測を改善すると役立つ場合があります。

ケース3#

• 状況: 全体のmAPが十分でも、一部のクラスでは他のクラスよりAPが大幅に低くなっています。

• 解釈と対応: これらのクラスは、モデルにとってより難しい可能性があります。該当クラスのデータを増やすか、学習中にクラスの重みを調整すると効果的な場合があります。

つながり、協力する#

愛好家や専門家のコミュニティに参加すると、YOLO26の活用をさらに広げることができます。学習、トラブルシューティング、ネットワーキングに役立つ方法をいくつか紹介します。

幅広いコミュニティに参加する#

• GitHub Issues: GitHub上のUltralyticsリポジトリにはIssuesタブがあり、質問、バグ報告、新機能の提案ができます。コミュニティとメンテナーが活発に活動しており、具体的な問題についてサポートを得るのに最適な場所です。

• Ultralytics Discordサーバー: UltralyticsにはDiscordサーバーがあり、ほかのユーザーや開発者と交流できます。

公式ドキュメントとリソース#

• Ultralytics YOLO26ドキュメント: 公式ドキュメントでは、YOLO26の包括的な概要に加え、インストール、使用方法、トラブルシューティングに関するガイドを提供しています。

これらのリソースを活用すれば、課題への対処に役立つだけでなく、YOLO26コミュニティの最新動向やベストプラクティスも把握できます。

結論#

このガイドでは、YOLO26の重要な性能指標を詳しく見てきました。これらの指標は、モデルの性能を理解するうえで鍵となり、モデルのファインチューニングを目指すすべての人にとって欠かせません。改善に必要な知見を提供し、実環境でモデルが効果的に動作することを確認するのに役立ちます。

YOLO26とUltralyticsのコミュニティは、かけがえのない資産です。同じ分野の開発者や専門家と交流することで、標準的なドキュメントにはない知見や解決策を得られることがあります。物体検出に取り組む中で、学び続ける姿勢を保ち、新しい方法を試し、得られた知見を共有してください。そうすることで、コミュニティの知識の蓄積に貢献し、その成長を支えることができます。

よくある質問#