はじめる

モデルの評価とファインチューニングに関する知見

YOLOモデルの学習後は、性能を測定し、課題を解消するためにファインチューニングする必要があります。評価ではmAPやIoUなどの指標を使って精度を定量化します。一方、ファインチューニングでは学習パラメーターを調整して弱点を補強し、モデルがプロジェクトの目標を達成できるようにします。このガイドでは、主要な評価指標とその読み取り方、指標から得られた情報を活用する方法を説明します。



視聴: モデル評価とファインチューニングの知見 | 平均適合率を改善するヒント

評価とファインチューニングは、学習が始まり、モデルの精度と効率を検証してデプロイの準備が整っていることを確認するコンピュータービジョンプロジェクトのワークフローの終盤に位置します。

主要な評価指標#

モデルの性能を測る指標はさまざまです。これらの性能指標は明確な数値に基づく知見を提供し、モデルが意図した目標を達成できるよう改善を導きます。

信頼度スコア#

信頼度スコアは、検出された物体が特定のクラスに属するというモデルの確信度を表します。値は0から1の範囲で、スコアが高いほど確信度も高くなります。信頼度スコアを使って予測をフィルタリングし、指定されたしきい値を超える信頼度スコアを持つ検出のみを有効とみなします。

予測結果が表示されませんか?

推論の実行時に予測結果が表示されず、ほかの点もすべて確認済みの場合は、信頼度のしきい値を下げてみてください。しきい値が高すぎると、モデルが有効な予測を無視することがあります。しきい値を下げると、モデルがより多くの可能性を考慮するようになります。これは最終的なプロジェクトの目標に合わない場合もありますが、モデルの能力を確認し、ファインチューニングの方法を検討するうえで有効です。

Intersection over Union#

Intersection over Union(IoU)は、物体検出において、予測されたバウンディングボックスが正解バウンディングボックスとどの程度重なっているかを測定する指標です。IoU値は0から1の範囲で、1は完全一致を表します。IoUは、予測境界が実際の物体境界とどれほど近いかを測定するため、重要です。

Intersection over Union Overview

平均適合率#

Mean Average Precision(mAP)は、物体検出モデルの全体的な性能を測定します。各物体クラスの検出Precisionを評価し、これらのスコアを平均して、モデルが物体をどれほど正確に識別・分類できるかを示す単一の数値を算出します。

一般的に報告されるmAP指標は、主に2つあります。

  • mAP50: 単一のIoUしきい値0.5における平均適合率を測定します。この指標では、比較的緩やかな精度要件のもとで、モデルが物体を正しく検出できるかを確認します。物体を完璧な位置に捉える必要はなく、おおよそ正しい位置にあるかに着目するため、モデルが全般的に物体を適切に検出できるかを把握できます。
  • mAP50-95: 0.5から0.95まで0.05刻みの複数のIoUしきい値で計算したmAP値を平均します。この指標はより詳細で厳格です。厳格さの異なる条件において、モデルがどれだけ正確に物体を検出できるかを包括的に示し、正確な物体検出が必要な用途で特に役立ちます。

その他のmAP指標には、より厳しいIoUしきい値0.75を使用するmAP75や、小・中・大の物体に対する適合率を評価するAPS、APM、APLがあります。

Three ways to improve mAP: data quality, model optimization, and annotation process

YOLO26モデルの評価#

学習済みのYOLO26モデルは、検証モードで評価できます。各指標の計算方法と解釈を詳しく知りたい場合は、YOLO26の性能指標のガイドを参照してください。

画像サイズの違いへの対応#

さまざまなサイズの画像でモデルを評価すると、多様なデータセットにおける性能を把握できます。検証ではデフォルトで長方形バッチ処理(model.val() 内の rect=True)が使用されます。アスペクト比に基づいて画像をグループ化し、各バッチを長方形の形状にパディングするため、長方形の画像が正方形に無理に変換されることなく評価されます。

imgsz パラメーターは、検証時に使用する画像サイズを設定します。明示的に指定しない場合、YOLO26はモデルの設定に保存された値を再利用します(公式の事前学習済みモデルでは640、カスタムチェックポイントではトレーニング時に使用したサイズ)。rect=True を指定すると、検証時の形状がpredictと異なる場合があります(rectを参照)。データセットの寸法と利用可能なGPUメモリに応じて imgsz を調整してください。

YOLO26の指標へのアクセス#

モデルの性能を詳しく把握するには、数行のPythonコードで個別の評価指標にアクセスできます。次のスニペットは、モデルを読み込み、検証を実行して、最も役立つ指標を出力します。

使用方法
from ultralytics import YOLO

# モデルを読み込む
model = YOLO("yolo26n.pt")

# データセットの検証を実行します
results = model.val(data="coco8.yaml")

# 全体指標
print("mAP50-95:", results.box.map)  # IoU 0.50:0.95でのmAP
print("mAP50:", results.box.map50)  # IoU 0.50でのmAP
print("mAP75:", results.box.map75)  # IoU 0.75でのmAP
print("Mean precision:", results.box.mp)
print("Mean recall:", results.box.mr)
print("Fitness:", results.box.fitness())  # モデル選択に使用する重み付きスコア

# クラスごとのメトリクス
print("Class indices evaluated:", results.box.ap_class_index)
print("Per-class mAP50-95:", results.box.maps)  # 検証セットに存在しないクラスには全体の mAP が設定されます

# 画像ごとの適合率、再現率、F1、TP、FP、FN
print("Per-image metrics:", results.box.image_metrics)

# 画像あたりのミリ秒単位で示すステージ別の処理時間内訳
print("Timing breakdown (ms/image):", results.speed)

fitness()はメソッドなので、かっこを付けて呼び出す必要があります。一方、map、map50、mpなどのメトリクスは、プロパティとして直接アクセスします。

results.box.image_metrics属性は、共通の画像ディレクトリを基準とした画像パスをキーとする画像ごとの辞書で、各画像についてIoU 0.5でのprecision、recall、f1、tp、fp、fnを格納します。前処理、推論、損失、後処理の時間は、results.speed辞書に個別に報告されます。これらを組み合わせることで、モデルが苦手とする画像を特定し、それに応じてファインチューニングできます。

モデルのファインチューニング#

ファインチューニングでは、事前学習済みモデルのパラメーターを調整し、特定のタスクやデータセットでの性能を向上させます。モデルの再トレーニングとも呼ばれ、実世界のアプリケーションで扱うデータをより適切に理解し、結果を予測できるようになります。評価結果に基づいて、独自のデータでモデルを再トレーニングし、ファインチューニングガイドで説明するトレーニング引数を調整します。

小さな物体に対する画像のタイル分割#

画像のタイル分割は小さなオブジェクトの検出精度を向上させることができます。大きな画像を小さなセグメントに分割することで、たとえば1280x1280の画像を複数の640x640のセグメントに分割すると、元の解像度を維持しながら、高解像度の断片からモデルに学習させることができます。トレーニング、検証、予測で高解像度タイル分割を行うには、tile=True を使用します。トレーニングでは各タイルに合わせてアノテーションがクロップされ、検証と予測ではタイルの出力が統合されて画像全体の結果になります。

結論#

評価とファインチューニングによって、学習済みモデルは信頼性が高くデプロイ可能なモデルになります。mAPやIoUなどのメトリクスで弱点を明らかにし、パラメーターを適切に変更して対処します。まず検証モードでモデルのベンチマークを行い、次にファインチューニングガイドで説明されている引数を使って再学習し、新しいパラメーター、手法、データセットで反復を続けます。途中で疑問が生じた場合は、Ultralytics GitHubリポジトリまたはUltralytics Discordサーバーでコミュニティに質問してください。

よくある質問#

  • YOLO26モデルの性能を評価する重要な指標には、信頼度スコア、Intersection over Union(IoU)、平均適合率(mAP)があります。信頼度スコアは、検出された各物体クラスに対するモデルの確信度を測定します。IoUは、予測バウンディングボックスが正解とどの程度重なるかを評価します。平均適合率(mAP)はクラスごとの適合率スコアを集約したもので、IoUしきい値を変えて計算する一般的な指標にmAP50とmAP50-95があります。これらの指標の詳細については、YOLO26の性能指標ガイドをご覧ください。

  • 事前学習済みYOLO26モデルのファインチューニングでは、特定のタスクやデータセットでの性能向上を目的としてパラメーターを調整します。まずメトリクスを使ってモデルを評価し、その後、事前学習済みの重みを使用して独自のデータセットで再トレーニングします。評価時には、rect=Trueなどのパラメーターが、さまざまな画像サイズへの効果的な対応に役立ちます。

  • 評価時にさまざまな画像サイズに対応するには、矩形検証(rect=True、model.val()のデフォルト)を使用します。この方法では、すべての画像を正方形に強制的に変換する代わりに、アスペクト比に基づいて画像をグループ化し、各バッチにパディングを適用します。imgszパラメーターは検証時の画像サイズを設定します。上書きしない場合、YOLO26はモデルに保存された値(公式の事前学習済みモデルでは640)を再利用します。データセットとGPUメモリに合わせてimgszを調整してください。詳細については、さまざまな画像サイズへの対応に関するセクションをご覧ください。

  • YOLO26モデルの平均適合率 (mAP)を向上させるには、いくつかの手順があります。

    1. ハイパーパラメーターの調整: さまざまな学習率、バッチサイズ、画像の拡張方法を試します。
    2. データ拡張:MosaicやMixUpなどの手法を使って、多様な学習サンプルを作成します。
    3. 画像のタイル分割:大きな画像を小さなタイルに分割し、小さな物体の検出精度を向上させます。

    手順1と2に関する学習引数については、ファインチューニングガイドをご覧ください。手順3については、画像のタイル分割で説明しています。

  • 検証を実行した後、Pythonを使ってYOLO26モデルの評価メトリクスにアクセスできます。

    使用方法
    from ultralytics import YOLO
    
    # モデルを読み込む
    model = YOLO("yolo26n.pt")
    
    # 検証を実行
    results = model.val(data="coco8.yaml")
    
    # 主要なメトリクスにアクセス
    print("Mean average precision at IoU=0.50:", results.box.map50)
    print("Mean average precision at IoU=0.50:0.95:", results.box.map)
    print("Mean recall:", results.box.mr)
    print("Class indices evaluated:", results.box.ap_class_index)

    これらのメトリクスを分析すると、YOLO26モデルのファインチューニングと最適化に役立ちます。詳しくは、YOLOパフォーマンスメトリクスのガイドをご覧ください。

コメント2

質問したり、結果を共有したり、ほかの人をサポートしたりできます。

  1. ILIAHHne63GitHub

    Hello, I'm using YoLOv10, how can I load the pretrained backbone, but leave the head unpretrained?

    1. Glenn JocherUltralytics

      @ILIAHHne63 to load a pretrained backbone while leaving the head unpretrained in YOLOv10, you can initialize the model with the pretrained weights and then manually reset the head layers. This allows you to retain the pretrained features of the backbone while training the head from scratch. For detailed steps, refer to the model fine-tuning section in our documentation. If you encounter any issues, ensure you're using the latest version of the package.