コンピュータビジョンモデルのテスト方法#

はじめに#

モデルテストは、キュレーションされたベンチマークではなく、動いているオブジェクト、光量不足のオブジェクト、または部分的に隠れたオブジェクトなど、これまでに見られていない実世界のデータに対して訓練済みモデルがどのように機能するかを確認します。モデル評価がラベル付きデータセットのメトリクスを測定する一方で、テストは、デプロイ前にモデルの学習済み動作がアプリケーションの目標と一致していることを検証します。このガイドでは、テストデータの準備、Ultralytics YOLO26 モデルのテスト、および過学習、未学習、データリークの検出について解説します。

モデルのテストとモデルの評価の違い#

モデルテストとモデル評価は、コンピュータビジョンプロジェクトにおける2つの異なるステップです。評価はラベル付きデータセットのメトリクスでパフォーマンスを測定し、テストはモデルの学習済み動作がデプロイ環境に似た条件で維持されるかどうかを確認します。

猫や犬を認識するためのコンピュータビジョンモデルをトレーニングし、ペットショップでこのモデルをデプロイして動物を監視したいと仮定します。モデル評価フェーズでは、ラベル付きデータセットを使用して、精度、適合率、再現率などのメトリクスを計算します。たとえば、指定されたデータセットで猫と犬を区別する際のモデルの精度は98%になる場合があります。

評価後、ペットショップの画像を使用してモデルをテストし、より多様で現実的な条件下で猫や犬をどれだけ正確に識別できるかを確認します。移動中やさまざまな照明条件下、あるいは玩具や家具などで部分的に隠れている場合に、正しく猫や犬をラベル付けできるかをチェックします。モデルのテストは、制御された評価環境の外でもモデルが期待通りに機能することを確認するためのものです。

モデルテストの準備#

コンピュータビジョンのデータセットは通常、現実世界の条件をシミュレートするためにトレーニングセットとテストセットに分割されます。トレーニングデータはモデルに学習させ、テストデータはこれまでに見たことのない例での動作を検証します。Ultralytics Platformはデータセットの整理とアノテーションを1か所にまとめておくため、ラベル付きテストセットを構築する際に役立ちます。

YOLO26モデルのテスト方法#

学習済みYOLO26モデルのテストには、ラベル付きテスト分割で検証して定量的なメトリクスを得る方法と、新しい画像で予測を行い動作を定性的に検査するという、2つの補完的なワークフローが含まれます。

ラベル付きテスト分割による検証#

検証モードは、モデルの予測と正解ラベルを比較し、検出モデルの適合率、再現率、mAP50、およびmAP50-95を報告します。また、混同行列や適合率-再現率曲線などの視覚的な補助資料も保存するため、モデルのパフォーマンスが十分に発揮されていない特定のエリアを見つけるのに役立ちます。

from ultralytics import YOLO

# Load a pretrained model or your own trained checkpoint, e.g. "path/to/best.pt"
model = YOLO("yolo26n.pt")

# Validate; add split="test" if your dataset YAML defines a test split
metrics = model.val(data="coco8.yaml")
print(metrics.box.map)  # mAP50-95

デフォルトでは、検証はデータセットの val 分割で実行されます。ホールドアウトテストセットでパフォーマンスを測定するには、データセットYAMLで test: 分割を定義し、split="test" を渡します。

新しい画像での予測#

予測モードは、ラベルを必要とせずに、新しく未確認のデータでモデルを実行します。パフォーマンスメトリクスは生成されませんが、アノテーション付きの出力を保存することで、テスト画像のフォルダ全体など、実際の画像でモデルがどのように動作するかを一度に確認できます。

from ultralytics import YOLO

# Load a pretrained model or your own trained checkpoint, e.g. "path/to/best.pt"
model = YOLO("yolo26n.pt")

# Run predictions on a folder of test images and save annotated results
results = model.predict(source="path/to/test_images", save=True)

検証モードと予測モードの比較#

テスト結果の分析方法#

予測とメトリクスが得られたら、モデルがどこで、なぜ失敗しているかを掘り下げて分析します。

• 誤分類された画像：モデルが誤分類した画像を特定・レビューし、問題の原因を理解します。
• エラー分析：エラーの種類（例：偽陽性 vs 偽陰性）とその潜在的な原因を理解するために徹底的なエラー分析を行います。
• バイアスと公平性：モデルの予測にバイアスがないか確認します。特に人種、性別、年齢などの機密属性が含まれる場合、データの異なるサブセット間でモデルが等しく機能することを確認します。

機械学習における過学習と学習不足#

機械学習モデル、特にコンピュータビジョンモデルをテストする場合、過学習と未学習に注意することが重要です。これらの問題は、新しいデータに対するモデルの動作に大きな影響を与える可能性があります。

重要なのは、学習データセットと検証データセットの両方で良好に機能するようにバランスを取ることです。テスト中にメトリクスを定期的に監視し、予測結果を視覚的に検査することで、両極端への偏りを防ぐことができます。

コンピュータビジョンにおけるデータ漏洩とその回避方法#

データ漏洩は、学習データセット外の情報が誤ってモデルの学習に使用されたときに発生します。学習中はモデルが非常に高精度に見えるかもしれませんが、データ漏洩が発生していると、未知のデータに対してはうまく機能しません。

漏洩は特定が難しく、学習データに含まれる隠れたバイアスから発生することがよくあります。

データ漏洩の検知と回避方法#

データ漏洩を見つけるには、モデルの結果が驚くほど良すぎないかを確認し、特定の1つの特徴量が他より重要視されていないか調べ、モデルの決定が直感的に理にかなっているかを確認し、データが処理前に正しく分割されていたかを再確認します。

これを防ぐには、異なるカメラや環境で撮影された画像やビデオを含む多様なデータセットを使用し、特定の時間帯にのみポジティブサンプルが採取されているといった隠れたバイアスがないかデータを注意深く見直します。データ漏洩を回避することで、実環境でのコンピュータビジョンモデルの信頼性が向上します。

モデルテストの次のステップ#

モデルのテスト後、次のステップは結果によって異なります。モデルが良好に機能する場合は、実際の環境にデプロイできます。結果が満足のいくものでない場合は、改善を行う必要があります。これには、エラーの分析、より多くのデータの収集、データ品質の向上、ハイパーパラメータの調整、およびモデルの再トレーニングが含まれる場合があります。

結論#

ホールドアウトテスト分割での検証、実際の画像での予測、過学習やデータリークのチェックなどの厳密なモデルテストこそが、十分に評価されたモデルを信頼性の高いものに変えるものです。デプロイ前にテストで浮き彫りになった問題に対処すれば、本番環境で意図したとおりにモデルが動作する確率がはるかに高くなります。途中で質問が生じた場合は、Ultralytics GitHubリポジトリまたはUltralytics Discordサーバーのコミュニティにお尋ねください。

よくある質問 (FAQ)#