コンピュータービジョンモデルのテスト方法#

はじめに#

モデルテストでは、学習済みモデルが、厳選されたベンチマークではなく、動いている物体、照明が不十分な状況、部分的に隠れた物体など、これまで見ていない実世界のデータでどのように動作するかを確認します。モデル評価ではラベル付きデータセット上のメトリクスを測定する一方、テストでは、デプロイ前にモデルが学習した動作がアプリケーションの目標に合致しているかを検証します。このガイドでは、テストデータの準備、Ultralytics YOLO26モデルのテスト、過学習、学習不足、データリークの検出について説明します。

モデルテストとモデル評価の違い#

モデルテストとモデル評価は、コンピュータービジョンプロジェクトにおける別々のステップです。評価ではラベル付きデータセット上のメトリクスを使ってパフォーマンスを測定します。テストでは、デプロイ時に近い条件でモデルが学習した動作を維持できるかを確認します。

猫と犬を認識するコンピュータービジョンモデルを学習させ、ペットショップで動物を監視するためにデプロイするとします。モデルの評価段階では、ラベル付きデータセットを使って正解率、適合率、再現率などのメトリクスを計算します。たとえば、あるデータセットで猫と犬を区別する正解率が98%になる場合があります。

評価後、ペットショップで撮影した画像を使ってモデルをテストし、より多様で現実的な条件で猫と犬をどれだけ適切に識別できるかを確認します。動いている場合や照明条件が異なる場合、おもちゃや家具などで一部が隠れている場合でも、猫と犬に正しくラベルを付けられるかを確かめます。モデルテストでは、管理された評価環境以外でもモデルが期待どおりに動作するかを確認します。

モデルテストの準備#

コンピュータービジョンのデータセットは、実世界の条件を再現するため、通常は学習用セットとテスト用セットに分割されます。学習データでモデルを学習し、テストデータでモデルが未見のサンプルに対する動作を検証します。Ultralytics Platformではデータセットの整理とアノテーションを一元管理できるため、ラベル付きテストセットの作成に役立ちます。

YOLO26モデルのテスト方法#

学習済みYOLO26モデルのテストには、相互に補完する2つのワークフローがあります。ラベル付きテスト分割で検証して定量的なメトリクスを取得する方法と、新しい画像に対して予測を実行して定性的に動作を確認する方法です。

ラベル付きテスト分割で検証する#

検証モードでは、モデルの予測と正解ラベルを比較し、物体検出モデルの適合率、再現率、mAP50、mAP50-95を報告します。また、混同行列や適合率-再現率曲線などの視覚的な補助資料も保存されるため、モデルのパフォーマンスが十分でない具体的な領域を特定できます。

from ultralytics import YOLO

# 事前学習済みモデルまたは独自に学習させたチェックポイント（例："path/to/best.pt"）を読み込む
model = YOLO("yolo26n.pt")

# 検証を実行します。データセットYAMLでテスト分割を定義している場合は、split="test"を追加してください
metrics = model.val(data="coco8.yaml")
print(metrics.box.map)  # mAP50-95

デフォルトでは、検証はデータセットのval分割で実行されます。保留したテストセットでパフォーマンスを測定するには、データセットYAMLでtest:分割を定義し、split="test"を渡します。

新しい画像に対して予測を実行する#

予測モードでは、ラベルを必要とせずに新しい未見データに対してモデルを実行します。パフォーマンスメトリクスは生成されませんが、アノテーション付きの出力を保存することで、たとえばテスト画像のフォルダー全体を一度に処理して、実世界の画像でのモデルの動作を確認できます。

from ultralytics import YOLO

# 事前学習済みモデルまたは独自に学習させたチェックポイント（例："path/to/best.pt"）を読み込む
model = YOLO("yolo26n.pt")

# テスト画像のフォルダーに対して予測を実行し、アノテーション付きの結果を保存する
results = model.predict(source="path/to/test_images", save=True)

検証モードと予測モードの違い#

テスト結果の分析方法#

予測結果とメトリクスが得られたら、モデルがどこで、なぜ失敗するのかを詳しく調べます。

• 誤分類された画像：モデルが誤分類した画像を特定して確認し、問題が発生している箇所を理解します。
• エラー分析：エラーの種類（例：偽陽性と偽陰性）やその潜在的な原因を理解するため、詳細なエラー分析を実施します。
• バイアスと公平性：モデルの予測にバイアスがないか確認します。特に人種、性別、年齢などのセンシティブ属性が含まれる場合は、データのさまざまなサブセット間でモデルが同等のパフォーマンスを発揮することを確認してください。

機械学習における過学習と学習不足#

機械学習モデル、特にコンピュータービジョンモデルをテストする際は、過学習と学習不足に注意することが重要です。これらの問題は、新しいデータに対するモデルの性能に大きな影響を与える可能性があります。

重要なのは、学習データセットと検証データセットの両方でモデルが良好に動作するバランスを見つけることです。テスト中にメトリクスを定期的に監視し、予測結果を目視で確認すると、どちらか一方の極端な状態に傾いていないかを把握できます。

コンピュータービジョンにおけるデータリークとその防止方法#

データリークは、学習データセット外の情報が誤ってモデルの学習に使用された場合に発生します。データリークがあると、学習中はモデルの正解率が非常に高く見えても、新しい未見データでは良好に動作しません。

データリークは発見が難しく、学習データ内に潜むバイアスが原因となることがよくあります。

データリークを検出して回避する方法#

データリークを見つけるには、モデルの結果が不自然なほど良好でないかを確認し、ある特徴量の重要度が他よりはるかに高くないかを調べ、モデルの判断が直感的に妥当かを再確認し、処理を行う前にデータが正しく分割されていたことを検証します。

データリークを防ぐには、異なるカメラや環境で撮影した画像や動画を含む多様なデータセットを使用し、特定の時間帯にすべての陽性サンプルが撮影されているなど、隠れた偏りがないかデータを慎重に確認します。データリークを回避すると、コンピュータービジョンモデルの実環境での信頼性が高まります。

モデルテスト後に行うこと#

モデルをテストした後の次のステップは、結果によって異なります。モデルの性能が良好であれば、実環境にデプロイできます。結果に満足できない場合は、改善が必要です。エラーの分析、データの追加収集、データ品質の向上、ハイパーパラメーターの調整、モデルの再トレーニングなどが考えられます。

結論#

ホールドアウトしたテスト分割での検証、実環境の画像に対する予測、過学習やデータリークの確認といった厳密なモデルテストによって、十分に評価されたモデルを信頼できるモデルにできます。デプロイ前にテストで明らかになった問題に対処すれば、本番環境でモデルが意図どおりに動作する可能性が大幅に高まります。途中で質問が出てきた場合は、Ultralytics GitHubリポジトリまたはUltralytics Discordサーバーでコミュニティに質問してください。

よくある質問#