注釈付きコンピュータビジョンデータのデータ前処理手法

はじめに

コンピュータビジョンプロジェクトの目標を定め、データを収集し、注釈を付けたら、次のステップは注釈付きデータを前処理し、モデルトレーニングの準備をすることです。クリーンで一貫性のあるデータは、優れたパフォーマンスを発揮するモデルを作成するために不可欠です。

前処理は、画像のサイズ変更、ピクセル値の正規化、データセットの増強、データをトレーニングセット、検証セット、テストセットに分割することを含む、コンピュータビジョンプロジェクトワークフローのステップです。データのクリーニングに不可欠なテクニックとベストプラクティスを探ってみましょう！

データの前処理の重要性

私たちはすでに、複数の考慮事項を念頭に置いて慎重にデータを収集し、注釈を付けています。では、コンピュータービジョンプロジェクトにとってデータの前処理がそれほど重要な理由は何でしょうか。データの前処理とは、データをトレーニングに適した形式にして、計算負荷を軽減し、モデルのパフォーマンスを向上させることです。ここでは、前処理で対処する生データの一般的な問題をいくつか紹介します。

• Noise（ノイズ）：データに含まれる無関係またはランダムな変動。
• 一貫性のなさ：画像サイズ、フォーマット、画質のばらつき。
• 不均衡：データセット内のクラスまたはカテゴリの不均等な分布。

データの前処理手法

データの前処理で最初に行うステップの 1 つは、サイズ変更です。一部のモデルは可変入力サイズを処理するように設計されていますが、多くのモデルでは一貫した入力サイズが必要です。画像のサイズを変更すると、画像が均一になり、計算の複雑さが軽減されます。

画像のサイズ変更

次の方法を使用して、画像のサイズを変更できます。

• バイリニア補間：最も近い4つのピクセル値の加重平均を取ることによってピクセル値を滑らかにします。
• ニアレストネイバー：平均化せずに最も近いピクセルの値を割り当てるため、画像はブロック状になりますが、計算速度は速くなります。

サイズ変更の作業を簡単にするには、次のツールを使用できます。

• OpenCV: 画像処理のための広範な機能を備えた、一般的なコンピュータビジョンライブラリ。
• PIL（ピロー）：Python 画像ファイルを開き、操作し、保存するための画像ライブラリ。

YOLOv8 に関して、モデル学習中の「imgsz」パラメータは、柔軟な入力サイズを可能にする。特定のサイズ、例えば640に設定された場合、モデルは元のアスペクト比を維持したまま、入力画像の最大寸法が640ピクセルになるようにリサイズする。

モデルとデータセットの特定のニーズを評価することで、サイズ変更が必要な前処理手順であるかどうか、またはモデルがさまざまなサイズの画像を効率的に処理できるかどうかを判断できます。

ピクセル値の正規化

別の前処理手法は正規化です。正規化はピクセル値を標準範囲にスケーリングするため、トレーニング中の収束が高速化され、モデルのパフォーマンスが向上します。ここでは、一般的な正規化手法をいくつか紹介します。

• 最小-最大スケーリング：ピクセル値を0から1の範囲にスケーリングする。
• Zスコア正規化：平均値と標準偏差に基づいてピクセル値をスケーリングします。

に関して YOLOv8の場合、正規化は、モデルのトレーニング中に前処理パイプラインの一部としてシームレスに処理されます。 YOLOv8 は、RGB への変換、ピクセル値の範囲 [0, 1] へのスケーリング、定義済みの平均値と標準偏差値を使用した正規化など、いくつかの前処理手順を自動的に実行します。

データセットの分割

データをクリーンアップしたら、データセットを分割する準備が整います。データをトレーニング セット、検証セット、およびテスト セットに分割して、未知のデータでモデルを評価し、汎化のパフォーマンスを評価できるようにするために行われます。一般的な分割は、トレーニングに 70%、検証に 20%、テストに 10% です。scikit-learn や TensorFlow.

データセットを分割するときは、次の点を考慮してください。

• データ分布の維持：トレーニングセット、検証セット、テストセットにおいて、クラスのデータ分布が維持されていることを確認する。
• データ漏洩の回避：通常、データ増強はデータセットが分割された後に行われる。検証セットやテストセットからの情報がモデル学習に影響を与えないように、データ増強やその他の前処理はトレーニングセットにのみ適用されるべきである。-クラスのバランスをとる：不均衡なデータセットに対しては、少数クラスをオーバーサンプリングしたり、多数クラスをアンダーサンプリングしたりするテクニックを検討する。

データ拡張とは?

最も一般的に議論されるデータの前処理ステップは、データ拡張です。データ拡張は、画像の修正バージョンを作成することで、データセットのサイズを人為的に増やします。データを拡張することで、過学習を減らし、モデルの汎化を改善できます。

データ拡張のその他の利点は次のとおりです。

• よりロバストなデータセットを作成：データ増強は、入力データの変化や歪みに対してモデルをよりロバストにします。これには、照明、方向、スケールの変化が含まれます。
• 費用対効果：データ増強は、新しいデータを収集しラベル付けすることなく、トレーニングデータの量を増やす費用対効果の高い方法である。
• データの有効活用：新たなバリエーションを生み出すことで、利用可能なすべてのデータポイントを最大限に活用する。

データ拡張手法

一般的なオーグメンテーション手法には、反転、回転、拡大縮小、色調整などがあります。Albumentations、Imgaug、および TensorFlowの ImageDataGenerator は、これらの拡張を生成できます。

YOLOv8 に関しては、.yaml ファイルであるデータセット設定ファイルを修正することで、カスタム・データセットを拡張することができる。このファイルに、どのようにデータを補強するかを指定するパラメーターを含む補強セクションを追加することができる。

Ultralytics YOLOv8 リポジトリは、幅広いデータ拡張をサポートしています。次のようなさまざまな変換を適用できます：

• ランダムクロップ
• 反転:画像を水平または垂直に反転できます。
• 回転:画像を特定の角度で回転させることができます。
• 歪み

また、特定のパラメーターを使用してこれらの拡張手法の強度を調整し、より多くのデータの種類を生成できます。

前処理の事例研究

以下を使用して、交通画像内のさまざまな種類の車両を検出して分類するモデルの開発を目的としたプロジェクトを考えてみましょう。 YOLOv8.交通情報の画像を収集し、バウンディングボックスとラベルで注釈を付けました。

このプロジェクトの前処理の各ステップは次のようになります。

• 画像のサイズ変更:以降 YOLOv8 柔軟な入力サイズを処理し、サイズ変更を自動的に実行するため、手動でサイズを変更する必要はありません。モデルは、トレーニング中に指定された 'imgsz' パラメーターに従って画像サイズを調整します。
• ピクセル値の正規化: YOLOv8 前処理中にピクセル値を 0 から 1 の範囲に自動的に正規化するため、必須ではありません。
• データセットの分割: scikit-learn などのツールを使用して、データセットをトレーニング (70%)、検証 (20%)、テスト (10%) のセットに分割します。
• データ拡張: データセット構成ファイル (.yaml) を変更して、ランダムなトリミング、水平方向の反転、明るさの調整などのデータ拡張手法を含めます。

これらの手順により、データセットが潜在的な問題なしで準備され、探索的データ分析 (EDA) の準備が整っていることが確認されます。

探索的データ解析手法

データセットの前処理と拡張が終わったら、次のステップは探索的データ解析を通じてインサイトを得ることです。EDA では、統計的手法と視覚化ツールを使用して、データのパターンと分布を理解します。クラスの不均衡や外れ値などの問題を特定し、データの前処理やモデル トレーニングの調整について十分な情報に基づいた決定を下すことができます。

統計的EDA手法

統計手法は、多くの場合、平均、中央値、標準偏差、範囲などの基本的な指標を計算することから始まります。これらの指標は、ピクセル強度分布など、画像データセットのプロパティの概要をすばやく提供します。これらの基本的な統計を理解することで、データの全体的な品質と特性を把握し、不規則性を早期に発見することができます。

ビジュアルEDAのテクニック

視覚化は、画像データセットの EDA の鍵となります。たとえば、クラスの不均衡分析は、EDAのもう一つの重要な側面です。これは、データセットで特定のクラスが過小評価されているかどうかを判断するのに役立ち、棒グラフを使用してさまざまな画像クラスまたはカテゴリの分布を視覚化すると、不均衡をすばやく明らかにすることができます。同様に、外れ値は、ピクセル強度や特徴分布の異常を強調する箱ひげ図などの視覚化ツールを使用して特定できます。外れ値検出は、異常なデータポイントが結果を歪めるのを防ぎます。

視覚化の一般的なツールには、次のものがあります。

• ヒストグラムと箱ひげ図: ピクセル値の分布を把握し、外れ値を特定するのに役立ちます。
• 散布図: 画像の特徴や注釈間の関係を調べるのに役立ちます。
• ヒートマップ: ピクセル強度の分布や、画像内の注釈付き特徴の空間分布を視覚化するのに効果的です。

使用 Ultralytics Explorer for EDA

EDA へのより高度なアプローチについては、 Ultralytics エクスプローラー ツール。コンピューター ビジョン データセットを探索するための堅牢な機能を提供します。このツールは、セマンティック検索、SQL クエリ、ベクトル類似検索をサポートすることで、データの分析と理解を容易にします。で Ultralytics エクスプローラーでは、データセットの埋め込みを作成して、類似の画像を見つけたり、SQLクエリを実行して詳細な分析を行ったり、セマンティック検索を実行したりすることができます。

手を差し伸べてつながる

他のコンピューター ビジョン愛好家とプロジェクトについて話し合うことで、さまざまな視点から新しいアイデアが得られます。ここでは、学習、トラブルシューティング、ネットワークを構築するための優れた方法をいくつか紹介します。

コミュニティとつながるためのチャンネル

• GitHub Issues： YOLOv8 GitHub リポジトリにアクセスし、Issues タブを使って質問を投げかけたり、バグを報告したり、機能を提案したりしてください。コミュニティとメンテナーは、あなたが直面するどんな問題にも対応します。
• Ultralytics Discordサーバー： Ultralytics Discord サーバーに参加して、他のユーザーや開発者とつながり、サポートを受け、知識を共有し、アイデアを出し合いましょう。

公式文書

• Ultralytics YOLOv8 ドキュメント数多くのコンピュータビジョンタスクとプロジェクトに関する徹底的なガイドと貴重な洞察については、 YOLOv8 の公式ドキュメントを参照してください。

データセットの準備が整いました。

データのサイズ変更、正規化、拡張データを適切に行うと、ノイズが低減され、汎化が改善され、モデルのパフォーマンスが向上します。このガイドで概説されている前処理の手法とベスト プラクティスに従うことで、ソリッド データセットを作成できます。前処理されたデータセットの準備ができたら、自信を持ってプロジェクトの次のステップに進むことができます。

よくあるご質問

コンピュータビジョンプロジェクトにおけるデータ前処理の重要性とは？

データの前処理は、データがクリーンで一貫性があり、モデル学習に最適な形式であることを保証するため、コンピュータビジョンプロジェクトにおいて不可欠である。生データのノイズ、不整合、不均衡などの問題に対処することで、サイズ変更、正規化、拡張、データセット分割などの前処理ステップは、計算負荷を軽減し、モデル性能を向上させるのに役立ちます。詳細については、コンピュータビジョンプロジェクトのステップをご覧ください。

Ultralytics YOLO をデータ補強に使うには？

Ultralytics YOLOv8 でデータを拡張するには、データセット設定ファイル（.yaml）を修正する必要がある。このファイルでは、ランダムクロップ、水平反転、明るさ調整など、さまざまなオーグメンテーション技術を指定できる。これは、ここで説明するトレーニング・コンフィギュレーションを使って効果的に行うことができる。データ増強は、よりロバストなデータセットを作成し、オーバーフィッティングを減らし、モデルの一般化を改善するのに役立ちます。

コンピュータビジョンデータに最適なデータ正規化技術とは？

ノーマライゼーションは、ピクセル値を標準的な範囲にスケーリングすることで、収束を早め、トレーニング時のパフォーマンスを向上させます。一般的な手法には以下が含まれます：

• 最小-最大スケーリング：ピクセル値を0から1の範囲にスケーリングする。
• Zスコア正規化：平均値と標準偏差に基づいてピクセル値をスケーリングします。

YOLOv8 については、RGBへの変換やピクセル値のスケーリングなど、正規化が自動的に処理される。詳しくはモデルトレーニングのセクションをご覧ください。

トレーニング用のアノテーションデータセットはどのように分割すればよいのでしょうか？

データセットを分割するには、70%をトレーニング用、20%を検証用、10%をテスト用に分けるのが一般的です。これらの分割にわたってクラスのデータ分布を維持し、トレーニングセットに対してのみオーグメンテーションを実行することでデータ漏れを回避することが重要である。データセット分割を効率的に行うには、scikit-learn やTensorFlow のようなツールを使用する。データセットの準備に関する詳細なガイドを参照してください。

手動でリサイズしなくても、YOLOv8 、さまざまな画像サイズに対応できますか？

はい、Ultralytics YOLOv8 、モデルのトレーニング中に'imgsz'パラメータを通して、様々な画像サイズを扱うことができます。このパラメータは、アスペクト比を維持しながら、画像の最大寸法が指定されたサイズ（例えば640ピクセル）に合うようにリサイズされることを保証します。より柔軟な入力処理と自動調整については、モデルトレーニングのセクションをご覧ください。

コメント