最適化 YOLOv8 による推論 Neural Magicの DeepSparse エンジン

のようなオブジェクト検出モデルをさまざまなハードウェアに展開する場合、最適化など独特の問題にぶつかることがある。 Ultralytics YOLOv8のようなオブジェクト検出モデルをさまざまなハードウェアにデプロイする場合、最適化のような独自の問題にぶつかることがあります。そこでYOLOv8 とNeural Magic の DeepSparse Engine との統合が必要になります。これは、YOLOv8 モデルの実行方法を変換し、GPU-レベルのパフォーマンスをCPU上で直接実現します。

このガイドでは、Neural Magic の DeepSparse を使用してYOLOv8 をデプロイする方法、推論を実行する方法、およびパフォーマンスが最適化されていることを確認するためのベンチマーク方法を示します。

Neural MagicのDeepSparse

Neural MagicDeepSparseは、CPU上でのニューラルネットワークの実行を最適化するために設計された推論ランタイムである。スパース、プルーニング、量子化などの高度なテクニックを適用し、精度を維持しながら計算量を劇的に削減します。DeepSparseは、さまざまなデバイスで効率的かつスケーラブルにニューラルネットワークを実行するための俊敏なソリューションを提供します。

統合の利点 Neural Magicの DeepSparse を YOLOv8

デプロイ方法に入る前に YOLOV8 DeepSparse を使用して、DeepSparse を使用する利点を理解しましょう。主な利点は次のとおりです。

• 推論速度の向上：最大525 FPS（YOLOv8n ）を達成し、従来の手法と比較してYOLOv8 の推論機能を大幅に高速化。

• 最適化されたモデル効率：プルーニングと量子化を使用してYOLOv8 の効率を高め、精度を維持しながらモデルサイズと計算量を削減します。

• 標準的なCPUで高いパフォーマンスを発揮：GPU のようなパフォーマンスをCPU上で実現し、さまざまなアプリケーションに、よりアクセスしやすくコスト効率の高いオプションを提供します。

• 合理化された統合と展開：画像やビデオの注釈機能など、YOLOv8 をアプリケーションに簡単に統合できるユーザーフレンドリーなツールを提供。

• 様々なモデルタイプをサポート：標準モデルとスパース最適化YOLOv8 モデルの両方に対応し、配備の柔軟性を高めます。

• コスト効率と拡張性に優れたソリューション：運用コストを削減し、高度な物体検出モデルをスケーラブルに展開。

Neural Magic 「DeepSparse」テクノロジーの仕組みとは？

Neural MagicのDeep Sparseテクノロジーは、ニューラルネットワーク計算における人間の脳の効率性に着想を得ています。それは、脳から次の2つの重要な原則を採用しています。

• スパース化：スパース化のプロセスでは、深層学習ネットワークから冗長な情報を刈り込み、精度を損なうことなく、より小さく高速なモデルを実現する。この手法により、ネットワークのサイズと計算量が大幅に削減される。

• 参照の局所性：DeepSparseは、ネットワークをTensor 「列」に分割するというユニークな実行方法を採用している。これらのカラムは深さ方向に実行され、CPU のキャッシュ内に完全に収まる。このアプローチは脳の効率性を模倣し、データの移動を最小化し、CPU'のキャッシュ使用を最大化する。

Neural Magic 「DeepSparse」テクノロジーの仕組みの詳細については、彼らのブログ記事をご覧ください。

カスタムデータセットで訓練されたYOLOv8 のスパースバージョンの作成

Neural Magic によるオープンソースのモデルリポジトリである SparseZoo は、事前にスパース化されたYOLOv8 モデルのチェックポイントのコレクションを提供しています。Ultralytics とシームレスに統合されたSparseMLを使えば、ユーザは簡単なコマンドラインインタフェースを使用して、特定のデータセット上でこれらのスパースチェックポイントを簡単に微調整することができます。

詳細はNeural Magic の SparseMLYOLOv8 ドキュメントを参照してください。

使用方法DeepSparse を使用したYOLOV8 の展開

Neural Magic の DeepSparse を使用してYOLOv8 を展開するには、いくつかの簡単な手順が必要です。使用方法の説明に入る前に、 Ultralytics が提供するYOLOv8 モデルの範囲を必ず確認してください。これにより、プロジェクトの要件に最適なモデルを選択できます。以下に、その方法を説明します。

ステップ1：インストール

必要なパッケージをインストールするには

# Install the required packages
pip install deepsparse[yolov8]

ステップ 2:YOLOv8 をONNX 形式にエクスポートする

ONNX DeepSparse Engineでは、YOLOv8 形式のモデルが必要です。モデルをこの形式にエクスポートすることは、DeepSparseとの互換性のために不可欠です。YOLOv8 モデルをエクスポートするには、以下のコマンドを使用します：

# Export YOLOv8 model to ONNX format
yolo task=detect mode=export model=yolov8n.pt format=onnx opset=13

このコマンドは yolov8n.onnx モデルをディスクに保存する。

ステップ3：推論の展開と実行

ONNX 形式のYOLOv8 モデルがあれば、DeepSparse を使用して推論を展開および実行できます。これは、DeepSparseの直感的なAPI（Python ）を使って簡単に行うことができます：

from deepsparse import Pipeline

# Specify the path to your YOLOv8 ONNX model
model_path = "path/to/yolov8n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

ステップ4：パフォーマンスのベンチマーク

YOLOv8 モデルが DeepSparse 上で最適に動作していることを確認することが重要です。モデルのパフォーマンスをベンチマークして、スループットと待ち時間を分析できます：

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolov8n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

ステップ5：追加機能

DeepSparseは、画像注釈やデータセット評価などのアプリケーションにYOLOv8 を実用的に統合するための追加機能を提供する。

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolov8n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolov8n.onnx"

annotateコマンドを実行すると、指定した画像が処理され、オブジェクトが検出され、バウンディングボックスと分類とともにアノテーションされた画像が保存されます。アノテーションされた画像は、annotation-resultsフォルダに保存されます。これは、モデルの検出能力を視覚的に表現するのに役立ちます。

evalコマンドを実行すると、precision、recall、mAP（mean Average Precision）などの詳細な出力メトリクスが得られます。これにより、データセット上でのモデルのパフォーマンスを包括的に見ることができます。この機能は、特定のユースケースに対してYOLOv8 モデルを微調整・最適化し、高い精度と効率を確保するために特に有用です。

概要

このガイドでは、Ultralytics'YOLOv8 とNeural Magic's DeepSparse Engine の統合について検討した。この統合が、YOLOv8'のパフォーマンスをCPU プラットフォーム上でどのように向上させ、GPU-レベルの効率性と高度なニューラルネットワークスパース技術を提供するかを強調した。

詳細な情報と高度な使用法については、Neural Magic の DeepSparse ドキュメントを参照してください。また、YOLOv8 との統合に関するNeural Magic'のドキュメントや、これに関する素晴らしいセッションもご覧ください。

さらに、YOLOv8 の様々な統合をより広く理解するために、Ultralytics 統合ガイドのページをご覧ください。ここでは、他のエキサイティングな統合の可能性を幅広く発見することができます。

よくあるご質問

Neural Magic 「DeepSparse Engine」とはどのようなもので、YOLOv8 パフォーマンスをどのように最適化するのか？

Neural MagicDeepSparseエンジンは、スパース、プルーニング、量子化などの高度な技術によって、CPU上でのニューラルネットワークの実行を最適化するように設計された推論ランタイムです。DeepSparse をYOLOv8 と統合することで、標準的な CPU 上でGPU のようなパフォーマンスを実現し、精度を維持しながら推論速度、モデル効率、全体的なパフォーマンスを大幅に向上させることができます。詳細については、Neural Magic の DeepSparse セクションをご覧ください。

Neural Magic の DeepSparse を使用してYOLOv8 を展開するために必要なパッケージをインストールする方法を教えてください。

Neural Magic の DeepSparse でYOLOv8 を展開するために必要なパッケージのインストールは簡単です。CLI を使用して簡単にインストールできます。 実行する必要があるコマンドは以下のとおりです：

pip install deepsparse[yolov8]

インストールが完了したら、[インストール] セクションに記載されている手順に従って環境をセットアップし、YOLOv8 で DeepSparse の使用を開始します。

DeepSparse で使用するために、YOLOv8 のモデルをONNX 形式に変換する方法を教えてください。

YOLOv8 モデルを、DeepSparse との互換性に必要なONNX 形式に変換するには、以下のCLI コマンドを使用します：

yolo task=detect mode=export model=yolov8n.pt format=onnx opset=13

このコマンドは、あなたのYOLOv8 モデル (yolov8n.pt) をフォーマット (yolov8n.onnx) で利用できます。モデルのエクスポートに関する詳細は モデル・エクスポートセクション.

DeepSparse EngineでYOLOv8 、パフォーマンスをベンチマークするにはどうすればよいですか?

DeepSparse でYOLOv8 パフォーマンスのベンチマークを実行すると、スループットと待ち時間を分析して、モデルが最適化されていることを確認できます。ベンチマークを実行するには、以下のCLI コマンドを使用できます：

deepsparse.benchmark model_path="path/to/yolov8n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

このコマンドは、重要なパフォーマンス・メトリクスを提供します。詳細については、パフォーマンスのベンチマーク・セクションを参照してください。

物体検出タスクにNeural Magic の DeepSparse とYOLOv8 を使用する理由は?

Neural Magic の DeepSparse をYOLOv8 と統合すると、いくつかの利点がある：

• 推論スピードの向上：最大525 FPSを達成し、YOLOv8 の機能を大幅に高速化。
• 最適化されたモデル効率：スパース、プルーニング、量子化技術を使用し、精度を維持しながらモデルサイズと計算量を削減します。
• 標準的なCPUで高いパフォーマンス：費用対効果の高いCPU ハードウェアでGPU のようなパフォーマンスを提供。
• 合理化された統合：ユーザーフレンドリーなツールで、導入と統合が簡単。
• 柔軟性：標準モデルとスパース最適化YOLOv8 モデルの両方をサポート。
• 費用対効果：リソースの効率的な活用により、運用コストを削減します。

これらの利点の詳細については、 Neural Magic の DeepSparse とYOLOv8 の統合の利点をご覧ください。

コメント