Neural MagicのDeepSparse Engineを使用したYOLO26推論の最適化#

object detection モデルなどの Ultralytics YOLO26 モデルをさまざまなハードウェアにデプロイする際、最適化などの特有の問題に直面することがあります。そこで役立つのが、Neural Magic の DeepSparse Engine と YOLO26 の統合です。これにより、YOLO26 モデルの実行方法が刷新され、CPU 上で直接 GPU レベルのパフォーマンスを実現できるようになります。

本ガイドでは、Neural MagicのDeepSparseを使用してYOLO26をデプロイする方法、推論を実行する方法、および最適化を確認するためのパフォーマンスのベンチマーク方法を説明します。

Neural MagicのDeepSparse#

Neural Magic's DeepSparse は、CPU 上でのニューラルネットワークの実行を最適化するために設計された推論ランタイムです。スパース性、プルーニング、量子化などの高度な技術を適用することで、精度を維持しながら計算負荷を劇的に削減します。DeepSparse は、さまざまなデバイスで効率的かつスケーラブルなニューラルネットワークの実行を実現するアジャイルなソリューションを提供します。

Neural MagicのDeepSparseとYOLO26を統合するメリット#

DeepSparseを使用してYOLO26をデプロイする方法に入る前に、DeepSparseを使用する利点を理解しておきましょう。主な利点は以下の通りです。

• 推論速度の向上: 最大525 FPS（YOLO11nの場合）を達成し、従来のメソッドと比較してYOLOの推論能力を大幅に高速化します。

• モデル効率の最適化: プルーニングと量子化を使用して YOLO26 の効率を向上させ、精度を維持しながらモデルサイズと計算要件を削減します。

• 標準CPUでの高いパフォーマンス: CPU上でGPUのようなパフォーマンスを実現し、さまざまなアプリケーションに対して、よりアクセスしやすくコスト効率の高いオプションを提供します。

• 統合とデプロイの合理化: YOLO26をアプリケーションに簡単に統合できる使いやすいツールを提供しており、画像やビデオのアノテーション機能も含まれています。

• さまざまなモデルタイプへのサポート: 標準のYOLO26モデルとスパース性最適化モデルの両方と互換性があり、デプロイの柔軟性が向上します。

• コスト効率に優れたスケーラブルなソリューション: 運用コストを削減し、高度な物体検出モデルのスケーラブルなデプロイを実現します。

Neural MagicのDeepSparse技術はどのように機能するのか？#

Neural MagicのDeepSparse技術は、ニューラルネットワーク計算における人間の脳の効率性にヒントを得ています。脳の2つの主要な原則を採用しています。

• スパース性: スパース化のプロセスでは、ディープラーニングネットワークから冗長な情報をプルーニングし、精度を損なうことなく、より小さく高速なモデルを実現します。この技術により、ネットワークのサイズと計算要件が大幅に削減されます。

• 参照の局所性: DeepSparseは、ネットワークをテンソル列（Tensor Columns）に分解する独自の実行手法を使用します。これらの列は深さ方向に実行され、CPUのキャッシュ内に完全に収まります。このアプローチは脳の効率を模倣しており、データ移動を最小限に抑え、CPUのキャッシュ利用を最大化します。

カスタムデータセットで学習したYOLO26のスパースバージョンの作成#

Neural Magic が提供するオープンソースのモデルリポジトリである SparseZoo には、事前スパース化された YOLO26 モデルチェックポイントのコレクションが用意されています。Ultralytics とシームレスに統合された SparseML を使用すると、ユーザーはシンプルなコマンドラインインターフェースを通じて、特定のデータセットに対してこれらのスパースチェックポイントを簡単に微調整できます。

詳細については、Neural Magic's SparseML YOLO26 documentation をご覧ください。

使用方法：DeepSparseを使用したYOLO26のデプロイ#

Neural Magic の DeepSparse を使用して YOLO26 をデプロイするには、いくつかの簡単な手順が必要です。使用方法に関する説明に進む前に、Ultralytics が提供する YOLO26 モデルのラインナップを必ずご確認ください。これにより、プロジェクトの要件に最も適したモデルを選択できるようになります。はじめ方は以下の通りです。

ステップ 1: インストール#

必要なパッケージをインストールするには、以下を実行してください。

# Install the required packages
pip install deepsparse[yolov8]

ステップ 2: YOLO26をONNX形式にエクスポートする#

DeepSparse Engine では、ONNX format の YOLO26 モデルが必要です。DeepSparse との互換性を確保するには、モデルをこの形式にエクスポートすることが不可欠です。YOLO26 モデルをエクスポートするには、次のコマンドを使用します。

# Export YOLO26 model to ONNX format
yolo task=detect mode=export model=yolo26n.pt format=onnx opset=13

このコマンドを実行すると、yolo26n.onnx モデルがディスクに保存されます。

ステップ 3: デプロイと推論の実行#

ONNX形式のYOLO26モデルがあれば、DeepSparseを使用してデプロイと推論を実行できます。これは直感的なPython APIを使用して簡単に行うことができます。

from deepsparse import Pipeline

# Specify the path to your YOLO26 ONNX model
model_path = "path/to/yolo26n.onnx"

# Set up the DeepSparse Pipeline
yolo_pipeline = Pipeline.create(task="yolov8", model_path=model_path)

# Run the model on your images
images = ["path/to/image.jpg"]
pipeline_outputs = yolo_pipeline(images=images)

ステップ 4: パフォーマンスのベンチマーク#

YOLO26 モデルが DeepSparse上で最適なパフォーマンスを発揮していることを確認することが重要です。モデルのパフォーマンスをベンチマークして、スループットとレイテンシを分析できます。

# Benchmark performance
deepsparse.benchmark model_path="path/to/yolo26n.onnx" --scenario=sync --input_shapes="[1,3,640,640]"

ステップ 5: 追加機能#

DeepSparseは、画像アノテーションやデータセット評価など、アプリケーションへのYOLO26の実際的な統合のための追加機能を提供します。

# For image annotation
deepsparse.yolov8.annotate --source "path/to/image.jpg" --model_filepath "path/to/yolo26n.onnx"

# For evaluating model performance on a dataset
deepsparse.yolov8.eval --model_path "path/to/yolo26n.onnx"

annotateコマンドを実行すると、指定した画像が処理され、物体が検出され、バウンディングボックスと分類が付与されたアノテーション済み画像が保存されます。アノテーション済み画像はannotation-resultsフォルダーに保存されます。これは、モデルの検出能力を視覚的に表現するのに役立ちます。

eval コマンドを実行すると、precision、recall、mAP (平均適合率) などの詳細な出力指標が得られます。これにより、データセットに対するモデルのパフォーマンスを包括的に把握できるようになり、特定のユースケースに合わせて YOLO26 モデルを微調整および最適化し、高い精度と効率を確保する上で特に役立ちます。

要約#

本ガイドでは、UltralyticsのYOLO26とNeural MagicのDeepSparse Engineの統合について説明しました。この統合によって、CPUプラットフォーム上でのYOLO26のパフォーマンスがどのように向上し、GPUレベルの効率と高度なニューラルネットワークのスパース化技術が提供されるかを強調しました。

詳細情報や高度な使用方法については、DeepSparse documentation by Neural Magic をご覧ください。また、YOLO26 integration guide の確認や、YouTube での解説セッションの視聴も可能です。

さらに、さまざまな YOLO26 の統合について広く理解するには、Ultralytics integration guide page をご覧ください。ここでは、他にもさまざまな興味深い統合の可能性を見つけることができます。

よくある質問 (FAQ)#