Understanding YOLO11's Deployment Options

はじめに

You've come a long way on your journey with YOLO11. You've diligently collected data, meticulously annotated it, and put in the hours to train and rigorously evaluate your custom YOLO11 model. Now, it's time to put your model to work for your specific application, use case, or project. But there's a critical decision that stands before you: how to export and deploy your model effectively.

This guide walks you through YOLO11's deployment options and the essential factors to consider to choose the right option for your project.

How to Select the Right Deployment Option for Your YOLO11 Model

When it's time to deploy your YOLO11 model, selecting a suitable export format is very important. As outlined in the Ultralytics YOLO11 Modes documentation, the model.export() function allows for converting your trained model into a variety of formats tailored to diverse environments and performance requirements.

理想的なフォーマットは、スピード、ハードウェアの制約、統合のしやすさのバランスを取りながら、モデルの意図する運用状況によって異なります。次のセクションでは、各エクスポート・オプションを詳しく見て、それぞれを選択するタイミングを理解します。

YOLO11's Deployment Options

Let's walk through the different YOLO11 deployment options. For a detailed walkthrough of the export process, visit the Ultralytics documentation page on exporting.

PyTorch

PyTorch is an open-source machine learning library widely used for applications in deep learning and artificial intelligence. It provides a high level of flexibility and speed, which has made it a favorite among researchers and developers.

• パフォーマンス・ベンチマーク：PyTorch はその使いやすさと柔軟性で知られているが、その結果、より専門的で最適化された他のフレームワークと比較した場合、生のパフォーマンスにおいて若干のトレードオフが生じる可能性がある。

• 互換性と統合：Python の様々なデータサイエンスおよび機械学習ライブラリとの優れた互換性を提供します。

• コミュニティ・サポートとエコシステム：最も活気のあるコミュニティの1つで、学習やトラブルシューティングのための豊富なリソースがあります。

• ケーススタディ：研究プロトタイプでよく使われ、多くの学術論文はPyTorch で展開されたモデルを参照している。

• メンテナンスとアップデート：積極的な開発と新機能のサポートによる定期的なアップデート。

• セキュリティに関する考慮事項：セキュリティ上の問題に対しては定期的にパッチを当てるが、セキュリティは導入環境全体に大きく左右される。

• ハードウェアアクセラレーション：モデルのトレーニングや推論を高速化するために不可欠な、GPU アクセラレーション用のCUDA をサポート。

TorchScript

TorchScript 拡張 PyTorchの機能は、モデルのエクスポートを C++ ランタイム環境で実行できるようにすることで実現できます。これにより、次のような本番環境に適しています。 Python は使用できません。

• パフォーマンス・ベンチマーク：特に本番環境では、ネイティブPyTorch よりもパフォーマンスを向上させることができる。

• 互換性と統合：PyTorch から C++ プロダクション環境へシームレスに移行できるように設計されていますが、一部の高度な機能は完全には移行できない場合があります。

• コミュニティのサポートとエコシステム：PyTorch の大規模コミュニティの恩恵を受けるが、専門的な開発者の範囲は狭い。

• ケーススタディ Python のパフォーマンス・オーバーヘッドがボトルネックとなっている産業環境で広く使用されている。

• メンテナンスとアップデート：PyTorch 、一貫したアップデートを実施。

• セキュリティへの配慮：Python が完全にインストールされていない環境でもモデルを実行できるようにすることで、セキュリティを向上させます。

• ハードウェアアクセラレーション：PyTorch のCUDA サポートを継承し、GPU の効率的な利用を保証します。

ONNX

The Open Neural Network Exchange (ONNX) is a format that allows for model interoperability across different frameworks, which can be critical when deploying to various platforms.

• パフォーマンス・ベンチマーク：ONNX モデルは、導入されるランタイムによってパフォーマンスが変わる可能性があります。

• 互換性と統合：フレームワークにとらわれない性質により、複数のプラットフォームやハードウェアにまたがる高い相互運用性。

• コミュニティのサポートとエコシステム：多くの組織によってサポートされ、幅広いエコシステムと最適化のためのさまざまなツールにつながっている。

• ケーススタディ異なる機械学習フレームワーク間でモデルを移動させるために頻繁に使用され、その柔軟性を示している。

• メンテナンスとアップデート：オープンスタンダードとして、ONNX は定期的にアップデートされ、新しいオペレーションやモデルをサポートしている。

• セキュリティの考慮：他のクロスプラットフォームツールと同様に、変換とデプロイのパイプラインで安全なプラクティスを確保することが不可欠です。

• ハードウェアアクセラレーション：ONNX Runtimeを使用すると、モデルはさまざまなハードウェア最適化を活用できます。

OpenVINO

OpenVINO は、Intel ハードウェア全体へのディープラーニングモデルの展開を容易にし、パフォーマンスとスピードを向上させるために設計されたIntel ツールキットである。

• パフォーマンスベンチマーク：特にIntel CPU、GPU、VPU向けに最適化されており、互換性のあるハードウェア上で大幅なパフォーマンス向上を実現します。

• 互換性と統合：Intel のエコシステム内で最もよく機能するが、他のさまざまなプラットフォームもサポートしている。

• Community Support and Ecosystem: Backed by Intel, with a solid user base especially in the computer vision domain.

• Case Studies: Often utilized in IoT and edge computing scenarios where Intel hardware is prevalent.

• メンテナンスとアップデート：Intel 最新のディープラーニングモデルとIntel ハードウェアをサポートするため、OpenVINO を定期的にアップデートします。

• セキュリティへの配慮：機密性の高いアプリケーションに適した堅牢なセキュリティ機能を提供します。

• ハードウェア・アクセラレーション：専用の命令セットとハードウェア機能を活用し、Intel ハードウェアでのアクセラレーション用に調整されています。

OpenVINO を使用した展開の詳細については、Ultralytics Integration のドキュメントを参照してください：Intel OpenVINO エクスポート。

TensorRT

TensorRT は、NVIDIA が提供する高性能な深層学習推論オプティマイザとランタイムで、スピードと効率性を必要とするアプリケーションに最適です。

• 性能ベンチマーク：高速推論をサポートし、NVIDIA GPU上でトップクラスのパフォーマンスを実現。

• 互換性と統合：NVIDIA ハードウェアに最適で、この環境以外でのサポートは限定的。

• コミュニティ・サポートとエコシステム：NVIDIA の開発者フォーラムやドキュメントを通じた強力なサポートネットワーク。

• ケーススタディビデオや画像データのリアルタイム推論を必要とする業界で広く採用されている。

• メンテナンスとアップデート:NVIDIA は、パフォーマンスを向上させ、新しいGPU アーキテクチャをサポートするために、頻繁なアップデートでTensorRT を維持します。

• セキュリティへの配慮：多くのNVIDIA 製品と同様、セキュリティに重点を置いているが、具体的な内容は導入環境に依存する。

• ハードウェア・アクセラレーション：NVIDIA GPU専用に設計され、高度な最適化と高速化を提供します。

CoreML

CoreML はアップルの機械学習フレームワークで、iOS 、macOS、watchOS、tvOSを含むアップルのエコシステムにおけるオンデバイス・パフォーマンスのために最適化されている。

• パフォーマンスベンチマーク：Apple製ハードウェアのデバイス上でのパフォーマンスに最適化され、バッテリーの消費を最小限に抑えます。

• 互換性と統合：Appleのエコシステム専用で、iOS 、macOSアプリケーションに合理的なワークフローを提供します。

• コミュニティのサポートとエコシステム：Appleの強力なサポートと熱心な開発者コミュニティ、豊富なドキュメントとツール。

• ケーススタディアップル製品のデバイス上での機械学習機能を必要とするアプリケーションでよく使用される。

• メンテナンスとアップデート：最新の機械学習の進歩とAppleのハードウェアをサポートするために、Appleによって定期的に更新されます。

• Security Considerations: Benefits from Apple's focus on user privacy and data security.

• ハードウェアアクセラレーション：Appleのニューラル・エンジンとGPU を最大限に活用し、機械学習タスクを加速。

TF SavedModel

TF SavedModel です TensorFlowの機械学習モデルを保存して提供するための形式であり、特にスケーラブルなサーバー環境に適しています。

• パフォーマンス・ベンチマークサーバー環境において、特にTensorFlow Servingと併用することで、スケーラブルなパフォーマンスを提供します。

• 互換性と統合：クラウドやエンタープライズ・サーバーのデプロイメントを含む、TensorFlow のエコシステム全体にわたる幅広い互換性。

• コミュニティのサポートとエコシステム：TensorFlow の人気による大規模なコミュニティ・サポート、デプロイと最適化のための膨大なツール群。

• ケーススタディディープラーニングモデルを大規模に提供するための本番環境で広く使用されている。

• メンテナンスとアップデート：Google とTensorFlow コミュニティのサポートにより、定期的なアップデートと新機能が保証されます。

• セキュリティへの配慮：TensorFlow Servingを使用したデプロイメントには、エンタープライズ・グレードのアプリケーションのための堅牢なセキュリティ機能が含まれています。

• ハードウェア・アクセラレーション：TensorFlow のバックエンドを通じて様々なハードウェアアクセラレーションをサポートします。

TF GraphDef

TF GraphDef は、モデルをグラフとして表現するTensorFlow 。これは、静的な計算グラフが必要な環境にとって有益なフォーマットである。

• 性能ベンチマーク：一貫性と信頼性に重点を置き、静的計算グラフの安定したパフォーマンスを提供します。

• 互換性と統合：TensorFlow のインフラに簡単に統合できるが、SavedModel と比べると柔軟性に欠ける。

• コミュニティのサポートとエコシステム：静的グラフを最適化するための多くのリソースが利用可能で、TensorFlow のエコシステムによる優れたサポート。

• ケーススタディ：特定の組み込みシステムなど、静的なグラフが必要なシナリオで役立つ。

• メンテナンスとアップデート：TensorFlow のコアアップデートと並行して、定期的なアップデートを行います。

• セキュリティへの配慮：TensorFlow の確立されたセキュリティ慣行により、安全な配備を保証する。

• ハードウェア・アクセラレーション：SavedModel ほど柔軟ではないが、TensorFlow のハードウェアアクセラレーションオプションを利用できる。

TF ライト

TF Liteは TensorFlowのモバイルおよび組み込みデバイスの機械学習向けソリューションであり、デバイス上の推論のための軽量ライブラリを提供します。

• パフォーマンス・ベンチマーク：モバイル機器や組み込み機器でのスピードと効率性を追求した設計。

• 互換性と統合性：軽量であるため、さまざまなデバイスで使用可能。

• コミュニティ・サポートとエコシステム：Google 、強固なコミュニティがあり、開発者向けのリソースも増えている。

• ケーススタディ最小限のフットプリントでデバイス上での推論を必要とするモバイルアプリケーションで人気があります。

• メンテナンスとアップデート定期的なアップデートにより、最新の機能とモバイルデバイス向けの最適化を提供します。

• セキュリティへの配慮：エンドユーザーデバイス上でモデルを実行するためのセキュアな環境を提供します。

• ハードウェア・アクセラレーション：GPU 、DSPなど、さまざまなハードウェア・アクセラレーション・オプションをサポート。

TF エッジTPU

TF EdgeTPU は、Google の EdgeTPU ハードウェア上で高速かつ効率的なコンピューティングを行うように設計されており、リアルタイム処理を必要とする IoT デバイスに最適です。

• 性能ベンチマーク：Google's EdgeTPU ハードウェアでの高速で効率的なコンピューティングに最適化されています。

• 互換性と統合：EdgeTPU デバイスのTensorFlow Lite モデルでのみ動作します。

• コミュニティ・サポートとエコシステム：Google 、サードパーティの開発者が提供するリソースでサポートを拡大。

• ケーススタディ低レイテンシーでリアルタイム処理が必要なIoT機器やアプリケーションに使用。

• メンテナンスとアップデート：新しいEdgeTPU ハードウェア・リリースの機能を活用するため、継続的に改良。

• セキュリティへの配慮：Google 、IoTおよびエッジデバイス向けの堅牢なセキュリティと統合。

• ハードウェア・アクセラレーション：Google Coralデバイスを最大限に活用できるようにカスタム設計されています。

TF.js

TensorFlow.js(TF.js)は、機械学習機能をブラウザに直接もたらすライブラリであり、ウェブ開発者とユーザーに新たな可能性を提供する。バックエンドのインフラを必要とせずに、ウェブアプリケーションに機械学習モデルを統合することができます。

• パフォーマンスベンチマーク：クライアントデバイスにもよるが、妥当なパフォーマンスで、ブラウザで直接機械学習が可能。

• 互換性と統合：ウェブテクノロジーとの高い互換性により、ウェブアプリケーションに簡単に統合できます。

• コミュニティのサポートとエコシステム：ウェブとNode.js開発者のコミュニティによるサポートと、MLモデルをブラウザにデプロイするための様々なツール。

• ケーススタディサーバーサイドの処理を必要とせず、クライアントサイドの機械学習の恩恵を受けるインタラクティブなウェブアプリケーションに最適です。

• メンテナンスとアップデート：オープンソースコミュニティからの貢献により、TensorFlow チームがメンテナンスを行っています。

• セキュリティへの配慮：ウェブ・プラットフォームのセキュリティ・モデルを利用し、ブラウザのセキュア・コンテキスト内で実行される。

• ハードウェアアクセラレーション：WebGLのようなハードウェアアクセラレーションにアクセスするウェブベースのAPIを使用することで、パフォーマンスを向上させることができます。

PaddlePaddle

PaddlePaddle は、百度が開発したオープンソースのディープラーニングフレームワークである。研究者にとっては効率的で、開発者にとっては使いやすいように設計されている。特に中国で人気があり、中国語処理に特化したサポートを提供している。

• パフォーマンス・ベンチマーク使いやすさと拡張性に重点を置き、競争力のあるパフォーマンスを提供。

• 互換性と統合：Baiduのエコシステム内にうまく統合され、幅広いアプリケーションをサポートしています。

• コミュニティのサポートとエコシステム：コミュニティは世界的には小さいが、特に中国では急速に成長している。

• ケーススタディ中国市場や、他の主要なフレームワークの代替を探している開発者によく使われている。

• メンテナンスとアップデート中国語のAIアプリケーションとサービスの提供を中心に定期的に更新。

• Security Considerations: Emphasizes data privacy and security, catering to Chinese data governance standards.

• ハードウェアアクセラレーション：バイドゥ独自のKunlunチップを含む様々なハードウェアアクセラレーションをサポート。

NCNN

NCNN は、モバイルプラットフォーム向けに最適化された高性能なニューラルネットワーク推論フレームワークである。軽量かつ効率的な点が特徴で、リソースが限られているモバイル機器や組み込み機器に特に適している。

• パフォーマンス・ベンチマーク：モバイル・プラットフォーム向けに高度に最適化されており、ARMベースのデバイスで効率的な推論が可能。

• 互換性と統合：携帯電話やARMアーキテクチャの組み込みシステムでのアプリケーションに適しています。

• コミュニティのサポートとエコシステム：モバイルおよび組み込みMLアプリケーションに特化した、ニッチだが活発なコミュニティに支えられている。

• ケーススタディ Android 、その他のARMベースのシステムで、効率とスピードが重視されるモバイル・アプリケーションに適しています。

• メンテナンスとアップデート様々なARMデバイス上で高いパフォーマンスを維持するために継続的に改良されています。

• セキュリティへの配慮：デバイス上でローカルに実行することに重点を置き、デバイス上での処理に固有のセキュリティを活用する。

• ハードウェア・アクセラレーション：ARM CPUおよびGPU向けにカスタマイズされ、これらのアーキテクチャに特化した最適化が施されています。

Comparative Analysis of YOLO11 Deployment Options

The following table provides a snapshot of the various deployment options available for YOLO11 models, helping you to assess which may best fit your project needs based on several critical criteria. For an in-depth look at each deployment option's format, please see the Ultralytics documentation page on export formats.

この比較分析では、ハイレベルな概要を説明します。導入にあたっては、プロジェクト固有の要件や制約を考慮し、各オプションで利用可能な詳細なドキュメントやリソースを参照することが不可欠です。

コミュニティとサポート

When you're getting started with YOLO11, having a helpful community and support can make a significant impact. Here's how to connect with others who share your interests and get the assistance you need.

より広いコミュニティとの関わり

• GitHub Discussions: The YOLO11 repository on GitHub has a "Discussions" section where you can ask questions, report issues, and suggest improvements.

• Ultralytics Discordサーバー: Ultralytics にはDiscordサーバーがあり、他のユーザーや開発者と交流することができます。

公式文書とリソース

• Ultralytics YOLO11 Docs: The official documentation provides a comprehensive overview of YOLO11, along with guides on installation, usage, and troubleshooting.

These resources will help you tackle challenges and stay updated on the latest trends and best practices in the YOLO11 community.

結論

In this guide, we've explored the different deployment options for YOLO11. We've also discussed the important factors to consider when making your choice. These options allow you to customize your model for various environments and performance requirements, making it suitable for real-world applications.

Don't forget that the YOLO11 and Ultralytics community is a valuable source of help. Connect with other developers and experts to learn unique tips and solutions you might not find in regular documentation. Keep seeking knowledge, exploring new ideas, and sharing your experiences.

ハッピー・デプロイ！

よくあるご質問

What are the deployment options available for YOLO11 on different hardware platforms?

Ultralytics YOLO11 supports various deployment formats, each designed for specific environments and hardware platforms. Key formats include:

• PyTorch研究およびプロトタイピング用で、Python の統合に優れている。
• TorchScriptPython が利用できない本番環境向け。
• ONNXクロスプラットフォームの互換性とハードウェアアクセラレーションのために。
• OpenVINOIntel 、ハードウェアのパフォーマンスを最適化する。
• TensorRTNVIDIA GPUでの高速推論のために。

各フォーマットには独自の利点があります。詳しくは、エクスポート・プロセスのドキュメントをご覧ください。

How do I improve the inference speed of my YOLO11 model on an Intel CPU?

To enhance inference speed on Intel CPUs, you can deploy your YOLO11 model using Intel's OpenVINO toolkit. OpenVINO offers significant performance boosts by optimizing models to leverage Intel hardware efficiently.

1. Convert your YOLO11 model to the OpenVINO format using the model.export() 関数である。
2. Intel OpenVINO Export ドキュメントの詳細なセットアップガイドに従ってください。

詳しくは、ブログ記事をご覧ください。

Can I deploy YOLO11 models on mobile devices?

Yes, YOLO11 models can be deployed on mobile devices using TensorFlow Lite (TF Lite) for both Android and iOS platforms. TF Lite is designed for mobile and embedded devices, providing efficient on-device inference.

# Export command for TFLite format
model.export(format="tflite")

# CLI command for TFLite export
yolo export --format tflite

モバイルへのモデル展開の詳細については、TF Liteインテグレーションガイドをご参照ください。

What factors should I consider when choosing a deployment format for my YOLO11 model?

When choosing a deployment format for YOLO11, consider the following factors:

• パフォーマンス：TensorRT のようないくつかのフォーマットは、NVIDIA GPU 上で卓越した速度を提供するが、OpenVINO はIntel ハードウェア用に最適化されている。
• 互換性：ONNX は、さまざまなプラットフォームで幅広い互換性を提供する。
• 統合の容易さ：CoreML やTF Lite のようなフォーマットは、それぞれiOS やAndroid のような特定のエコシステム用に調整されている。
• Community Support: Formats like PyTorch and TensorFlow have extensive community resources and support.

比較分析については、輸出フォーマットに関する資料をご参照ください。

How can I deploy YOLO11 models in a web application?

To deploy YOLO11 models in a web application, you can use TensorFlow.js (TF.js), which allows for running machine learning models directly in the browser. This approach eliminates the need for backend infrastructure and provides real-time performance.

1. Export the YOLO11 model to the TF.js format.
2. エクスポートしたモデルをWebアプリケーションに統合します。

ステップバイステップの手順については、TensorFlow.jsの統合に関するガイドを参照してください。

📅 Created 11 months ago ✏️ Updated 10 days ago

コメント