دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLOv8

يوفر هذا الدليل الشامل إرشادات تفصيلية للنشر Ultralytics YOLOv8 على أجهزة NVIDIA Jetson . بالإضافة إلى ذلك ، فإنه يعرض معايير الأداء لإظهار قدرات YOLOv8 على هذه الأجهزة الصغيرة والقوية.

ما هو نفيديا جيتسون؟

NVIDIA Jetson عبارة عن سلسلة من لوحات الحوسبة المضمنة المصممة لجلب حوسبة الذكاء الاصطناعي (الذكاء الاصطناعي) المتسارعة إلى أجهزة الحافة. تم تصميم هذه الأجهزة المدمجة والقوية حول بنية وحدة معالجة الرسومات من NVIDIA وهي قادرة على تشغيل خوارزميات الذكاء الاصطناعي المعقدة ونماذج التعلم العميق مباشرة على الجهاز ، دون الحاجة إلى الاعتماد على موارد الحوسبة السحابية. غالبا ما تستخدم لوحات Jetson في الروبوتات والمركبات المستقلة والأتمتة الصناعية والتطبيقات الأخرى حيث يجب إجراء الاستدلال الذكاء الاصطناعي محليا بزمن انتقال منخفض وكفاءة عالية. بالإضافة إلى ذلك ، تعتمد هذه اللوحات على بنية ARM64 وتعمل على طاقة أقل مقارنة بأجهزة حوسبة GPU التقليدية.

مقارنة سلسلة نفيديا جيتسون

Jetson Orin هو أحدث تكرار لعائلة NVIDIA Jetson استنادا إلى بنية NVIDIA Ampere التي توفر أداء الذكاء الاصطناعي محسنا بشكل كبير مقارنة بالأجيال السابقة. قارن الجدول أدناه عددا قليلا من أجهزة Jetson في النظام البيئي.

للحصول على جدول مقارنة أكثر تفصيلا ، يرجى زيارة قسم المواصفات الفنية في صفحة NVIDIA Jetson الرسمية.

ما هو نفيديا جيت باك؟

تعد NVIDIA JetPack SDK التي تعمل على تشغيل وحدات Jetson هي الحل الأكثر شمولا وتوفر بيئة تطوير كاملة لبناء تطبيقات الذكاء الاصطناعي المتسارعة الشاملة وتقصير وقت الوصول إلى السوق. يتضمن JetPack Jetson Linux مع أداة تحميل التشغيل ، ونواة Linux ، وبيئة سطح مكتب Ubuntu ، ومجموعة كاملة من المكتبات لتسريع حوسبة GPU والوسائط المتعددة والرسومات ورؤية الكمبيوتر. يتضمن أيضا عينات ووثائق وأدوات مطور لكل من الكمبيوتر المضيف ومجموعة المطورين ، ويدعم حزم SDK ذات المستوى الأعلى مثل DeepStream لتحليلات الفيديو المتدفقة و Isaac للروبوتات و Riva الذكاء الاصطناعي المحادثة.

فلاش JetPack إلى نفيديا جيتسون

الخطوة الأولى بعد وضع يديك على جهاز NVIDIA Jetson هي وميض NVIDIA JetPack على الجهاز. هناك عدة طرق مختلفة لوميض أجهزة NVIDIA Jetson.

1. إذا كنت تمتلك مجموعة تطوير NVIDIA رسمية مثل Jetson Orin Nano Developer Kit ، فيمكنك زيارة هذا الرابط لتنزيل صورة وإعداد بطاقة SD باستخدام JetPack لتشغيل الجهاز.
2. إذا كنت تمتلك أي مجموعة تطوير NVIDIA أخرى ، فيمكنك زيارة هذا الرابط لفلاش JetPack إلى الجهاز باستخدام SDK Manager.
3. إذا كنت تمتلك جهاز Seeed Studio reComputer J4012 ، فيمكنك زيارة هذا الرابط لفلاش JetPack إلى SSD المضمن.
4. إذا كنت تمتلك أي جهاز آخر تابع لجهة خارجية يتم تشغيله بواسطة وحدة NVIDIA Jetson ، فمن المستحسن اتباع وميض سطر الأوامر من خلال زيارة هذا الرابط.

الإعداد Ultralytics

هناك طريقتان لإعداد الحزمة Ultralytics على NVIDIA Jetson لبناء مشروعك التالي في مجال الرؤية الحاسوبية. يمكنك استخدام أي منهما.

• ابدأ مع عامل ميناء
• ابدأ بدون عامل ميناء

ابدأ مع عامل ميناء

أسرع طريقة للبدء مع Ultralytics YOLOv8 على NVIDIA Jetson هو تشغيل مع صورة عامل ميناء مسبقة الصنع ل Jetson.

قم بتنفيذ الأمر أدناه لسحب حاوية Docker وتشغيلها على Jetson. يستند هذا الأمر إلى صورة L4t-pytorch docker التي تحتوي على PyTorch و Torchvision في بيئة Python3.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

بعد الانتهاء من ذلك، انتقل إلى قسم استخدام TensorRT على NVIDIA Jetson.

ابدأ بدون عامل ميناء

أقام Ultralytics حزمة

سنقوم هنا بتثبيت حزمة ultralyics على Jetson مع تبعيات اختيارية حتى نتمكن من تصدير ملف PyTorch نماذج لتنسيقات مختلفة أخرى. سنركز بشكل أساسي على نفيديا TensorRT الصادرات لأن TensoRT سوف تتأكد من أنه يمكننا الحصول على أقصى أداء من أجهزة Jetson.

1. تحديث قائمة الحزم وتثبيت النقطة والترقية إلى الأحدث

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. أقام ultralytics حزمة النقطة مع التبعيات الاختيارية

   pip install ultralytics[export]
   

3. أعد تشغيل الجهاز

   sudo reboot
   

أقام PyTorch و Torchvision

ما سبق ultralytics سيتم تثبيت التثبيت Torch و Torchvision. ومع ذلك ، فإن حزم 2 المثبتة عبر النقطة غير متوافقة للتشغيل على منصة Jetson التي تعتمد على بنية ARM64. لذلك ، نحتاج إلى تثبيت يدويا مسبق الصنع PyTorch عجلة نقطة وتجميع / تثبيت Torchvision من المصدر.

1. إلغاء التثبيت مثبت حاليا PyTorch و Torchvision

   pip uninstall torch torchvision
   

2. أقام PyTorch 2.1.0 وفقا ل JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. تثبيت Torchvision v0.16.2 وفقا ل PyTorch الإصدار 2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

قم بزيارة صفحةPyTorch لصفحة Jetson للوصول إلى جميع الإصدارات المختلفة من PyTorch لإصدارات JetPack المختلفة. للاطلاع على قائمة أكثر تفصيلاً على PyTorch ، توافق Torchvision، قم بزيارة صفحة التوافقPyTorch وتوافق Torchvision.

أقام onnxruntime-gpu

ال Onnxruntime-gpu الحزمة المستضافة في PyPI لا تحتوي على aarch64 ثنائيات لـ Jetson. لذلك نحن بحاجة إلى تثبيت هذه الحزمة يدوياً. هذه الحزمة مطلوبة لبعض الصادرات.

كل شيء مختلف onnxruntime-gpu يتم سرد الحزم التي تتوافق مع إصدارات JetPack و Python المختلفة هنا. ومع ذلك، سنقوم هنا بتنزيل وتثبيت onnxruntime-gpu 1.17.0 مع Python3.8 دعم JetPack الذي نستخدمه في هذا الدليل.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

استخدام TensorRT على نفيديا جيتسون

من بين جميع تنسيقات تصدير النموذج التي يدعمها Ultralytics, TensorRT يقدم أفضل أداء للاستدلال عند العمل مع أجهزة NVIDIA Jetson وتوصيتنا هي استخدام TensorRT مع جيتسون. لدينا أيضا وثيقة مفصلة عن TensorRT هنا.

تحويل النموذج إلى TensorRT وتشغيل الاستدلال

ال YOLOv8n نموذج في PyTorch يتم تحويل التنسيق إلى TensorRT لتشغيل الاستدلال مع النموذج المصدر.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

نفيديا جيتسون أورين YOLOv8 المعايير

YOLOv8 TF تم تشغيل المعايير من قبل فريق Ultralytics على 10 نماذج مختلفة لقياس السرعة والدقة: PyTorch و TorchScript و ONNX و OpenVINO و TensorRT و TF SavedModel و TF Graphdef و 0 لايت و PaddlePaddle و NCNN. تم تشغيل الاختبارات المعيارية على جهاز Seeed Studio reComputer J4012 المدعوم بجهاز Jetson Orin NX سعة 16 جيجابايت بدقة FP32 مع حجم إدخال افتراضي للصور يبلغ 640.

رسم بياني للمقارنة

على الرغم من أن جميع عمليات تصدير النماذج تعمل مع NVIDIA Jetson، فقد قمنا بتضمين PyTorch و TorchScript و TensorRT فقط في مخطط المقارنة أدناه لأنها تستخدم وحدة معالجة الرسومات على Jetson وهي مضمونة لتحقيق أفضل النتائج. جميع عمليات التصدير الأخرى تستخدم وحدة المعالجة المركزية فقط والأداء ليس جيدًا مثل الثلاثة المذكورة أعلاه. يمكنك العثور على معايير لجميع الصادرات في القسم بعد هذا الرسم البياني.

جدول المقارنة التفصيلي

يمثل الجدول أدناه النتائج المعيارية لخمسة نماذج مختلفة (YOLOv8n ، YOLOv8s ، ، YOLOv8m ، YOLOv8l ، YOLOv8x) عبر عشرة نماذج مختلفة (PyTorch ، TorchScript ، ONNX ، OpenVINO ، TensorRT ، TF SavedModel ، TF Graphdef ، TF لايت، PaddlePaddle ، NCNN)، مع إعطائنا الحالة والحجم ومقياس mAP50-95(B) وزمن الاستدلال لكل مجموعة.

قم بزيارة هذا الرابط لاستكشاف المزيد من جهود قياس الأداء من قبل Seeed Studio الذي يعمل على إصدارات مختلفة من أجهزة NVIDIA Jetson.

إعادة إنتاج نتائجنا

لإعادة إنتاج ما سبق Ultralytics تقوم المعايير في جميع تنسيقات التصدير بتشغيل هذا الرمز:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

أفضل الممارسات عند استخدام NVIDIA Jetson

عند استخدام NVIDIA Jetson ، هناك بعض أفضل الممارسات التي يجب اتباعها من أجل تمكين أقصى أداء على تشغيل NVIDIA Jetson YOLOv8.

1. تمكين وضع الطاقة MAX

   سيؤدي تمكين وضع الطاقة MAX على Jetson إلى التأكد من تشغيل جميع نوى وحدة المعالجة المركزية ووحدة معالجة الرسومات.

   sudo nvpmodel -m 0
   

2. تمكين ساعات جيتسون

   سيؤدي تمكين Jetson Clocks إلى التأكد من تسجيل جميع نوى وحدة المعالجة المركزية ووحدة معالجة الرسومات بأقصى تردد لها.

   sudo jetson_clocks
   

3. تثبيت تطبيق إحصائيات جيتسون

   يمكننا استخدام تطبيق Jetson stats لمراقبة درجات حرارة مكونات النظام والتحقق من تفاصيل النظام الأخرى مثل عرض وحدة المعالجة المركزية ووحدة معالجة الرسومات واستخدام ذاكرة الوصول العشوائي وتغيير أوضاع الطاقة وضبطها على الساعات القصوى والتحقق من معلومات JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

الخطوات التالية

تهانينا على الإعداد الناجح YOLOv8 على نفيديا جيتسون الخاص بك! لمزيد من التعلم والدعم ، قم بزيارة المزيد من الدليل على Ultralytics YOLOv8 المستندات!

التعليقات