ابدأ

دليل نشر YOLO26 على نقاط نهاية Amazon SageMaker

توفر نقاط نهاية Amazon SageMaker استضافة مُدارة وقابلة للتوسع لنماذج الرؤية الحاسوبية مثل Ultralytics YOLO26 في تطبيقات التعلم الآلي الإنتاجية. ويتطلب نشر النموذج بنجاح فهم خطوات الإعداد والتهيئة والنشر على جانبي النموذج وAWS.

يرشدك هذا الدليل خطوة بخطوة خلال عملية نشر نماذج YOLO26 PyTorch على نقاط نهاية Amazon SageMaker. وستتعلم أساسيات إعداد بيئة AWS، وتهيئة النموذج بالشكل المناسب، واستخدام أدوات مثل AWS CloudFormation ومجموعة تطوير السحابة لـ AWS (CDK) للنشر.

Amazon SageMaker#

Amazon SageMaker ML platform architecture

Amazon SageMaker خدمة تعلّم آلي من Amazon Web Services (AWS) تبسّط عملية إنشاء نماذج التعلّم الآلي وتدريبها ونشرها. وتوفر مجموعة واسعة من الأدوات للتعامل مع مختلف جوانب سير عمل التعلّم الآلي. ويشمل ذلك ميزات آلية لضبط النماذج، وخيارات لتدريب النماذج على نطاق واسع، وطرقًا مباشرة لنشر النماذج في بيئة الإنتاج. ويدعم SageMaker أُطر عمل التعلّم الآلي الشائعة، ما يوفر المرونة اللازمة لمشاريع متنوعة. كما تشمل ميزاته وسم البيانات وإدارة سير العمل وتحليل الأداء.

نشر YOLO26 على نقاط نهاية Amazon SageMaker#

يتيح لك نشر YOLO26 على Amazon SageMaker استخدام بيئته المُدارة لإجراء الاستدلال في الوقت الفعلي والاستفادة من ميزات مثل التحجيم التلقائي. ألقِ نظرة على بنية AWS أدناه.

AWS architecture for hosting YOLO on an Amazon SageMaker endpoint

الخطوة 1: إعداد بيئة AWS#

أولًا، تأكد من استيفاء المتطلبات الأساسية التالية:

  • حساب AWS: إذا لم يكن لديك حساب بالفعل، فسجّل للحصول على حساب AWS.

  • أدوار IAM مُهيّأة: ستحتاج إلى دور IAM يتضمن الأذونات اللازمة لـ Amazon SageMaker وAWS CloudFormation وAmazon S3. يجب أن يتضمن هذا الدور السياسات التي تتيح له الوصول إلى هذه الخدمات.

  • AWS CLI: إذا لم تكن مثبتة بالفعل، فحمّل واجهة سطر أوامر AWS (CLI) وثبّتها، ثم هيّئها بتفاصيل حسابك. اتبع تعليمات AWS CLI للتثبيت.

  • AWS CDK: إذا لم تكن مثبتة بالفعل، فثبّت مجموعة تطوير السحابة لـ AWS (CDK)، التي ستُستخدم لكتابة نصوص النشر. اتبع تعليمات AWS CDK للتثبيت.

  • حصة خدمة كافية: تأكد من توفر حصص كافية لموردين منفصلين في Amazon SageMaker: أحدهما لـ ml.m5.4xlarge لاستخدام نقطة النهاية، والآخر لـ ml.m5.4xlarge لاستخدام مثيل دفتر الملاحظات. يتطلب كل منهما قيمة حصة لا تقل عن واحد. إذا كانت حصصك الحالية أقل من هذا الحد، فمن المهم طلب زيادة لكل منها. يمكنك طلب زيادة الحصة باتباع التعليمات المفصلة في وثائق حصص خدمات AWS.

الخطوة 2: استنساخ مستودع YOLO26 الخاص بـ SageMaker#

الخطوة التالية هي استنساخ مستودع AWS المحدد الذي يحتوي على الموارد اللازمة لنشر YOLO26 على SageMaker. يتضمن هذا المستودع، المستضاف على GitHub، نصوص CDK وملفات الإعداد المطلوبة.

  • استنساخ مستودع GitHub: نفّذ الأمر التالي في الطرفية لاستنساخ مستودع host-yolov8-on-sagemaker-endpoint:

    git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git
  • الانتقال إلى الدليل المستنسخ: غيّر الدليل الحالي إلى المستودع المستنسخ:

    cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk

الخطوة 3: إعداد بيئة CDK#

بعد أن أصبح لديك الرمز البرمجي اللازم، أعدّ بيئتك للنشر باستخدام AWS CDK.

  • إنشاء بيئة Python افتراضية: يؤدي ذلك إلى عزل بيئة Python والتبعيات الخاصة بك. نفّذ:

    python3 -m venv .venv
  • تفعيل البيئة الافتراضية:

    source .venv/bin/activate
  • تثبيت التبعيات: ثبّت تبعيات Python المطلوبة للمشروع:

    pip3 install -r requirements.txt
  • ترقية مكتبة AWS CDK: تأكد من امتلاك أحدث إصدار من مكتبة AWS CDK:

    pip install --upgrade aws-cdk-lib

الخطوة 4: إنشاء مكدس AWS CloudFormation#

  • تركيب تطبيق CDK: أنشئ قالب AWS CloudFormation من رمز CDK البرمجي لديك:

    cdk synth
  • تهيئة تطبيق CDK: جهّز بيئة AWS لنشر CDK:

    cdk bootstrap
  • نشر المكدس: سيؤدي ذلك إلى إنشاء موارد AWS اللازمة ونشر النموذج:

    cdk deploy

الخطوة 5: نشر نموذج YOLO#

بعد إنشاء مكدس AWS CloudFormation، تتمثل الخطوة التالية في نشر YOLO26.

  • فتح مثيل دفتر الملاحظات: انتقل إلى وحدة تحكم AWS ثم إلى خدمة Amazon SageMaker. اختر «مثيلات دفتر الملاحظات» من لوحة المعلومات، ثم حدّد موقع مثيل دفتر الملاحظات الذي أنشأه نص النشر البرمجي الخاص بـ CDK. افتح مثيل دفتر الملاحظات للوصول إلى بيئة Jupyter.

  • الوصول إلى inference.py وتعديله: بعد فتح مثيل دفتر الملاحظات في SageMaker ضمن Jupyter، ابحث عن ملف inference.py. عدّل الدالة output_fn في inference.py كما هو موضح أدناه، واحفظ تغييراتك في النص البرمجي، مع التأكد من خلوه من أخطاء الصياغة.

    import json
    
    def output_fn(prediction_output, content_type):
        """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints."""
        print("Executing output_fn from inference.py ...")
        infer = {}
        for result in prediction_output:
            if result.boxes is not None:
                infer["boxes"] = result.boxes.numpy().data.tolist()
            if result.masks is not None:
                infer["masks"] = result.masks.numpy().data.tolist()
            if result.keypoints is not None:
                infer["keypoints"] = result.keypoints.numpy().data.tolist()
            if result.obb is not None:
                infer["obb"] = result.obb.numpy().data.tolist()
            if result.probs is not None:
                infer["probs"] = result.probs.numpy().data.tolist()
        return json.dumps(infer)
  • انشر نقطة النهاية باستخدام 1_DeployEndpoint.ipynb: في بيئة Jupyter، افتح دفتر 1_DeployEndpoint.ipynb الموجود في دليل sm-notebook. اضبط model_name في الدفتر على نقطة تحقق لـ YOLO26 مثل yolo26n.pt (الإعداد الافتراضي هو نموذج YOLOv8)، ثم شغّل الخلايا لتنزيل النموذج وتجهيزه مع رمز الاستدلال المحدّث وتحميله إلى حاوية Amazon S3. سيرشدك الدفتر إلى إنشاء نقطة نهاية SageMaker لنموذج YOLO26 ونشرها.

الخطوة 6: اختبار عملية النشر#

بعد نشر نموذج YOLO26، من المهم اختبار أدائه ووظائفه.

  • فتح دفتر الاختبار: في بيئة Jupyter نفسها، ابحث عن دفتر الملاحظات 2_TestEndpoint.ipynb وافتحه؛ فهو موجود أيضًا في الدليل sm-notebook.

  • تشغيل دفتر الاختبار: اتبع التعليمات الواردة فيه لاختبار نقطة نهاية SageMaker المنشورة. ويتضمن ذلك إرسال صورة إلى نقطة النهاية وإجراء عمليات الاستدلال. بعد ذلك، ارسم المخرجات لتصوّر أداء النموذج ودقته، كما هو موضح أدناه.

YOLO26 detection results returned by the SageMaker test endpoint

  • تنظيف الموارد: سيرشدك دفتر الاختبار أيضًا خلال عملية تنظيف نقطة النهاية والنموذج المستضاف. وهذه خطوة مهمة لإدارة التكاليف والموارد بفاعلية، لا سيما إذا لم تكن تخطط لاستخدام النموذج المنشور على الفور.

الخطوة 7: المراقبة والإدارة#

بعد الاختبار، تصبح المراقبة المستمرة لنموذجك المنشور وإدارته أمرين أساسيين.

  • المراقبة باستخدام Amazon CloudWatch: تحقّق بانتظام من أداء نقطة نهاية SageMaker وسلامتها باستخدام Amazon CloudWatch.

  • إدارة نقطة النهاية: استخدم وحدة تحكم SageMaker لإدارة نقطة النهاية باستمرار. ويشمل ذلك توسيع نطاق النموذج أو تحديثه أو إعادة نشره حسب الحاجة.

بعد إكمال هذه الخطوات، ستكون قد نشرت نموذج YOLO26 على Amazon SageMaker Endpoints واختبرته. وينطبق سير العمل نفسه على نشر نماذج أخرى على AWS.

الملخص#

يرشدك هذا الدليل خطوة بخطوة إلى نشر YOLO26 على Amazon SageMaker Endpoints باستخدام AWS CloudFormation وAWS Cloud Development Kit (CDK). وتشمل العملية استنساخ مستودع عينات AWS من منشور مدونة AWS للتعلم الآلي حول استضافة نماذج YOLOv8 PyTorch على Amazon SageMaker Endpoints، وإعداد بيئة CDK، ونشر النموذج باستخدام خدمات AWS، واختبار أدائه على SageMaker.

الأسئلة الشائعة#

  • لنشر نموذج Ultralytics YOLO26 على نقاط نهاية Amazon SageMaker، اتبع الخطوات التالية:

    1. إعداد بيئة AWS: تأكد من أن لديك حساب AWS وأدوار IAM بالأذونات اللازمة، وأن AWS CLI مُهيأ. ثبّت AWS CDK إن لم يكن مثبتًا بالفعل (راجع تعليمات AWS CDK).
    2. استنساخ مستودع YOLO26 SageMaker:
      git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git
      cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk
    3. إعداد بيئة CDK: أنشئ بيئة افتراضية لـ Python، وفعّلها، وثبّت التبعيات، ثم حدّث مكتبة AWS CDK.
      python3 -m venv .venv
      source .venv/bin/activate
      pip3 install -r requirements.txt
      pip install --upgrade aws-cdk-lib
    4. النشر باستخدام AWS CDK: أنشئ حزمة CloudFormation وانشرها، ثم هيّئ البيئة.
      cdk synth
      cdk bootstrap
      cdk deploy
  • لنشر YOLO26 على Amazon SageMaker، تأكد من توفر المتطلبات الأساسية التالية:

    1. حساب AWS: حساب AWS نشط (أنشئ حسابًا على AWS.)
    2. أدوار IAM: أدوار IAM مُهيأة بالأذونات اللازمة لـ SageMaker وCloudFormation وAmazon S3.
    3. AWS CLI: واجهة سطر أوامر AWS مثبّتة ومُهيأة (دليل تثبيت AWS CLI).
    4. AWS CDK: مجموعة تطوير السحابة من AWS مثبّتة (دليل إعداد CDK).
    5. حصص الخدمة: حصص كافية لمثيلات ml.m5.4xlarge لاستخدام نقاط النهاية ودفاتر الملاحظات (اطلب زيادة الحصة).
  • يوفر استخدام Ultralytics YOLO26 على Amazon SageMaker عدة مزايا:

    1. قابلية التوسع والإدارة: يوفر SageMaker بيئة مُدارة تتضمن ميزات مثل التوسع التلقائي، ما يلبي احتياجات الاستدلال في الوقت الفعلي.
    2. التكامل مع خدمات AWS: تكامل مع خدمات AWS الأخرى، مثل S3 لتخزين البيانات، وCloudFormation للبنية التحتية بوصفها تعليمات برمجية، وCloudWatch للمراقبة.
    3. سهولة النشر: إعداد مبسّط باستخدام نصوص AWS CDK البرمجية وعمليات نشر أكثر سلاسة.
    4. الأداء: استخدم البنية التحتية المُدارة من Amazon SageMaker لتشغيل أحمال عمل الاستدلال واسعة النطاق.
  • نعم، يمكنك تخصيص منطق الاستدلال لـ YOLO26 على Amazon SageMaker:

    1. تعديل inference.py: حدّد الدالة output_fn في الملف inference.py وخصّصها لتعديل تنسيقات المخرجات.

      import json
      
      def output_fn(prediction_output, content_type):
          """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints."""
          infer = {}
          for result in prediction_output:
              if result.boxes is not None:
                  infer["boxes"] = result.boxes.numpy().data.tolist()
              # ⁨أضف مزيدًا من منطق المعالجة عند الضرورة⁩
          return json.dumps(infer)
    2. نشر النموذج المحدّث: احرص على إعادة نشر النموذج باستخدام دفاتر Jupyter المتوفرة (1_DeployEndpoint.ipynb) لتضمين هذه التغييرات.

    راجع الخطوات التفصيلية لنشر النموذج المعدّل.

  • لاختبار نموذج YOLO26 المنشور على Amazon SageMaker:

    1. فتح دفتر الاختبار: حدّد دفتر الملاحظات 2_TestEndpoint.ipynb في بيئة SageMaker Jupyter.
    2. تشغيل دفتر الملاحظات: اتبع تعليمات دفتر الملاحظات لإرسال صورة إلى نقطة النهاية، وتنفيذ الاستدلال، وعرض النتائج.
    3. عرض النتائج: استخدم تعليمات الرسم البرمجية في الدفتر لرسم الصناديق المحيطة المتوقعة على صورة الاختبار.

    للحصول على تعليمات اختبار شاملة، تفضّل بزيارة قسم الاختبار.

التعليقات10

اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.

  1. User

    I want to upload the YOLOv8 model I trained on my own dataset to Jupyter, and then compress it into a model.tar.gz file following the official deployendpoint steps. However, when I use testendpoint, I encounter an error. If I rename my trained model to yolov8, the test succeeds, but it uses the original model from the official website instead of my custom one. How should I modify inference.py to ensure it loads my trained model?

    1
    1. User

      Thank you for your answer. I had followed the 1_DeployEndpoint.ipynb to delpoy my own model. In the 1.4 Create the SageMaker PyTorchModel, I had set the env={'TS_MAX_RESPONSE_SIZE':'20000000', 'MY_MODEL': 'my_own_model'}. And in the inference.py:

      def model_fn(model_dir):
          print("Executing model_fn from inference.py ...")
          env = os.environ
          model = YOLO(os.path.join(model_dir, env['MY_MODEL']))
          return model

      I think it will be use my own model directly. But it failed, and it occur this problem:

      ModelError: An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0)from primary with message "Your invocation timed out while waiting for a response from container primary. Reviewthe latency metrics for each container in Amazon Cloudatch, resolve the issue, and try again.". See https://useast-1. console. aws. aazon. com/cloudwatch/home?region=us-east-1#logEventViewer: group=/aws/sagemaker Endpoints/yolov8-pytorch-2024-09-06-11-33-49-418696 in account 211125332801 for more information.

      Could you tell me how to modify the inference.py to load my own model. Thank you so much.

    2. Glenn JocherUltralytics

      To ensure your custom YOLOv8 model is used, verify that the model_fn in inference.py correctly points to your model's path. Ensure the MY_MODEL environment variable matches your model's filename. If issues persist, check CloudWatch logs for detailed error messages. For further guidance, refer to the Ultralytics documentation on Amazon SageMaker.

  2. SJTUPandaGitHub

    Thanks for your sharing, it's very clear and useful. My own deployment workflow on AWS has already built but the test result is not so satisfying. The performance of detection result of yolo11-xl on AWS is worse than on my own laptop. I not sure if there is some default quantization when it's deployed to the AWS(I did not modified much to host-yolov8-on-sagemaker-endpoint), or do you have some other ideas about which would bring this significant performance differences?

    1. Glenn JocherUltralytics

      @SJTUPanda thank you for your feedback! The performance difference could stem from several factors like hardware disparities (AWS instance vs laptop GPU), inference settings, or environment configurations. First, verify that your SageMaker instance type matches your local hardware capabilities, and ensure identical inference parameters (e.g., imgsz, batch). Check our Amazon SageMaker deployment guide for optimization tips and consider profiling both environments with yolo val to isolate bottlenecks. Let us know if specific metrics differ! 🚀

    2. SJTUPandaGitHub

      Thanks for your quick reply. The issue is fixed after I comment out resize related code. Although the model is trained with (640,640) and the input image size is (720,440), using the raw images directly as input is better than resized it. I am curious the input images would be auto-resized by the model just as in the training/testing part? And why resized by myself has so much impact on the results? If these part code should be update because yolo version updating?

      image_height, image_width, _ = orig_image.shape
      model_height, model_width = 640, 640
      x_ratio = image_width/model_width
      y_ratio = image_height/model_height
      
      # Resize the image as numpy array
      resized_image = cv2.resize(orig_image, (model_height, model_width))
      # Conver the array into jpeg
      resized_jpeg = cv2.imencode('.jpg', resized_image)[1]
      # Serialize the jpg using base 64
      payload = base64.b64encode(resized_jpeg).decode('utf-8')
    3. Glenn JocherUltralytics

      Thank you for sharing your findings! YOLO models do automatically resize inputs to match their training dimensions while preserving aspect ratio with letterboxing. Manual resizing can distort aspect ratios or introduce artifacts, potentially degrading performance. We recommend using the model's native preprocessing by feeding full-size images directly, as this maintains proper scaling and aspect ratio handling. For implementation details, refer to our model deployment best practices regarding input consistency.

    1. Glenn JocherUltralytics

      Olá! 👋 Os recursos mencionados para implementar o YOLOv8 no Amazon SageMaker não são pagos por si só. No entanto, o uso do Amazon SageMaker e outros serviços da AWS associados à implementação e execução do modelo podem incorrer em custos conforme o uso. A AWS oferece uma camada gratuita que você pode aproveitar para experimentar alguns serviços sem custo, mas é sempre bom verificar a página de preços do SageMaker para detalhes específicos. Se precisar de ajuda para estimar os custos ou tiver outras dúvidas, estou aqui para ajudar! 🚀