Başla

YOLO26'yı Amazon SageMaker Uç Noktalarına Dağıtma Kılavuzu

Amazon SageMaker Endpoints, üretim ortamındaki makine öğrenimi uygulamalarında Ultralytics YOLO26 gibi bilgisayarlı görü modelleri için yönetilen ve ölçeklenebilir barındırma sunar. Başarılı bir model dağıtımı, hem model hem de AWS tarafındaki kurulum, yapılandırma ve dağıtım adımlarının anlaşılmasına bağlıdır.

Bu kılavuzda, YOLO26 PyTorch modellerini Amazon SageMaker Uç Noktalarına dağıtma sürecini adım adım anlatacağız. AWS ortamını hazırlamanın, modeli uygun şekilde yapılandırmanın ve dağıtım için AWS CloudFormation ile AWS Cloud Development Kit (CDK) gibi araçları kullanmanın temel adımlarını öğreneceksin.

Amazon SageMaker#

Amazon SageMaker ML platform architecture

Amazon SageMaker, makine öğrenimi modelleri oluşturma, eğitme ve dağıtma süreçlerini kolaylaştıran Amazon Web Services (AWS) makine öğrenimi hizmetidir. Makine öğrenimi iş akışlarının farklı yönlerini yönetmek için geniş bir araç yelpazesi sunar. Bu araçlar arasında modelleri ayarlamaya yönelik otomatik özellikler, modelleri büyük ölçekte eğitme seçenekleri ve modelleri üretime dağıtmaya yönelik basit yöntemler bulunur. SageMaker, popüler makine öğrenimi çerçevelerini destekleyerek farklı projeler için gereken esnekliği sağlar. Özellikleri veri etiketleme, iş akışı yönetimi ve performans analizini de kapsar.

YOLO26'yı Amazon SageMaker Uç Noktalarına Dağıtma#

YOLO26'yı Amazon SageMaker'da dağıtmak, gerçek zamanlı çıkarım için yönetilen ortamdan yararlanmanı ve otomatik ölçeklendirme gibi özellikleri kullanmanı sağlar. Aşağıdaki AWS mimarisine göz at.

AWS architecture for hosting YOLO on an Amazon SageMaker endpoint

1. Adım: AWS Ortamını Kur#

Öncelikle aşağıdaki ön koşulların karşılandığından emin ol:

  • Bir AWS hesabı: Henüz hesabın yoksa bir AWS hesabı oluştur.

  • Yapılandırılmış IAM rolleri: Amazon SageMaker, AWS CloudFormation ve Amazon S3 için gerekli izinlere sahip bir IAM rolüne ihtiyacın olacak. Bu rol, söz konusu hizmetlere erişmesine izin veren politikalara sahip olmalıdır.

  • AWS CLI: Henüz yüklü değilse AWS Command Line Interface (CLI) aracını indirip yükle ve hesap bilgilerinle yapılandır. Kurulum için AWS CLI yönergelerini izle.

  • AWS CDK: Henüz yüklü değilse dağıtım betiklerini oluşturmak için kullanacağın AWS Cloud Development Kit (CDK) aracını yükle. Kurulum için AWS CDK yönergelerini izle.

  • Yeterli hizmet kotası: Amazon SageMaker'da iki ayrı kaynak için yeterli kotaya sahip olduğunu doğrula: biri uç nokta kullanımı için ml.m5.4xlarge, diğeri not defteri örneği kullanımı için ml.m5.4xlarge. Her biri için en az bir kota değeri gerekir. Mevcut kotaların bu gereksinimin altındaysa her biri için artış talep etmen önemlidir. Kota artışını, AWS Hizmet Kotaları belgelerindeki ayrıntılı yönergeleri izleyerek talep edebilirsin.

Adım 2: YOLO26 SageMaker deposunu klonla#

Sonraki adım, YOLO26'yı SageMaker'a dağıtmak için gereken kaynakları içeren AWS deposunu klonlamaktır. GitHub'da barındırılan bu depoda gerekli CDK betikleri ve yapılandırma dosyaları bulunur.

  • GitHub Deposunu Klonla: host-yolov8-on-sagemaker-endpoint deposunu klonlamak için terminalinde şu komutu çalıştır:

    git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git
  • Klonlanan Dizinine Git: Dizini klonlanan depoya değiştir:

    cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk

Adım 3: CDK ortamını kur#

Gerekli koda artık sahip olduğuna göre AWS CDK ile dağıtım yapmak için ortamını kur.

  • Python Sanal Ortamı Oluştur: Bu işlem, Python ortamını ve bağımlılıklarını yalıtır. Şunu çalıştır:

    python3 -m venv .venv
  • Sanal Ortamı Etkinleştir:

    source .venv/bin/activate
  • Bağımlılıkları Yükle: Proje için gerekli Python bağımlılıklarını yükle:

    pip3 install -r requirements.txt
  • AWS CDK Kütüphanesini Yükselt: AWS CDK kütüphanesinin en son sürümüne sahip olduğundan emin ol:

    pip install --upgrade aws-cdk-lib

Adım 4: AWS CloudFormation yığınını oluştur#

  • CDK Uygulamasını Derle: CDK kodundan AWS CloudFormation şablonunu oluştur:

    cdk synth
  • CDK Uygulamasını Önyükle: AWS ortamını CDK dağıtımı için hazırla:

    cdk bootstrap
  • Yığını Dağıt: Bu işlem gerekli AWS kaynaklarını oluşturup modelini dağıtır:

    cdk deploy

Adım 5: YOLO modelini dağıt#

AWS CloudFormation yığınını oluşturduktan sonraki adım YOLO26'yı dağıtmaktır.

  • Not Defteri Örneğini Aç: AWS Konsolu'na git ve Amazon SageMaker hizmetine geç. Kontrol panelinden "Notebook Instances" seçeneğini belirle, ardından CDK dağıtım betiğinin oluşturduğu not defteri örneğini bul. Jupyter ortamına erişmek için not defteri örneğini aç.

  • inference.py Dosyasına Eriş ve Dosyayı Düzenle: SageMaker not defteri örneğini Jupyter'da açtıktan sonra inference.py dosyasını bul. Aşağıda gösterildiği gibi inference.py içindeki output_fn işlevini düzenle ve söz dizimi hatası olmadığından emin olarak değişikliklerini betiğe kaydet.

    import json
    
    def output_fn(prediction_output, content_type):
        """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints."""
        print("Executing output_fn from inference.py ...")
        infer = {}
        for result in prediction_output:
            if result.boxes is not None:
                infer["boxes"] = result.boxes.numpy().data.tolist()
            if result.masks is not None:
                infer["masks"] = result.masks.numpy().data.tolist()
            if result.keypoints is not None:
                infer["keypoints"] = result.keypoints.numpy().data.tolist()
            if result.obb is not None:
                infer["obb"] = result.obb.numpy().data.tolist()
            if result.probs is not None:
                infer["probs"] = result.probs.numpy().data.tolist()
        return json.dumps(infer)
  • 1_DeployEndpoint.ipynb ile uç noktayı dağıt: Jupyter ortamında, sm-notebook dizininde bulunan 1_DeployEndpoint.ipynb not defterini aç. Not defterinde model_name değerini yolo26n.pt gibi bir YOLO26 kontrol noktasına ayarla (varsayılan olarak YOLOv8 modeli kullanılır), ardından modeli indirmek, güncellenmiş çıkarım koduyla paketlemek ve bir Amazon S3 paketine yüklemek için hücreleri çalıştır. Not defteri, YOLO26 modeli için SageMaker uç noktası oluşturup dağıtma adımlarında sana yol gösterir.

Adım 6: Dağıtımını test et#

YOLO26 modelin artık dağıtıldığına göre performansını ve işlevselliğini test etmen önemlidir.

  • Test Not Defterini Aç: Aynı Jupyter ortamında yine sm-notebook dizininde bulunan 2_TestEndpoint.ipynb not defterini bul ve aç.

  • Test Not Defterini Çalıştır: Dağıtılan SageMaker uç noktasını test etmek için not defterindeki yönergeleri izle. Bu, uç noktaya bir görüntü göndermeyi ve çıkarım çalıştırmayı içerir. Ardından aşağıda gösterildiği gibi modelin performansını ve doğruluğunu görselleştirmek için çıktının grafiğini oluştur.

YOLO26 detection results returned by the SageMaker test endpoint

  • Kaynakları Temizle: Test not defteri, uç noktayı ve barındırılan modeli temizleme sürecinde de sana yol gösterecek. Dağıtılan modeli hemen kullanmayı planlamıyorsan, özellikle maliyetleri ve kaynakları etkili biçimde yönetmek için bu adım önemlidir.

Adım 7: İzleme ve yönetim#

Testten sonra dağıtılan modelini sürekli izlemek ve yönetmek önemlidir.

  • Amazon CloudWatch ile İzle: SageMaker uç noktanın performansını ve durumunu Amazon CloudWatch kullanarak düzenli olarak kontrol et.

  • Uç Noktayı Yönet: Uç noktanın sürekli yönetimi için SageMaker konsolunu kullan. Buna gerektiğinde ölçeklendirme, güncelleme veya modeli yeniden dağıtma dahildir.

Bu adımları tamamlayarak Amazon SageMaker Endpoints üzerinde bir YOLO26 modelini dağıtmış ve test etmiş olacaksın. Aynı iş akışı AWS'de başka modelleri dağıtmak için de geçerlidir.

Özet#

Bu rehberde, AWS CloudFormation ve AWS Cloud Development Kit (CDK) kullanarak YOLO26'yı Amazon SageMaker Endpoints üzerinde dağıtma süreci adım adım anlatıldı. Süreç; AWS Machine Learning Blog gönderisindeki YOLOv8 PyTorch modellerini Amazon SageMaker Endpoints üzerinde barındırma örnek deposunu klonlamayı, CDK ortamını kurmayı, modeli AWS hizmetleriyle dağıtmayı ve SageMaker'daki performansını test etmeyi kapsar.

Sık Sorulan Sorular#

  • Ultralytics YOLO26 modelini Amazon SageMaker Endpoints üzerinde dağıtmak için şu adımları izle:

    1. AWS Ortamını Kur: Bir AWS hesabın, gerekli izinlere sahip IAM rollerin ve yapılandırılmış AWS CLI'ın olduğundan emin ol. Henüz yüklemediysen AWS CDK'yı yükle (AWS CDK talimatlarına göz at).
    2. YOLO26 SageMaker Deposunu Klonla:
      git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git
      cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk
    3. CDK Ortamını Kur: Bir Python sanal ortamı oluşturup etkinleştir, bağımlılıkları yükle ve AWS CDK kitaplığını yükselt.
      python3 -m venv .venv
      source .venv/bin/activate
      pip3 install -r requirements.txt
      pip install --upgrade aws-cdk-lib
    4. AWS CDK ile Dağıt: CloudFormation yığınını sentezleyip dağıt ve ortamı önyükle.
      cdk synth
      cdk bootstrap
      cdk deploy
  • YOLO26'yı Amazon SageMaker'da dağıtmak için aşağıdaki ön koşulları yerine getir:

    1. AWS Hesabı: Etkin bir AWS hesabı (AWS'ye kaydol).
    2. IAM Rolleri: SageMaker, CloudFormation ve Amazon S3 izinleriyle yapılandırılmış IAM rolleri.
    3. AWS CLI: Yüklenmiş ve yapılandırılmış AWS Komut Satırı Arayüzü (AWS CLI yükleme kılavuzu).
    4. AWS CDK: Yüklenmiş AWS Bulut Geliştirme Kiti (CDK kurulum kılavuzu).
    5. Hizmet Kotaları: Hem uç nokta hem de not defteri kullanımı için yeterli ml.m5.4xlarge örnek kotası (kota artışı talep et).
  • Ultralytics YOLO26'yı Amazon SageMaker üzerinde kullanmanın çeşitli avantajları vardır:

    1. Ölçeklenebilirlik ve Yönetim: SageMaker, gerçek zamanlı çıkarım gereksinimlerini karşılamaya yardımcı olan otomatik ölçeklendirme gibi özelliklerle yönetilen bir ortam sağlar.
    2. AWS Hizmetleriyle Entegrasyon: Veri depolama için S3, kod olarak altyapı için CloudFormation ve izleme için CloudWatch gibi diğer AWS hizmetleriyle entegrasyon kur.
    3. Kolay Dağıtım: AWS CDK betikleriyle basitleştirilmiş kurulum ve kolaylaştırılmış dağıtım süreçleri.
    4. Performans: Büyük ölçekli çıkarım iş yüklerini çalıştırmak için Amazon SageMaker'ın yönetilen altyapısını kullan.
  • Evet, Amazon SageMaker üzerinde YOLO26 için çıkarım mantığını özelleştirebilirsin:

    1. inference.py Dosyasını Değiştir: Çıktı biçimlerini özelleştirmek için inference.py dosyasındaki output_fn işlevini bulup düzenle.

      import json
      
      def output_fn(prediction_output, content_type):
          """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints."""
          infer = {}
          for result in prediction_output:
              if result.boxes is not None:
                  infer["boxes"] = result.boxes.numpy().data.tolist()
              # Gerekirse daha fazla işleme mantığı ekle
          return json.dumps(infer)
    2. Güncellenmiş Modeli Dağıt: Bu değişiklikleri dahil etmek için modeli sağlanan Jupyter not defterlerini (1_DeployEndpoint.ipynb) kullanarak yeniden dağıt.

    Değiştirilen modeli dağıtmak için ayrıntılı adımlara göz at.

  • Dağıtılan YOLO26 modelini Amazon SageMaker üzerinde test etmek için:

    1. Test Not Defterini Aç: SageMaker Jupyter ortamında 2_TestEndpoint.ipynb not defterini bul.
    2. Not Defterini Çalıştır: Uç noktaya görüntü gönderme, çıkarım yapma ve sonuçları görüntüleme talimatlarını izleyerek not defterini çalıştır.
    3. Sonuçları Görselleştir: Test görüntüsüne tahmin edilen sınırlayıcı kutuları çizmek için not defterinin çizim kodunu kullan.

    Kapsamlı test talimatları için test bölümünü ziyaret et.

Yorumlar10

Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.

  1. User

    I want to upload the YOLOv8 model I trained on my own dataset to Jupyter, and then compress it into a model.tar.gz file following the official deployendpoint steps. However, when I use testendpoint, I encounter an error. If I rename my trained model to yolov8, the test succeeds, but it uses the original model from the official website instead of my custom one. How should I modify inference.py to ensure it loads my trained model?

    1
    1. User

      Thank you for your answer. I had followed the 1_DeployEndpoint.ipynb to delpoy my own model. In the 1.4 Create the SageMaker PyTorchModel, I had set the env={'TS_MAX_RESPONSE_SIZE':'20000000', 'MY_MODEL': 'my_own_model'}. And in the inference.py:

      def model_fn(model_dir):
          print("Executing model_fn from inference.py ...")
          env = os.environ
          model = YOLO(os.path.join(model_dir, env['MY_MODEL']))
          return model

      I think it will be use my own model directly. But it failed, and it occur this problem:

      ModelError: An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0)from primary with message "Your invocation timed out while waiting for a response from container primary. Reviewthe latency metrics for each container in Amazon Cloudatch, resolve the issue, and try again.". See https://useast-1. console. aws. aazon. com/cloudwatch/home?region=us-east-1#logEventViewer: group=/aws/sagemaker Endpoints/yolov8-pytorch-2024-09-06-11-33-49-418696 in account 211125332801 for more information.

      Could you tell me how to modify the inference.py to load my own model. Thank you so much.

    2. Glenn JocherUltralytics

      To ensure your custom YOLOv8 model is used, verify that the model_fn in inference.py correctly points to your model's path. Ensure the MY_MODEL environment variable matches your model's filename. If issues persist, check CloudWatch logs for detailed error messages. For further guidance, refer to the Ultralytics documentation on Amazon SageMaker.

  2. SJTUPandaGitHub

    Thanks for your sharing, it's very clear and useful. My own deployment workflow on AWS has already built but the test result is not so satisfying. The performance of detection result of yolo11-xl on AWS is worse than on my own laptop. I not sure if there is some default quantization when it's deployed to the AWS(I did not modified much to host-yolov8-on-sagemaker-endpoint), or do you have some other ideas about which would bring this significant performance differences?

    1. Glenn JocherUltralytics

      @SJTUPanda thank you for your feedback! The performance difference could stem from several factors like hardware disparities (AWS instance vs laptop GPU), inference settings, or environment configurations. First, verify that your SageMaker instance type matches your local hardware capabilities, and ensure identical inference parameters (e.g., imgsz, batch). Check our Amazon SageMaker deployment guide for optimization tips and consider profiling both environments with yolo val to isolate bottlenecks. Let us know if specific metrics differ! 🚀

    2. SJTUPandaGitHub

      Thanks for your quick reply. The issue is fixed after I comment out resize related code. Although the model is trained with (640,640) and the input image size is (720,440), using the raw images directly as input is better than resized it. I am curious the input images would be auto-resized by the model just as in the training/testing part? And why resized by myself has so much impact on the results? If these part code should be update because yolo version updating?

      image_height, image_width, _ = orig_image.shape
      model_height, model_width = 640, 640
      x_ratio = image_width/model_width
      y_ratio = image_height/model_height
      
      # Resize the image as numpy array
      resized_image = cv2.resize(orig_image, (model_height, model_width))
      # Conver the array into jpeg
      resized_jpeg = cv2.imencode('.jpg', resized_image)[1]
      # Serialize the jpg using base 64
      payload = base64.b64encode(resized_jpeg).decode('utf-8')
    3. Glenn JocherUltralytics

      Thank you for sharing your findings! YOLO models do automatically resize inputs to match their training dimensions while preserving aspect ratio with letterboxing. Manual resizing can distort aspect ratios or introduce artifacts, potentially degrading performance. We recommend using the model's native preprocessing by feeding full-size images directly, as this maintains proper scaling and aspect ratio handling. For implementation details, refer to our model deployment best practices regarding input consistency.

    1. Glenn JocherUltralytics

      Olá! 👋 Os recursos mencionados para implementar o YOLOv8 no Amazon SageMaker não são pagos por si só. No entanto, o uso do Amazon SageMaker e outros serviços da AWS associados à implementação e execução do modelo podem incorrer em custos conforme o uso. A AWS oferece uma camada gratuita que você pode aproveitar para experimentar alguns serviços sem custo, mas é sempre bom verificar a página de preços do SageMaker para detalhes específicos. Se precisar de ajuda para estimar os custos ou tiver outras dúvidas, estou aqui para ajudar! 🚀