YOLO26'yı Amazon SageMaker Uç Noktalarına Dağıtma Kılavuzu
Amazon SageMaker Endpoints, üretim ortamındaki makine öğrenimi uygulamalarında Ultralytics YOLO26 gibi bilgisayarlı görü modelleri için yönetilen ve ölçeklenebilir barındırma sunar. Başarılı bir model dağıtımı, hem model hem de AWS tarafındaki kurulum, yapılandırma ve dağıtım adımlarının anlaşılmasına bağlıdır.
Bu kılavuzda, YOLO26 PyTorch modellerini Amazon SageMaker Uç Noktalarına dağıtma sürecini adım adım anlatacağız. AWS ortamını hazırlamanın, modeli uygun şekilde yapılandırmanın ve dağıtım için AWS CloudFormation ile AWS Cloud Development Kit (CDK) gibi araçları kullanmanın temel adımlarını öğreneceksin.
Amazon SageMaker#
Amazon SageMaker, makine öğrenimi modelleri oluşturma, eğitme ve dağıtma süreçlerini kolaylaştıran Amazon Web Services (AWS) makine öğrenimi hizmetidir. Makine öğrenimi iş akışlarının farklı yönlerini yönetmek için geniş bir araç yelpazesi sunar. Bu araçlar arasında modelleri ayarlamaya yönelik otomatik özellikler, modelleri büyük ölçekte eğitme seçenekleri ve modelleri üretime dağıtmaya yönelik basit yöntemler bulunur. SageMaker, popüler makine öğrenimi çerçevelerini destekleyerek farklı projeler için gereken esnekliği sağlar. Özellikleri veri etiketleme, iş akışı yönetimi ve performans analizini de kapsar.
YOLO26'yı Amazon SageMaker Uç Noktalarına Dağıtma#
YOLO26'yı Amazon SageMaker'da dağıtmak, gerçek zamanlı çıkarım için yönetilen ortamdan yararlanmanı ve otomatik ölçeklendirme gibi özellikleri kullanmanı sağlar. Aşağıdaki AWS mimarisine göz at.
1. Adım: AWS Ortamını Kur#
Öncelikle aşağıdaki ön koşulların karşılandığından emin ol:
-
Bir AWS hesabı: Henüz hesabın yoksa bir AWS hesabı oluştur.
-
Yapılandırılmış IAM rolleri: Amazon SageMaker, AWS CloudFormation ve Amazon S3 için gerekli izinlere sahip bir IAM rolüne ihtiyacın olacak. Bu rol, söz konusu hizmetlere erişmesine izin veren politikalara sahip olmalıdır.
-
AWS CLI: Henüz yüklü değilse AWS Command Line Interface (CLI) aracını indirip yükle ve hesap bilgilerinle yapılandır. Kurulum için AWS CLI yönergelerini izle.
-
AWS CDK: Henüz yüklü değilse dağıtım betiklerini oluşturmak için kullanacağın AWS Cloud Development Kit (CDK) aracını yükle. Kurulum için AWS CDK yönergelerini izle.
-
Yeterli hizmet kotası: Amazon SageMaker'da iki ayrı kaynak için yeterli kotaya sahip olduğunu doğrula: biri uç nokta kullanımı için
ml.m5.4xlarge, diğeri not defteri örneği kullanımı içinml.m5.4xlarge. Her biri için en az bir kota değeri gerekir. Mevcut kotaların bu gereksinimin altındaysa her biri için artış talep etmen önemlidir. Kota artışını, AWS Hizmet Kotaları belgelerindeki ayrıntılı yönergeleri izleyerek talep edebilirsin.
Adım 2: YOLO26 SageMaker deposunu klonla#
Sonraki adım, YOLO26'yı SageMaker'a dağıtmak için gereken kaynakları içeren AWS deposunu klonlamaktır. GitHub'da barındırılan bu depoda gerekli CDK betikleri ve yapılandırma dosyaları bulunur.
-
GitHub Deposunu Klonla: host-yolov8-on-sagemaker-endpoint deposunu klonlamak için terminalinde şu komutu çalıştır:
git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git -
Klonlanan Dizinine Git: Dizini klonlanan depoya değiştir:
cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk
Adım 3: CDK ortamını kur#
Gerekli koda artık sahip olduğuna göre AWS CDK ile dağıtım yapmak için ortamını kur.
-
Python Sanal Ortamı Oluştur: Bu işlem, Python ortamını ve bağımlılıklarını yalıtır. Şunu çalıştır:
python3 -m venv .venv -
Sanal Ortamı Etkinleştir:
source .venv/bin/activate -
Bağımlılıkları Yükle: Proje için gerekli Python bağımlılıklarını yükle:
pip3 install -r requirements.txt -
AWS CDK Kütüphanesini Yükselt: AWS CDK kütüphanesinin en son sürümüne sahip olduğundan emin ol:
pip install --upgrade aws-cdk-lib
Adım 4: AWS CloudFormation yığınını oluştur#
-
CDK Uygulamasını Derle: CDK kodundan AWS CloudFormation şablonunu oluştur:
cdk synth -
CDK Uygulamasını Önyükle: AWS ortamını CDK dağıtımı için hazırla:
cdk bootstrap -
Yığını Dağıt: Bu işlem gerekli AWS kaynaklarını oluşturup modelini dağıtır:
cdk deploy
Adım 5: YOLO modelini dağıt#
AWS CloudFormation yığınını oluşturduktan sonraki adım YOLO26'yı dağıtmaktır.
-
Not Defteri Örneğini Aç: AWS Konsolu'na git ve Amazon SageMaker hizmetine geç. Kontrol panelinden "Notebook Instances" seçeneğini belirle, ardından CDK dağıtım betiğinin oluşturduğu not defteri örneğini bul. Jupyter ortamına erişmek için not defteri örneğini aç.
-
inference.py Dosyasına Eriş ve Dosyayı Düzenle: SageMaker not defteri örneğini Jupyter'da açtıktan sonra inference.py dosyasını bul. Aşağıda gösterildiği gibi inference.py içindeki output_fn işlevini düzenle ve söz dizimi hatası olmadığından emin olarak değişikliklerini betiğe kaydet.
import json def output_fn(prediction_output, content_type): """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints.""" print("Executing output_fn from inference.py ...") infer = {} for result in prediction_output: if result.boxes is not None: infer["boxes"] = result.boxes.numpy().data.tolist() if result.masks is not None: infer["masks"] = result.masks.numpy().data.tolist() if result.keypoints is not None: infer["keypoints"] = result.keypoints.numpy().data.tolist() if result.obb is not None: infer["obb"] = result.obb.numpy().data.tolist() if result.probs is not None: infer["probs"] = result.probs.numpy().data.tolist() return json.dumps(infer) -
1_DeployEndpoint.ipynb ile uç noktayı dağıt: Jupyter ortamında, sm-notebook dizininde bulunan 1_DeployEndpoint.ipynb not defterini aç. Not defterinde
model_namedeğeriniyolo26n.ptgibi bir YOLO26 kontrol noktasına ayarla (varsayılan olarak YOLOv8 modeli kullanılır), ardından modeli indirmek, güncellenmiş çıkarım koduyla paketlemek ve bir Amazon S3 paketine yüklemek için hücreleri çalıştır. Not defteri, YOLO26 modeli için SageMaker uç noktası oluşturup dağıtma adımlarında sana yol gösterir.
Adım 6: Dağıtımını test et#
YOLO26 modelin artık dağıtıldığına göre performansını ve işlevselliğini test etmen önemlidir.
-
Test Not Defterini Aç: Aynı Jupyter ortamında yine sm-notebook dizininde bulunan 2_TestEndpoint.ipynb not defterini bul ve aç.
-
Test Not Defterini Çalıştır: Dağıtılan SageMaker uç noktasını test etmek için not defterindeki yönergeleri izle. Bu, uç noktaya bir görüntü göndermeyi ve çıkarım çalıştırmayı içerir. Ardından aşağıda gösterildiği gibi modelin performansını ve doğruluğunu görselleştirmek için çıktının grafiğini oluştur.
- Kaynakları Temizle: Test not defteri, uç noktayı ve barındırılan modeli temizleme sürecinde de sana yol gösterecek. Dağıtılan modeli hemen kullanmayı planlamıyorsan, özellikle maliyetleri ve kaynakları etkili biçimde yönetmek için bu adım önemlidir.
Adım 7: İzleme ve yönetim#
Testten sonra dağıtılan modelini sürekli izlemek ve yönetmek önemlidir.
-
Amazon CloudWatch ile İzle: SageMaker uç noktanın performansını ve durumunu Amazon CloudWatch kullanarak düzenli olarak kontrol et.
-
Uç Noktayı Yönet: Uç noktanın sürekli yönetimi için SageMaker konsolunu kullan. Buna gerektiğinde ölçeklendirme, güncelleme veya modeli yeniden dağıtma dahildir.
Bu adımları tamamlayarak Amazon SageMaker Endpoints üzerinde bir YOLO26 modelini dağıtmış ve test etmiş olacaksın. Aynı iş akışı AWS'de başka modelleri dağıtmak için de geçerlidir.
Özet#
Bu rehberde, AWS CloudFormation ve AWS Cloud Development Kit (CDK) kullanarak YOLO26'yı Amazon SageMaker Endpoints üzerinde dağıtma süreci adım adım anlatıldı. Süreç; AWS Machine Learning Blog gönderisindeki YOLOv8 PyTorch modellerini Amazon SageMaker Endpoints üzerinde barındırma örnek deposunu klonlamayı, CDK ortamını kurmayı, modeli AWS hizmetleriyle dağıtmayı ve SageMaker'daki performansını test etmeyi kapsar.
Sık Sorulan Sorular#
Ultralytics YOLO26 modelini Amazon SageMaker Endpoints üzerinde dağıtmak için şu adımları izle:
- AWS Ortamını Kur: Bir AWS hesabın, gerekli izinlere sahip IAM rollerin ve yapılandırılmış AWS CLI'ın olduğundan emin ol. Henüz yüklemediysen AWS CDK'yı yükle (AWS CDK talimatlarına göz at).
- YOLO26 SageMaker Deposunu Klonla:
git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk - CDK Ortamını Kur: Bir Python sanal ortamı oluşturup etkinleştir, bağımlılıkları yükle ve AWS CDK kitaplığını yükselt.
python3 -m venv .venv source .venv/bin/activate pip3 install -r requirements.txt pip install --upgrade aws-cdk-lib - AWS CDK ile Dağıt: CloudFormation yığınını sentezleyip dağıt ve ortamı önyükle.
cdk synth cdk bootstrap cdk deploy
YOLO26'yı Amazon SageMaker'da dağıtmak için aşağıdaki ön koşulları yerine getir:
- AWS Hesabı: Etkin bir AWS hesabı (AWS'ye kaydol).
- IAM Rolleri: SageMaker, CloudFormation ve Amazon S3 izinleriyle yapılandırılmış IAM rolleri.
- AWS CLI: Yüklenmiş ve yapılandırılmış AWS Komut Satırı Arayüzü (AWS CLI yükleme kılavuzu).
- AWS CDK: Yüklenmiş AWS Bulut Geliştirme Kiti (CDK kurulum kılavuzu).
- Hizmet Kotaları: Hem uç nokta hem de not defteri kullanımı için yeterli
ml.m5.4xlargeörnek kotası (kota artışı talep et).
Ultralytics YOLO26'yı Amazon SageMaker üzerinde kullanmanın çeşitli avantajları vardır:
- Ölçeklenebilirlik ve Yönetim: SageMaker, gerçek zamanlı çıkarım gereksinimlerini karşılamaya yardımcı olan otomatik ölçeklendirme gibi özelliklerle yönetilen bir ortam sağlar.
- AWS Hizmetleriyle Entegrasyon: Veri depolama için S3, kod olarak altyapı için CloudFormation ve izleme için CloudWatch gibi diğer AWS hizmetleriyle entegrasyon kur.
- Kolay Dağıtım: AWS CDK betikleriyle basitleştirilmiş kurulum ve kolaylaştırılmış dağıtım süreçleri.
- Performans: Büyük ölçekli çıkarım iş yüklerini çalıştırmak için Amazon SageMaker'ın yönetilen altyapısını kullan.
Evet, Amazon SageMaker üzerinde YOLO26 için çıkarım mantığını özelleştirebilirsin:
-
inference.pyDosyasını Değiştir: Çıktı biçimlerini özelleştirmek içininference.pydosyasındakioutput_fnişlevini bulup düzenle.import json def output_fn(prediction_output, content_type): """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints.""" infer = {} for result in prediction_output: if result.boxes is not None: infer["boxes"] = result.boxes.numpy().data.tolist() # Gerekirse daha fazla işleme mantığı ekle return json.dumps(infer) -
Güncellenmiş Modeli Dağıt: Bu değişiklikleri dahil etmek için modeli sağlanan Jupyter not defterlerini (
1_DeployEndpoint.ipynb) kullanarak yeniden dağıt.
Değiştirilen modeli dağıtmak için ayrıntılı adımlara göz at.
-
Dağıtılan YOLO26 modelini Amazon SageMaker üzerinde test etmek için:
- Test Not Defterini Aç: SageMaker Jupyter ortamında
2_TestEndpoint.ipynbnot defterini bul. - Not Defterini Çalıştır: Uç noktaya görüntü gönderme, çıkarım yapma ve sonuçları görüntüleme talimatlarını izleyerek not defterini çalıştır.
- Sonuçları Görselleştir: Test görüntüsüne tahmin edilen sınırlayıcı kutuları çizmek için not defterinin çizim kodunu kullan.
Kapsamlı test talimatları için test bölümünü ziyaret et.
- Test Not Defterini Aç: SageMaker Jupyter ortamında
Yorumlar10
Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.
UserI want to upload the YOLOv8 model I trained on my own dataset to Jupyter, and then compress it into a
model.tar.gzfile following the officialdeployendpointsteps. However, when I usetestendpoint, I encounter an error. If I rename my trained model toyolov8, the test succeeds, but it uses the original model from the official website instead of my custom one. How should I modifyinference.pyto ensure it loads my trained model?1
Glenn JocherUltralytics@lijoe123 to ensure your custom YOLOv8 model is used, modify the
inference.pyto load your model by specifying its path directly. Ensure the model name in your deployment matches your custom model's name. For detailed steps, refer to the Ultralytics documentation on Amazon SageMaker.
UserThank you for your answer. I had followed the
1_DeployEndpoint.ipynbto delpoy my own model. In the 1.4 Create the SageMaker PyTorchModel, I had set theenv={'TS_MAX_RESPONSE_SIZE':'20000000', 'MY_MODEL': 'my_own_model'}. And in theinference.py:def model_fn(model_dir): print("Executing model_fn from inference.py ...") env = os.environ model = YOLO(os.path.join(model_dir, env['MY_MODEL'])) return modelI think it will be use my own model directly. But it failed, and it occur this problem:
ModelError: An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0)from primary with message "Your invocation timed out while waiting for a response from container primary. Reviewthe latency metrics for each container in Amazon Cloudatch, resolve the issue, and try again.". See https://useast-1. console. aws. aazon. com/cloudwatch/home?region=us-east-1#logEventViewer: group=/aws/sagemaker Endpoints/yolov8-pytorch-2024-09-06-11-33-49-418696 in account 211125332801 for more information.Could you tell me how to modify the
inference.pyto load my own model. Thank you so much.
Glenn JocherUltralyticsTo ensure your custom YOLOv8 model is used, verify that the
model_fnininference.pycorrectly points to your model's path. Ensure theMY_MODELenvironment variable matches your model's filename. If issues persist, check CloudWatch logs for detailed error messages. For further guidance, refer to the Ultralytics documentation on Amazon SageMaker.
SJTUPanda
Thanks for your sharing, it's very clear and useful. My own deployment workflow on AWS has already built but the test result is not so satisfying. The performance of detection result of yolo11-xl on AWS is worse than on my own laptop. I not sure if there is some default quantization when it's deployed to the AWS(I did not modified much to host-yolov8-on-sagemaker-endpoint), or do you have some other ideas about which would bring this significant performance differences?
Glenn JocherUltralytics@SJTUPanda thank you for your feedback! The performance difference could stem from several factors like hardware disparities (AWS instance vs laptop GPU), inference settings, or environment configurations. First, verify that your SageMaker instance type matches your local hardware capabilities, and ensure identical inference parameters (e.g.,
imgsz,batch). Check our Amazon SageMaker deployment guide for optimization tips and consider profiling both environments withyolo valto isolate bottlenecks. Let us know if specific metrics differ! 🚀SJTUPanda
Thanks for your quick reply. The issue is fixed after I comment out resize related code. Although the model is trained with (640,640) and the input image size is (720,440), using the raw images directly as input is better than resized it. I am curious the input images would be auto-resized by the model just as in the training/testing part? And why resized by myself has so much impact on the results? If these part code should be update because yolo version updating?
image_height, image_width, _ = orig_image.shape model_height, model_width = 640, 640 x_ratio = image_width/model_width y_ratio = image_height/model_height # Resize the image as numpy array resized_image = cv2.resize(orig_image, (model_height, model_width)) # Conver the array into jpeg resized_jpeg = cv2.imencode('.jpg', resized_image)[1] # Serialize the jpg using base 64 payload = base64.b64encode(resized_jpeg).decode('utf-8')
Glenn JocherUltralyticsThank you for sharing your findings! YOLO models do automatically resize inputs to match their training dimensions while preserving aspect ratio with letterboxing. Manual resizing can distort aspect ratios or introduce artifacts, potentially degrading performance. We recommend using the model's native preprocessing by feeding full-size images directly, as this maintains proper scaling and aspect ratio handling. For implementation details, refer to our model deployment best practices regarding input consistency.
NikoXanthidis
Gostaria de saber se esses recursos são pagos.
Glenn JocherUltralyticsOlá! 👋 Os recursos mencionados para implementar o YOLOv8 no Amazon SageMaker não são pagos por si só. No entanto, o uso do Amazon SageMaker e outros serviços da AWS associados à implementação e execução do modelo podem incorrer em custos conforme o uso. A AWS oferece uma camada gratuita que você pode aproveitar para experimentar alguns serviços sem custo, mas é sempre bom verificar a página de preços do SageMaker para detalhes específicos. Se precisar de ajuda para estimar os custos ou tiver outras dúvidas, estou aqui para ajudar! 🚀