Начать

Руководство по развёртыванию YOLO26 на конечных точках Amazon SageMaker

Amazon SageMaker Endpoints обеспечивают управляемый и масштабируемый хостинг моделей компьютерного зрения, таких как Ultralytics YOLO26, для рабочих приложений машинного обучения. Для успешного развёртывания модели важно понимать этапы настройки и конфигурации, а также процесс развёртывания как на стороне модели, так и на стороне AWS.

В этом руководстве ты шаг за шагом разберёшь процесс развёртывания моделей YOLO26 на PyTorch на конечных точках Amazon SageMaker. Ты узнаешь, как подготовить среду AWS, правильно настроить модель и использовать такие инструменты, как AWS CloudFormation и AWS Cloud Development Kit (CDK), для развёртывания.

Amazon SageMaker#

Amazon SageMaker ML platform architecture

Amazon SageMaker — это сервис машинного обучения от веб-сервисов Amazon (AWS), который упрощает создание, обучение и развёртывание моделей машинного обучения. Он предоставляет широкий набор инструментов для работы с различными этапами процессов машинного обучения. Сюда входят автоматические функции настройки моделей, возможности масштабного обучения моделей и простые способы развёртывания моделей в производственной среде. SageMaker поддерживает популярные фреймворки машинного обучения, обеспечивая гибкость для самых разных проектов. Среди его возможностей также есть разметка данных, управление рабочими процессами и анализ производительности.

Развёртывание YOLO26 на конечных точках Amazon SageMaker#

Развёртывание YOLO26 на Amazon SageMaker позволяет использовать управляемую среду для инференса в реальном времени и такие возможности, как автомасштабирование. Ознакомься с приведённой ниже архитектурой AWS.

AWS architecture for hosting YOLO on an Amazon SageMaker endpoint

Шаг 1. Настрой среду AWS#

Для начала убедись, что у тебя есть всё необходимое:

  • Учётная запись AWS: если у тебя её ещё нет, зарегистрируй учётную запись AWS.

  • Настроенные роли IAM: тебе понадобится роль IAM с необходимыми разрешениями для Amazon SageMaker, AWS CloudFormation и Amazon S3. У роли должны быть политики, разрешающие доступ к этим сервисам.

  • AWS CLI: если интерфейс командной строки AWS (CLI) ещё не установлен, скачай и установи его, а затем настрой данные своей учётной записи. Инструкции по установке смотри в руководстве по AWS CLI.

  • AWS CDK: если AWS Cloud Development Kit (CDK) ещё не установлен, установи его для написания скриптов развёртывания. Инструкции по установке смотри в руководстве по AWS CDK.

  • Достаточная квота сервиса: убедись, что у тебя достаточно квот для двух отдельных ресурсов в Amazon SageMaker: одна квота ml.m5.4xlarge нужна для использования конечной точки, другая — ml.m5.4xlarge — для использования экземпляра ноутбука. Для каждого ресурса требуется значение квоты не меньше единицы. Если текущие квоты ниже этого значения, запроси увеличение каждой из них. Подробные инструкции по запросу увеличения квот смотри в документации AWS Service Quotas.

Шаг 2. Клонирование репозитория SageMaker для YOLO26#

Следующий шаг — клонировать специальный репозиторий AWS с ресурсами для развёртывания YOLO26 на SageMaker. В репозитории на GitHub находятся необходимые скрипты CDK и файлы конфигурации.

  • Клонирование репозитория GitHub: выполни в терминале следующую команду, чтобы клонировать репозиторий host-yolov8-on-sagemaker-endpoint:

    git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git
  • Переход в клонированный каталог: перейди в каталог клонированного репозитория:

    cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk

Шаг 3. Настройка среды CDK#

Теперь, когда у тебя есть необходимый код, настрой среду для развёртывания с помощью AWS CDK.

  • Создание виртуальной среды Python: это позволит изолировать среду Python и зависимости. Выполни:

    python3 -m venv .venv
  • Активация виртуальной среды:

    source .venv/bin/activate
  • Установка зависимостей: установи необходимые для проекта зависимости Python:

    pip3 install -r requirements.txt
  • Обновление библиотеки AWS CDK: убедись, что у тебя установлена последняя версия библиотеки AWS CDK:

    pip install --upgrade aws-cdk-lib

Шаг 4. Создание стека AWS CloudFormation#

  • Синтез приложения CDK: создай шаблон AWS CloudFormation на основе кода CDK:

    cdk synth
  • Подготовка приложения CDK: подготовь среду AWS к развёртыванию через CDK:

    cdk bootstrap
  • Развёртывание стека: будут созданы необходимые ресурсы AWS и развёрнута модель:

    cdk deploy

Шаг 5. Развёртывание модели YOLO#

После создания стека AWS CloudFormation следующим шагом будет развёртывание YOLO26.

  • Открой экземпляр ноутбука: перейди в консоль AWS и открой сервис Amazon SageMaker. На панели управления выбери «Экземпляры ноутбуков», затем найди экземпляр, созданный скриптом развёртывания CDK. Открой его, чтобы получить доступ к среде Jupyter.

  • Открой и измени inference.py: после открытия экземпляра ноутбука SageMaker в Jupyter найди файл inference.py. Отредактируй функцию output_fn в inference.py, как показано ниже, и сохрани изменения в скрипте. Убедись, что в коде нет синтаксических ошибок.

    import json
    
    def output_fn(prediction_output, content_type):
        """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints."""
        print("Executing output_fn from inference.py ...")
        infer = {}
        for result in prediction_output:
            if result.boxes is not None:
                infer["boxes"] = result.boxes.numpy().data.tolist()
            if result.masks is not None:
                infer["masks"] = result.masks.numpy().data.tolist()
            if result.keypoints is not None:
                infer["keypoints"] = result.keypoints.numpy().data.tolist()
            if result.obb is not None:
                infer["obb"] = result.obb.numpy().data.tolist()
            if result.probs is not None:
                infer["probs"] = result.probs.numpy().data.tolist()
        return json.dumps(infer)
  • Разверни эндпоинт с помощью 1_DeployEndpoint.ipynb: в среде Jupyter открой блокнот 1_DeployEndpoint.ipynb, расположенный в каталоге sm-notebook. Задай в блокноте model_name как контрольную точку YOLO26, например yolo26n.pt (по умолчанию используется модель YOLOv8), затем запусти ячейки, чтобы скачать модель, упаковать её с обновлённым кодом инференса и загрузить в корзину Amazon S3. Блокнот поможет создать и развернуть эндпоинт SageMaker для модели YOLO26.

Шаг 6. Тестирование развёртывания#

Теперь, когда модель YOLO26 развёрнута, важно проверить её производительность и работоспособность.

  • Открой тестовый ноутбук: в той же среде Jupyter найди и открой ноутбук 2_TestEndpoint.ipynb, который также находится в каталоге sm-notebook.

  • Запусти тестовый ноутбук: следуй инструкциям в ноутбуке, чтобы проверить развёрнутую конечную точку SageMaker. Для этого нужно отправить изображение на конечную точку и запустить инференс. Затем построй график результата, чтобы визуально оценить производительность и точность модели, как показано ниже.

YOLO26 detection results returned by the SageMaker test endpoint

  • Очистка ресурсов: тестовый ноутбук также поможет удалить конечную точку и размещённую модель. Это важный шаг для эффективного управления затратами и ресурсами, особенно если ты не планируешь сразу использовать развёрнутую модель.

Шаг 7. Мониторинг и управление#

После тестирования важно постоянно отслеживать работу развёрнутой модели и управлять ею.

  • Мониторинг с помощью Amazon CloudWatch: регулярно проверяй производительность и состояние конечной точки SageMaker с помощью Amazon CloudWatch.

  • Управление конечной точкой: для постоянного управления конечной точкой используй консоль SageMaker. При необходимости масштабируй, обновляй или развёртывай модель повторно.

Выполнив эти шаги, ты развернёшь и протестируешь модель YOLO26 на Amazon SageMaker Endpoints. Этот же рабочий процесс подходит для развёртывания других моделей на AWS.

Итоги#

В этом руководстве подробно описано развёртывание YOLO26 на Amazon SageMaker Endpoints с помощью AWS CloudFormation и AWS Cloud Development Kit (CDK). Процесс включает клонирование примера репозитория AWS из публикации AWS Machine Learning Blog о хостинге моделей YOLOv8 PyTorch на Amazon SageMaker Endpoints, настройку среды CDK, развёртывание модели с помощью сервисов AWS и проверку её производительности на SageMaker.

Часто задаваемые вопросы#

  • Чтобы развернуть модель Ultralytics YOLO26 на Amazon SageMaker Endpoints, выполни следующие действия:

    1. Настрой среду AWS: Убедись, что у тебя есть аккаунт AWS, роли IAM с необходимыми разрешениями и настроенный AWS CLI. Если AWS CDK ещё не установлен, установи его (см. инструкции по AWS CDK).
    2. Клонируй репозиторий YOLO26 SageMaker:
      git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git
      cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk
    3. Настрой среду CDK: Создай виртуальное окружение Python, активируй его, установи зависимости и обнови библиотеку AWS CDK.
      python3 -m venv .venv
      source .venv/bin/activate
      pip3 install -r requirements.txt
      pip install --upgrade aws-cdk-lib
    4. Разверни с помощью AWS CDK: Создай шаблон и разверни стек CloudFormation, выполни начальную настройку среды.
      cdk synth
      cdk bootstrap
      cdk deploy
  • Для развёртывания YOLO26 на Amazon SageMaker подготовь следующие необходимые условия:

    1. Учётная запись AWS: активная учётная запись AWS (зарегистрируйся в AWS.
    2. Роли IAM: Настроенные роли IAM с разрешениями для SageMaker, CloudFormation и Amazon S3.
    3. AWS CLI: Установленный и настроенный интерфейс командной строки AWS (руководство по установке AWS CLI).
    4. AWS CDK: Установленный AWS Cloud Development Kit (руководство по настройке CDK).
    5. Квоты сервисов: Достаточные квоты для экземпляров ml.m5.4xlarge как для конечных точек, так и для блокнотов (запроси увеличение квоты).
  • Использование Ultralytics YOLO26 на Amazon SageMaker даёт несколько преимуществ:

    1. Масштабируемость и управление: SageMaker предоставляет управляемую среду с такими функциями, как автоматическое масштабирование, которое помогает удовлетворять потребности инференса в реальном времени.
    2. Интеграция с сервисами AWS: настрой интеграцию с другими сервисами AWS, например S3 для хранения данных, CloudFormation для описания инфраструктуры как кода и CloudWatch для мониторинга.
    3. Простота развёртывания: Упрощённая настройка с помощью скриптов AWS CDK и оптимизированные процессы развёртывания.
    4. Производительность: используй управляемую инфраструктуру Amazon SageMaker для выполнения масштабных задач инференса.
  • Да, ты можешь настроить логику инференса YOLO26 на Amazon SageMaker:

    1. Измени inference.py: Найди функцию output_fn в файле inference.py и настрой её, чтобы изменить форматы выходных данных.

      import json
      
      def output_fn(prediction_output, content_type):
          """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints."""
          infer = {}
          for result in prediction_output:
              if result.boxes is not None:
                  infer["boxes"] = result.boxes.numpy().data.tolist()
              # При необходимости добавь дополнительную логику обработки
          return json.dumps(infer)
    2. Разверни обновлённую модель: Чтобы применить изменения, повторно разверни модель с помощью предоставленных блокнотов Jupyter (1_DeployEndpoint.ipynb).

    Инструкции по развёртыванию изменённой модели см. в подробном руководстве.

  • Чтобы протестировать развёрнутую модель YOLO26 на Amazon SageMaker:

    1. Открой тестовый блокнот: Найди блокнот 2_TestEndpoint.ipynb в среде SageMaker Jupyter.
    2. Запусти блокнот: Следуй инструкциям в блокноте, чтобы отправить изображение на конечную точку, выполнить инференс и отобразить результаты.
    3. Визуализация результатов: используй код построения графиков в ноутбуке, чтобы нарисовать предсказанные ограничивающие рамки на тестовом изображении.

    Подробные инструкции по тестированию см. в разделе тестирования.

Комментарии10

Задай вопрос, поделись результатами или помоги кому-нибудь.

  1. User

    I want to upload the YOLOv8 model I trained on my own dataset to Jupyter, and then compress it into a model.tar.gz file following the official deployendpoint steps. However, when I use testendpoint, I encounter an error. If I rename my trained model to yolov8, the test succeeds, but it uses the original model from the official website instead of my custom one. How should I modify inference.py to ensure it loads my trained model?

    1
    1. User

      Thank you for your answer. I had followed the 1_DeployEndpoint.ipynb to delpoy my own model. In the 1.4 Create the SageMaker PyTorchModel, I had set the env={'TS_MAX_RESPONSE_SIZE':'20000000', 'MY_MODEL': 'my_own_model'}. And in the inference.py:

      def model_fn(model_dir):
          print("Executing model_fn from inference.py ...")
          env = os.environ
          model = YOLO(os.path.join(model_dir, env['MY_MODEL']))
          return model

      I think it will be use my own model directly. But it failed, and it occur this problem:

      ModelError: An error occurred (ModelError) when calling the InvokeEndpoint operation: Received server error (0)from primary with message "Your invocation timed out while waiting for a response from container primary. Reviewthe latency metrics for each container in Amazon Cloudatch, resolve the issue, and try again.". See https://useast-1. console. aws. aazon. com/cloudwatch/home?region=us-east-1#logEventViewer: group=/aws/sagemaker Endpoints/yolov8-pytorch-2024-09-06-11-33-49-418696 in account 211125332801 for more information.

      Could you tell me how to modify the inference.py to load my own model. Thank you so much.

    2. Glenn JocherUltralytics

      To ensure your custom YOLOv8 model is used, verify that the model_fn in inference.py correctly points to your model's path. Ensure the MY_MODEL environment variable matches your model's filename. If issues persist, check CloudWatch logs for detailed error messages. For further guidance, refer to the Ultralytics documentation on Amazon SageMaker.

  2. SJTUPandaGitHub

    Thanks for your sharing, it's very clear and useful. My own deployment workflow on AWS has already built but the test result is not so satisfying. The performance of detection result of yolo11-xl on AWS is worse than on my own laptop. I not sure if there is some default quantization when it's deployed to the AWS(I did not modified much to host-yolov8-on-sagemaker-endpoint), or do you have some other ideas about which would bring this significant performance differences?

    1. Glenn JocherUltralytics

      @SJTUPanda thank you for your feedback! The performance difference could stem from several factors like hardware disparities (AWS instance vs laptop GPU), inference settings, or environment configurations. First, verify that your SageMaker instance type matches your local hardware capabilities, and ensure identical inference parameters (e.g., imgsz, batch). Check our Amazon SageMaker deployment guide for optimization tips and consider profiling both environments with yolo val to isolate bottlenecks. Let us know if specific metrics differ! 🚀

    2. SJTUPandaGitHub

      Thanks for your quick reply. The issue is fixed after I comment out resize related code. Although the model is trained with (640,640) and the input image size is (720,440), using the raw images directly as input is better than resized it. I am curious the input images would be auto-resized by the model just as in the training/testing part? And why resized by myself has so much impact on the results? If these part code should be update because yolo version updating?

      image_height, image_width, _ = orig_image.shape
      model_height, model_width = 640, 640
      x_ratio = image_width/model_width
      y_ratio = image_height/model_height
      
      # Resize the image as numpy array
      resized_image = cv2.resize(orig_image, (model_height, model_width))
      # Conver the array into jpeg
      resized_jpeg = cv2.imencode('.jpg', resized_image)[1]
      # Serialize the jpg using base 64
      payload = base64.b64encode(resized_jpeg).decode('utf-8')
    3. Glenn JocherUltralytics

      Thank you for sharing your findings! YOLO models do automatically resize inputs to match their training dimensions while preserving aspect ratio with letterboxing. Manual resizing can distort aspect ratios or introduce artifacts, potentially degrading performance. We recommend using the model's native preprocessing by feeding full-size images directly, as this maintains proper scaling and aspect ratio handling. For implementation details, refer to our model deployment best practices regarding input consistency.

    1. Glenn JocherUltralytics

      Olá! 👋 Os recursos mencionados para implementar o YOLOv8 no Amazon SageMaker não são pagos por si só. No entanto, o uso do Amazon SageMaker e outros serviços da AWS associados à implementação e execução do modelo podem incorrer em custos conforme o uso. A AWS oferece uma camada gratuita que você pode aproveitar para experimentar alguns serviços sem custo, mas é sempre bom verificar a página de preços do SageMaker para detalhes específicos. Se precisar de ajuda para estimar os custos ou tiver outras dúvidas, estou aqui para ajudar! 🚀