Hướng dẫn triển khai YOLO26 trên Amazon SageMaker Endpoints#

Việc triển khai các mô hình computer vision tiên tiến như Ultralytics' YOLO26 trên Amazon SageMaker Endpoints mở ra nhiều khả năng cho các ứng dụng machine learning khác nhau. Chìa khóa để sử dụng các mô hình này hiệu quả nằm ở việc hiểu rõ các quy trình thiết lập, cấu hình và triển khai của chúng. YOLO26 thậm chí còn trở nên mạnh mẽ hơn khi được tích hợp liền mạch với Amazon SageMaker, một dịch vụ machine learning mạnh mẽ và có khả năng mở rộng cao của AWS.

Hướng dẫn này sẽ dẫn dắt bạn qua từng bước quy trình triển khai các mô hình PyTorch của YOLO26 trên Amazon SageMaker Endpoints. Bạn sẽ học các yếu tố cần thiết để chuẩn bị môi trường AWS, cấu hình mô hình phù hợp và sử dụng các công cụ như AWS CloudFormation và AWS Cloud Development Kit (CDK) để triển khai.

Amazon SageMaker#

Amazon SageMaker là một dịch vụ machine learning từ Amazon Web Services (AWS) giúp đơn giản hóa quá trình xây dựng, huấn luyện và triển khai các mô hình machine learning. Nó cung cấp một loạt các công cụ để xử lý các khía cạnh khác nhau của quy trình làm việc machine learning. Điều này bao gồm các tính năng tự động để tinh chỉnh mô hình, các tùy chọn để huấn luyện mô hình ở quy mô lớn và các phương pháp đơn giản để triển khai mô hình vào môi trường sản xuất. SageMaker hỗ trợ các framework machine learning phổ biến, mang lại sự linh hoạt cần thiết cho các dự án đa dạng. Các tính năng của nó cũng bao gồm gắn nhãn dữ liệu, quản lý quy trình làm việc và phân tích hiệu suất.

Triển khai YOLO26 trên Amazon SageMaker Endpoints#

Triển khai YOLO26 trên Amazon SageMaker cho phép bạn tận dụng môi trường được quản lý của nó cho việc suy luận (inference) thời gian thực và hưởng lợi từ các tính năng như tự động mở rộng (autoscaling). Hãy xem kiến trúc AWS dưới đây.

Bước 1: Thiết lập môi trường AWS của bạn#

Trước tiên, hãy đảm bảo bạn đã đáp ứng các yêu cầu tiên quyết sau:

• Tài khoản AWS: Nếu bạn chưa có, hãy đăng ký một tài khoản AWS.

• Vai trò IAM đã được cấu hình: Bạn sẽ cần một vai trò IAM với các quyền cần thiết cho Amazon SageMaker, AWS CloudFormation và Amazon S3. Vai trò này cần có các chính sách cho phép truy cập vào những dịch vụ này.

• AWS CLI: Nếu chưa được cài đặt, hãy tải xuống và cài đặt AWS Command Line Interface (CLI) và cấu hình nó với thông tin chi tiết tài khoản của bạn. Làm theo hướng dẫn AWS CLI để cài đặt.

• AWS CDK: Nếu chưa được cài đặt, hãy cài đặt AWS Cloud Development Kit (CDK), công cụ này sẽ được sử dụng để viết script triển khai. Làm theo hướng dẫn AWS CDK để cài đặt.

• Hạn mức dịch vụ đầy đủ: Xác nhận rằng bạn có đủ hạn mức cho hai tài nguyên riêng biệt trong Amazon SageMaker: một cho ml.m5.4xlarge để sử dụng endpoint và một cho ml.m5.4xlarge để sử dụng notebook instance. Mỗi tài nguyên này yêu cầu tối thiểu một giá trị hạn mức. Nếu hạn mức hiện tại của bạn thấp hơn yêu cầu này, điều quan trọng là phải yêu cầu tăng hạn mức cho từng tài nguyên. Bạn có thể yêu cầu tăng hạn mức bằng cách làm theo các hướng dẫn chi tiết trong tài liệu AWS Service Quotas.

Bước 2: Sao chép (clone) kho lưu trữ YOLO26 SageMaker#

Bước tiếp theo là sao chép kho lưu trữ AWS cụ thể chứa các tài nguyên để triển khai YOLO26 trên SageMaker. Kho lưu trữ này, được lưu trữ trên GitHub, bao gồm các tập lệnh CDK cần thiết và các tệp cấu hình.

• Sao chép kho lưu trữ GitHub: Thực thi lệnh sau trong terminal của bạn để sao chép kho lưu trữ host-yolov8-on-sagemaker-endpoint:

  git clone https://github.com/aws-samples/host-yolov8-on-sagemaker-endpoint.git

• Di chuyển đến thư mục đã sao chép: Chuyển thư mục làm việc của bạn vào kho lưu trữ vừa sao chép:

  cd host-yolov8-on-sagemaker-endpoint/yolov8-pytorch-cdk

Bước 3: Thiết lập môi trường CDK#

Bây giờ bạn đã có mã cần thiết, hãy thiết lập môi trường để triển khai bằng AWS CDK.

• Tạo môi trường ảo Python: Điều này giúp cách ly môi trường và các thư viện phụ thuộc Python của bạn. Chạy:

  python3 -m venv .venv

• Kích hoạt môi trường ảo:

  source .venv/bin/activate

• Cài đặt các thư viện phụ thuộc: Cài đặt các thư viện phụ thuộc Python bắt buộc cho dự án:

  pip3 install -r requirements.txt

• Nâng cấp thư viện AWS CDK: Đảm bảo bạn có phiên bản mới nhất của thư viện AWS CDK:

  pip install --upgrade aws-cdk-lib

Bước 4: Tạo AWS CloudFormation Stack#

• Tổng hợp (synthesize) ứng dụng CDK: Tạo mẫu AWS CloudFormation từ mã CDK của bạn:

  cdk synth

• Bootstrap ứng dụng CDK: Chuẩn bị môi trường AWS cho việc triển khai CDK:

  cdk bootstrap

• Triển khai Stack: Điều này sẽ tạo ra các tài nguyên AWS cần thiết và triển khai model của bạn:

  cdk deploy

Bước 5: Triển khai YOLO Model#

Trước khi đi sâu vào hướng dẫn triển khai, hãy nhớ xem qua các mô hình YOLO26 được cung cấp bởi Ultralytics. Điều này sẽ giúp bạn chọn mô hình phù hợp nhất cho các yêu cầu dự án của mình.

Sau khi tạo AWS CloudFormation Stack, bước tiếp theo là triển khai YOLO26.

• Mở Notebook Instance: Truy cập AWS Console và điều hướng đến dịch vụ Amazon SageMaker. Chọn "Notebook Instances" từ bảng điều khiển, sau đó tìm notebook instance đã được tạo bởi tập lệnh triển khai CDK của bạn. Mở notebook instance để truy cập môi trường Jupyter.

• Truy cập và sửa đổi inference.py: Sau khi mở notebook instance SageMaker trong Jupyter, hãy tìm tệp inference.py. Chỉnh sửa hàm output_fn trong inference.py như hình dưới đây và lưu các thay đổi vào tập lệnh, đảm bảo rằng không có lỗi cú pháp.

  import json
  
  def output_fn(prediction_output):
      """Formats model outputs as JSON string, extracting attributes like boxes, masks, keypoints."""
      print("Executing output_fn from inference.py ...")
      infer = {}
      for result in prediction_output:
          if result.boxes is not None:
              infer["boxes"] = result.boxes.numpy().data.tolist()
          if result.masks is not None:
              infer["masks"] = result.masks.numpy().data.tolist()
          if result.keypoints is not None:
              infer["keypoints"] = result.keypoints.numpy().data.tolist()
          if result.obb is not None:
              infer["obb"] = result.obb.numpy().data.tolist()
          if result.probs is not None:
              infer["probs"] = result.probs.numpy().data.tolist()
      return json.dumps(infer)

• Triển khai Endpoint bằng 1_DeployEndpoint.ipynb: Trong môi trường Jupyter, mở notebook 1_DeployEndpoint.ipynb nằm trong thư mục sm-notebook. Làm theo các hướng dẫn trong notebook và chạy các cell để tải xuống model YOLO26, đóng gói nó với mã suy luận (inference code) đã cập nhật và tải nó lên một bucket Amazon S3. Notebook sẽ hướng dẫn bạn tạo và triển khai một SageMaker endpoint cho model YOLO26.

Bước 6: Kiểm thử việc triển khai của bạn#

Bây giờ model YOLO26 của bạn đã được triển khai, điều quan trọng là phải kiểm tra hiệu năng và chức năng của nó.

• Mở Notebook Kiểm thử: Trong cùng môi trường Jupyter, tìm và mở notebook 2_TestEndpoint.ipynb, cũng nằm trong thư mục sm-notebook.

• Chạy Test Notebook: Làm theo các hướng dẫn trong notebook để kiểm tra endpoint SageMaker đã triển khai. Điều này bao gồm việc gửi một hình ảnh đến endpoint và chạy inference. Sau đó, bạn sẽ vẽ biểu đồ kết quả đầu ra để trực quan hóa hiệu suất và độ chính xác của mô hình, như được hiển thị bên dưới.

• Dọn dẹp tài nguyên: Notebook kiểm thử cũng sẽ hướng dẫn bạn quy trình dọn dẹp endpoint và model đã lưu trữ. Đây là một bước quan trọng để quản lý chi phí và tài nguyên hiệu quả, đặc biệt nếu bạn không có kế hoạch sử dụng model đã triển khai ngay lập tức.

Bước 7: Giám sát và quản lý#

Sau khi kiểm tra, việc giám sát và quản lý liên tục model đã triển khai của bạn là rất cần thiết.

• Giám sát bằng Amazon CloudWatch: Thường xuyên kiểm tra hiệu suất và tình trạng của endpoint SageMaker của bạn bằng cách sử dụng Amazon CloudWatch.

• Quản lý Endpoint: Sử dụng SageMaker console để quản lý endpoint liên tục. Điều này bao gồm mở rộng (scaling), cập nhật hoặc triển khai lại model khi cần.

Bằng cách hoàn thành các bước này, bạn sẽ triển khai và kiểm thử thành công một model YOLO26 trên Amazon SageMaker Endpoints. Quy trình này không chỉ trang bị cho bạn kinh nghiệm thực tế trong việc sử dụng các dịch vụ AWS cho việc triển khai machine learning mà còn đặt nền tảng cho việc triển khai các model tiên tiến khác trong tương lai.

Tóm tắt#

Hướng dẫn này đã đưa bạn qua từng bước để triển khai YOLO26 trên Amazon SageMaker Endpoints bằng cách sử dụng AWS CloudFormation và AWS Cloud Development Kit (CDK). Quy trình bao gồm việc sao chép kho lưu trữ GitHub cần thiết, thiết lập môi trường CDK, triển khai model bằng các dịch vụ AWS và kiểm thử hiệu năng của nó trên SageMaker.

Để biết thêm chi tiết kỹ thuật, hãy tham khảo bài viết này trên AWS Machine Learning Blog. Bạn cũng có thể xem Tài liệu Amazon SageMaker chính thức để có thêm hiểu biết sâu sắc về các tính năng và chức năng khác nhau.

Bạn có quan tâm đến việc tìm hiểu thêm về các tích hợp YOLO26 khác nhau không? Truy cập trang hướng dẫn tích hợp Ultralytics để khám phá các công cụ và tính năng bổ sung có thể nâng cao các dự án machine learning của bạn.

Câu hỏi thường gặp#