Deployment#

Ultralytics Platform cung cấp các tùy chọn triển khai model toàn diện để đưa các model YOLO của bạn vào môi trường production. Kiểm thử model bằng inference trên trình duyệt, triển khai lên các endpoint chuyên dụng tại 42 khu vực trên toàn cầu và theo dõi hiệu suất theo thời gian thực.

Tổng quan#

Phần Triển khai giúp bạn:

• Kiểm thử model trực tiếp trên trình duyệt bằng tab Predict
• Triển khai lên các endpoint chuyên dụng tại 42 khu vực trên toàn cầu
• Giám sát các chỉ số yêu cầu, nhật ký, kiểm tra tình trạng hoạt động và dự đoán tạm thời trên các endpoint có trả phí
• Chọn tài nguyên: các endpoint mặc định tự động scale về 0; các kích thước tùy chỉnh giữ một instance luôn ấm với chi phí tính theo thời gian hoạt động

Tùy chọn triển khai#

Ultralytics Platform cung cấp nhiều phương thức triển khai:

Workflow#

graph LR
    A[✅ Test]:::start --> B[⚙️ Configure]:::proc
    B --> C[🌐 Deploy]:::proc
    C --> D[📊 Monitor]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

Kiến trúc#

Shared Inference#

Service shared inference chạy tại 3 khu vực chính. Request đến một model được định tuyến đến service tại khu vực dữ liệu của model đó, vì vậy kết quả vẫn nằm trong khu vực lưu trữ model:

graph TB
    User[User Request]:::start --> API[Platform API]:::proc
    API --> Router{Model Data Region}:::decide
    Router -->|US models| US["US Predict Service<br/>Iowa"]:::out
    Router -->|EU models| EU["EU Predict Service<br/>Belgium"]:::out
    Router -->|AP models| AP["AP Predict Service<br/>Taiwan"]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

Dedicated Endpoints#

Triển khai lên 42 khu vực trên toàn thế giới trên Ultralytics Cloud:

• Châu Mỹ: 14 khu vực
• Châu Âu: 13 khu vực
• Châu Á - Thái Bình Dương: 12 khu vực
• Trung Đông & Châu Phi: 3 khu vực

Mỗi endpoint là một service single-tenant với:

• CPU và bộ nhớ có thể cấu hình với mức giá hiển thị trước khi deployment
• Scale về 0 đối với tài nguyên mặc định; một instance ấm, tính phí theo thời gian hoạt động đối với tài nguyên tùy chỉnh
• URL endpoint riêng cùng tài liệu tham chiếu API tương tác riêng tại /docs
• Liên kết API key riêng, để chỉ key đó có thể gọi endpoint
• Monitoring, log và kiểm tra tình trạng hoạt động độc lập

Trang Deployments#

Truy cập trang deployments toàn cầu từ thanh bên trong Deploy. Trang này hiển thị:

• Bản đồ thế giới với các ghim khu vực đã triển khai; nhấp vào một khu vực để mở hộp thoại New Deployment
• Thẻ tổng quan: HTTP Requests (24h), Active Deployments, HTTP Error Rate (24h), HTTP P95 Latency (24h)
• Danh sách deployments với ba chế độ xem: thẻ, thu gọn và bảng
• Nút New Deployment để tạo endpoint từ bất kỳ model nào đã hoàn tất
• Nút Refresh và timestamp Updated trong header của trang

Tính năng chính#

Phạm vi toàn cầu#

Triển khai gần người dùng của bạn tại 42 khu vực bao phủ:

• Bắc Mỹ, Nam Mỹ
• Châu Âu, Trung Đông, Châu Phi
• Châu Á - Thái Bình Dương, Châu Đại Dương

Cơ chế scaling#

Các endpoint hiện hoạt động như sau:

• Tài nguyên mặc định: các endpoint không hoạt động sẽ scale xuống 0 và khởi động lạnh ở yêu cầu tiếp theo
• Tài nguyên tùy chỉnh: một instance duy trì trạng thái ấm và tính phí thời gian hoạt động cho đến khi bị dừng
• Một instance đang hoạt động: mỗi endpoint hiện phục vụ từ một instance trên tất cả các plan
• Load shedding: các request nhận phản hồi 429 khi endpoint tạm thời đạt giới hạn capacity — xem Direct Endpoint Requests
• Thời gian chờ yêu cầu: các yêu cầu endpoint trực tiếp có thời lượng tối đa là 1 giờ; xem phần Inference để biết các đầu vào được hỗ trợ

Triển khai theo khu vực#

Sử dụng độ trễ theo khu vực đã đo để đặt endpoint gần các client gọi đến. Độ trễ inference thực tế phụ thuộc vào model, kích thước input, trạng thái endpoint và đường truyền mạng.

Kiểm tra tình trạng hoạt động#

Mỗi deployment đang chạy đều có kiểm tra tình trạng hoạt động tự động với:

• Chỉ báo trạng thái trực tiếp (healthy/unhealthy)
• Hiển thị độ trễ phản hồi
• Tự động retry khi unhealthy và dừng khi đã healthy
• Nút refresh thủ công

Bắt đầu nhanh#

Tạo một deployment:

1. Train hoặc upload một model vào project
2. Đi đến tab Deploy của model
3. Nhấp vào Deploy cho một khu vực trong bảng độ trễ
4. Xem lại CPU, bộ nhớ, bảng giá và tên trong hộp thoại deployment
5. Nhấp vào Create Deployment và đợi trạng thái deployment chuyển thành Ready

Model → Deploy tab → Deploy in a region → Review configuration → Create Deployment

Liên kết nhanh#

• Inference: Kiểm thử model trên trình duyệt
• Endpoints: Triển khai các endpoint chuyên dụng
• Monitoring: Theo dõi hiệu năng deployment

FAQ#