Triển khai

Nền tảng Ultralytics cung cấp các tùy chọn triển khai toàn diện để đưa... YOLO Đưa các mô hình vào sản xuất. Kiểm thử các mô hình bằng suy luận dựa trên trình duyệt, triển khai đến các điểm cuối chuyên dụng trên 43 khu vực toàn cầu và giám sát hiệu suất trong thời gian thực.

Tổng quan

Phần Triển khai giúp bạn:

• Kiểm thử các mô hình trực tiếp trong trình duyệt với Predict tab
• Triển khai đến các điểm cuối chuyên dụng tại 43 khu vực toàn cầu
• Theo dõi các chỉ số yêu cầu, nhật ký và kiểm tra trạng thái hoạt động.
• Tự động điều chỉnh quy mô theo lưu lượng truy cập (bao gồm cả chế độ giảm quy mô về 0)

Tùy chọn triển khai

Ultralytics Platform cung cấp nhiều lộ trình triển khai:

Quy trình làm việc

graph LR
    A[✅ Test] --> B[⚙️ Configure]
    B --> C[🌐 Deploy]
    C --> D[📊 Monitor]

    style A fill:#4CAF50,color:#fff
    style B fill:#2196F3,color:#fff
    style C fill:#FF9800,color:#fff
    style D fill:#9C27B0,color:#fff

Kiến trúc

Suy luận dùng chung

Dịch vụ suy luận dùng chung hoạt động ở 3 khu vực chính, tự động định tuyến yêu cầu dựa trên khu vực dữ liệu của bạn:

graph TB
    User[User Request] --> API[Platform API]
    API --> Router{Region Router}
    Router -->|US users| US["US Predict Service<br/>Iowa"]
    Router -->|EU users| EU["EU Predict Service<br/>Belgium"]
    Router -->|AP users| AP["AP Predict Service<br/>Hong Kong"]

    style User fill:#f5f5f5,color:#333
    style API fill:#2196F3,color:#fff
    style Router fill:#FF9800,color:#fff
    style US fill:#4CAF50,color:#fff
    style EU fill:#4CAF50,color:#fff
    style AP fill:#4CAF50,color:#fff

Điểm cuối chuyên dụng

Triển khai tại 43 khu vực trên toàn thế giới. Ultralytics Đám mây:

• Châu Mỹ : 14 khu vực
• Châu Âu : 13 khu vực
• Châu Á - Thái Bình Dương : 12 khu vực
• Trung Đông & Châu Phi : 4 khu vực

Mỗi điểm cuối là một dịch vụ đơn người thuê với:

• Tài nguyên tính toán chuyên dụng (có thể cấu hình) CPU và bộ nhớ)
• Tự động điều chỉnh tỷ lệ (về 0 khi không hoạt động)
• URL điểm cuối duy nhất
• Giám sát độc lập, nhật ký và kiểm tra sức khỏe.

Trang triển khai

Truy cập trang triển khai toàn cầu từ thanh bên bên dưới. DeployTrang này hiển thị:

• Bản đồ thế giới với các điểm đánh dấu khu vực đã được triển khai (bản đồ tương tác)
• Các thẻ tổng quan : Tổng số yêu cầu (24h), Số lượng triển khai đang hoạt động, Tỷ lệ lỗi (24h), Độ trễ P95 (24h)
• Danh sách triển khai với ba chế độ xem: thẻ, thu gọn và bảng.
• Nút "Triển khai mới" để tạo các điểm cuối từ bất kỳ mô hình nào đã hoàn thành.

Các tính năng chính

Phạm vi toàn cầu

Triển khai gần người dùng của bạn với 43 khu vực bao phủ:

• Bắc Mỹ, Nam Mỹ
• Châu Âu, Trung Đông, Châu Phi
• Châu Á Thái Bình Dương, Châu Đại Dương

Tự động điều chỉnh quy mô

Các điểm cuối tự động điều chỉnh quy mô:

• Về mức 0 : Không tốn chi phí khi ở trạng thái chờ (mặc định)
• Mở rộng quy mô : Tự động xử lý các đợt tăng đột biến lưu lượng truy cập.

Độ trễ thấp

Các điểm cuối chuyên dụng cung cấp:

• Khởi động nguội: ~5-15 giây (container được lưu vào bộ nhớ cache), lên đến ~45 giây (lần triển khai đầu tiên)
• Suy luận nóng: 50-200ms (tùy thuộc vào mô hình)
• Định tuyến theo khu vực để đạt hiệu suất tối ưu

Khám sức khỏe

Mỗi lần triển khai đều bao gồm một bước kiểm tra trạng thái tự động với các bước sau:

• Chỉ báo trạng thái trực tiếp (khỏe mạnh/không khỏe mạnh)
• Hiển thị độ trễ phản hồi
• Tự động thử lại khi hệ thống không ổn định (kiểm tra mỗi 20 giây)
• Nút làm mới thủ công

Bắt đầu nhanh

Triển khai mô hình chỉ trong vòng chưa đầy 2 phút:

1. Huấn luyện hoặc tải mô hình lên dự án
2. Vào tab Triển khai của mô hình.
3. Chọn một khu vực từ bảng độ trễ.
4. Nhấp vào Triển khai — điểm cuối của bạn đã hoạt động.

Model → Deploy tab → Select region → Click Deploy → Endpoint URL ready

Liên kết nhanh

• Suy luận: Kiểm tra mô hình trong trình duyệt
• Điểm cuối: Triển khai các điểm cuối chuyên dụng
• Giám sát: Theo dõi hiệu suất triển khai

Câu hỏi thường gặp

Sự khác biệt giữa suy luận dùng chung và suy luận chuyên dụng là gì?

Việc triển khai mất bao lâu?

Triển khai điểm cuối chuyên dụng thường mất 1-2 phút:

1. Kéo ảnh (~30 giây)
2. Khởi động container (~30 giây)
3. Kiểm tra tình trạng (~30 giây)

Tôi có thể triển khai nhiều mô hình không?

Có, mỗi mô hình có thể có nhiều điểm cuối ở các khu vực khác nhau. Không có giới hạn về tổng số điểm cuối (tùy thuộc vào gói của bạn).

Điều gì xảy ra khi một điểm cuối không hoạt động?

Khi bật tính năng tự động giảm về 0:

• Điểm cuối giảm quy mô sau khi không hoạt động
• Yêu cầu đầu tiên kích hoạt khởi động nguội
• Các yêu cầu tiếp theo sẽ nhanh

Các yêu cầu đầu tiên sau một khoảng thời gian không hoạt động sẽ kích hoạt quá trình khởi động nguội.

📅 Được tạo 1 tháng trước ✍️ Cập nhật 5 ngày trước

Bình luận