Inference#

Ultralytics Platform cung cấp tính năng inference trên trình duyệt để kiểm thử các model đã được train và các endpoint chuyên dụng để truy cập bằng code.

Tab Predict#

Mỗi model có weights đều bao gồm tab Predict để thực hiện inference trên trình duyệt:

1. Đi đến model của bạn
2. Nhấp vào tab Predict
3. Upload một hình ảnh, sử dụng ví dụ hoặc mở webcam
4. Xem overlay theo task, tóm tắt dự đoán, thời gian xử lý và response thô

Các model không có weights sẽ hiển thị trạng thái trống — trước tiên hãy train model hoặc upload weights.

Phương thức input#

Panel predict hỗ trợ nhiều phương thức input:

graph LR
    A[Upload Image]:::start --> D[Auto-Inference]:::proc
    B[Example Image]:::start --> D
    C[Webcam Capture]:::start --> D
    D --> E[Results + Overlays]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

Upload hình ảnh#

Kéo và thả hoặc nhấp để upload:

• Định dạng được hỗ trợ: JPEG, PNG, WebP, AVIF, HEIC, JP2, TIFF, BMP
• Kích thước tối đa: 10 MB
• Inference tự động: Kết quả tự động xuất hiện sau khi upload

Hình ảnh ví dụ#

Panel predict hiển thị tối đa hai hình ảnh ví dụ từ dataset được liên kết với model của bạn, ưu tiên split val, tiếp đến test, rồi train. Nếu không có dataset nào được liên kết, các ví dụ mặc định sẽ được sử dụng:

Đối với các model OBB, thay vào đó sẽ hiển thị hình ảnh trên không của thuyền và sân bay.

Webcam#

Nhấp vào thẻ webcam để bắt đầu luồng camera trực tiếp:

1. Cấp quyền camera khi được yêu cầu
2. Nhấp vào phần xem trước video để chụp một frame
3. Inference tự động chạy trên frame đã chụp
4. Nhấp lại để khởi động lại webcam

Xem kết quả#

Kết quả inference hiển thị output phù hợp với task của model: boxes, masks, keypoints, oriented boxes, điểm số classification, độ phủ semantic hoặc depth map. Kết quả đối tượng sử dụng màu của class trong dataset khi có sẵn. Panel cũng hiển thị thời gian preprocess, inference, postprocess và network.

Bảng kết quả hiển thị:

Sau khi có kết quả, hai control sẽ xuất hiện trên phần xem trước: nhấp vào hình ảnh để phóng to mà vẫn giữ nguyên overlay và sử dụng nút download để lưu JPEG có chú thích của kết quả hiện tại.

Tham số inference#

Điều chỉnh hành vi inference bằng ba thanh trượt bên dưới hình ảnh:

Ngưỡng confidence#

Lọc các dự đoán theo confidence:

• Cao hơn (0.5+): Ít dự đoán hơn nhưng chắc chắn hơn
• Thấp hơn (0.1-0.25): Nhiều dự đoán hơn, kèm một số nhiễu
• Mặc định (0.25): Cân bằng cho hầu hết trường hợp sử dụng

Ngưỡng IoU#

Điều khiển NMS:

• Cao hơn (0.7+): Cho phép nhiều box chồng lấn hơn
• Thấp hơn (0.3-0.5): Loại bỏ các detection chồng lấn mạnh hơn
• Mặc định (0.7): Hành vi NMS cân bằng cho hầu hết trường hợp sử dụng

Predict khi deployment#

Mỗi dedicated endpoint đang chạy đều bao gồm một tab Predict ngay trên thẻ deployment. Tab này sử dụng inference service riêng của deployment thay vì predict service dùng chung, cho phép bạn kiểm thử endpoint đã triển khai từ trình duyệt.

Trên một endpoint trả phí có bật tính năng giám sát, các ảnh đã xử lý cũng góp phần vào Monitoring tab. Các ví dụ lấy mẫu và biểu đồ tổng hợp của Monitoring tab là dữ liệu tạm thời, dung lượng nhẹ được lưu trong bộ nhớ; việc dừng, khởi động lại, triển khai lại, thay đổi kích thước hoặc thay thế model có thể xóa chúng. Hãy lưu các ví dụ vào một dataset để giữ lại chúng.

API của dedicated endpoint#

Thẻ API Docs trong tab Predict của model chứa các request mẫu bằng Python, JavaScript và cURL, được điền sẵn confidence, IoU và kích thước hình ảnh hiện đang thiết lập trên các thanh trượt. URL và key là các placeholder cho đến khi bạn deploy model — nút Deploy bên cạnh các tab code sẽ chuyển đến tab Deploy của model. Sau khi deployment hoàn tất, tab Code của thẻ deployment sẽ điền URL của endpoint đó và, đối với chủ workspace, API key được liên kết, sẵn sàng để sao chép và chạy.

Xác thực#

Đưa API key vào các request:

Authorization: Bearer YOUR_API_KEY

Endpoint#

Dedicated endpoint nhận request tại URL riêng của chúng:

POST https://YOUR_DEPLOYMENT_URL.run.app/predict

Inference dùng chung sử dụng Platform API với full path của model:

POST https://platform.ultralytics.com/api/models/{owner}/{project}/{model}/predict

Cả hai đều chấp nhận cùng một body multipart/form-data và trả về cùng một dạng response. Với Python SDK, sử dụng client.models.predict(owner, project, model, body=...) cho inference dùng chung hoặc client.deployments.predict(owner, deployment, body=...) cho deployment chuyên dụng:

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
with open("image.jpg", "rb") as f:
    results = client.models.predict("acme-vision", "inspection", "v3", body={"file": f, "conf": 0.25})

Request#

import requests

url = "https://YOUR_DEPLOYMENT_URL.run.app/predict"
headers = {"Authorization": "Bearer YOUR_API_KEY"}
data = {"conf": 0.25, "iou": 0.7, "imgsz": 640}

with open("image.jpg", "rb") as image_file:
    response = requests.post(url, headers=headers, files={"file": image_file}, data=data)
print(response.json())

Tham số request#

Response#

{
    "images": [
        {
            "shape": [1080, 1920],
            "results": [
                {
                    "class": 0,
                    "name": "person",
                    "confidence": 0.92,
                    "box": { "x1": 100, "y1": 50, "x2": 300, "y2": 400 }
                },
                {
                    "class": 2,
                    "name": "car",
                    "confidence": 0.87,
                    "box": { "x1": 400, "y1": 200, "x2": 600, "y2": 350 }
                }
            ],
            "speed": {
                "preprocess": 1.2,
                "inference": 12.5,
                "postprocess": 2.3
            }
        }
    ],
    "metadata": {
        "imageCount": 1,
        "functionTimeAlive": 1284.51,
        "functionTimeCall": 0.018,
        "task": "detect",
        "version": {
            "ultralytics": "8.x.x",
            "torch": "2.6.0",
            "torchvision": "0.21.0",
            "python": "3.13.0"
        }
    }
}

Các trường phản hồi#

Phản hồi theo từng tác vụ#

Định dạng phản hồi thay đổi tùy theo tác vụ:

{
  "class": 0,
  "name": "person",
  "confidence": 0.92,
  "box": {"x1": 100, "y1": 50, "x2": 300, "y2": 400}
}

Giới hạn tốc độ#

Shared model API bị giới hạn ở 20 request/phút cho mỗi API key, caller đã đăng nhập hoặc IP ẩn danh. Khi bị giới hạn tốc độ, API trả về 429 cùng với header Retry-After. Xem đầy đủ tài liệu tham khảo về giới hạn tốc độ để biết tất cả các nhóm endpoint.

Xử lý lỗi#

Các phản hồi lỗi thường gặp:

FAQ#