Agents#
Agents kết nối hình ảnh, model, điều kiện và hành động trong một quy trình trực quan. Dùng YOLO để xác định hình ảnh nào cần xem xét kỹ hơn, yêu cầu model thị giác-ngôn ngữ giải thích hình ảnh hoặc thu thập các hình ảnh đã chọn vào dataset để đánh giá.
Mở Agents trên thanh bên hoặc truy cập platform.ultralytics.com/agents. Agents hiển thị trên thanh bên với mọi người dùng đã đăng nhập, trong cả không gian làm việc cá nhân lẫn nhóm, và không cần bật cài đặt Early access.
Chạy quy trình đầu tiên#
- Mở Agents, nhấp vào Add block > Templates, rồi chọn YOLO → VLM Monitor.
- Chọn khối Input image, chọn một dataset đã tải lên, rồi chọn hình ảnh có người. Đối với bản dùng thử dùng chung, hãy sử dụng hình ảnh có kích thước tối đa 4 megapixel.
- Giữ nguyên model nano YOLO26 mặc định. Điều kiện được thỏa mãn khi YOLO phát hiện ít nhất một người.
- Chọn Describe the scene, chọn một model thị giác-ngôn ngữ và nhập prompt. Nếu chưa thực hiện, hãy thêm khóa của nhà cung cấp tương ứng trong Settings > API Keys. Trong không gian làm việc nhóm, hãy yêu cầu chủ sở hữu không gian làm việc thêm hoặc thay thế khóa của nhà cung cấp.
- Giữ lựa chọn Shared trial · 60 seconds cho lần chạy nhỏ, sau đó nhấp vào Run.
- Theo dõi các khối cập nhật và kiểm tra Output. Nếu không phát hiện thấy người nào, điều kiện sẽ hoàn tất mà không chạy nhánh mô tả.
Bạn có thể chạy bản nháp trước khi lưu. Dùng Save workflow để đặt tên và lưu quy trình để sử dụng sau, rồi lưu lại sau khi thay đổi. Nút Python hiển thị mã quy trình được tạo.
Bắt đầu bằng mẫu#
| Mẫu | Quy trình | Phù hợp để |
|---|---|---|
| YOLO → VLM Monitor | Hình ảnh → YOLO → điều kiện → model thị giác-ngôn ngữ → Đầu ra | Mô tả cảnh chỉ khi phát hiện thấy người |
| Collect Uncertain Detections | Dataset → Triển khai → điều kiện độ tin cậy → Dataset | Tạo tập đánh giá từ hình ảnh có kết quả phát hiện không chắc chắn |
| Capture and Alert | Hình ảnh → YOLO → điều kiện → Dataset và Slack | Lưu hình ảnh và gửi thông báo đến một kênh dựa trên cùng một điều kiện |
Các mẫu là điểm khởi đầu có thể chỉnh sửa. Trước khi chạy, hãy chọn hình ảnh, deployment, dataset đích và các tích hợp phù hợp với không gian làm việc của bạn. Các quy trình này chạy khi bạn nhấp vào Run; mẫu Monitor phân tích hình ảnh đầu vào đã chọn.
Chọn nơi chạy#
Bộ chọn thực thi bên cạnh Run dùng để chọn phần cứng cho quy trình.
| Lựa chọn | Dùng cho | Giới hạn và giá |
|---|---|---|
| Shared trial · 60 seconds | Dùng thử một quy trình nhỏ | Tối đa 60 giây, tổng cộng 20 hình ảnh đầu vào, mỗi hình ảnh tối đa 4 megapixel và 20 lượt gọi model/nhà cung cấp; một model YOLO cục bộ, sử dụng model nano YOLO26 chính thức |
| Existing dedicated deployment | Dataset lớn hơn, thời gian chạy lâu hơn hoặc các model cục bộ khác | Sử dụng phần cứng và mức giá hiện có của deployment đó, bao gồm cả deployment chuyên dụng miễn phí đủ điều kiện; không giới hạn tổng thời lượng quy trình hoặc số lượng hình ảnh |
| New deployment… | Tạo phần cứng chuyên dụng từ trình tạo | Mở hộp thoại tạo deployment và định giá hiện có; chọn tài nguyên và chờ đến khi deployment sẵn sàng |
Bản dùng thử dùng chung cho phép ba lần chạy mỗi phút; các lần chạy trên deployment chuyên dụng không bị giới hạn tốc độ. Các lần chạy trên Platform hỗ trợ tối đa 20 khối. Lượt gọi model/nhà cung cấp bao gồm YOLO, model thị giác-ngôn ngữ, dự đoán từ deployment và hành động Slack và Webhook; việc phân nhánh có thể làm tăng số lượt gọi trên mỗi hình ảnh đầu vào.
Các lần chạy chuyên dụng tiếp tục bằng những yêu cầu có lưu checkpoint trên deployment đã chọn. Đóng hoặc tải lại trình duyệt không dừng lần chạy. Giới hạn hiện có của deployment và nhà cung cấp vẫn được áp dụng, còn mức sử dụng model ngôn ngữ được nhà cung cấp gắn với khóa của bạn tính phí. Xem giá deployment để biết các tùy chọn phần cứng.
Khối Deployment chọn endpoint được dùng cho một bước dự đoán. Bộ chọn thực thi chọn nơi chạy chính quy trình. Bạn có thể chọn cùng một deployment chuyên dụng cho cả hai.
Cấu hình các khối#
| Khối | Mục đích |
|---|---|
| Image | Tải lên hình ảnh hoặc video được lấy mẫu thành tối đa 10 khung hình theo mặc định, hoặc chọn một hình ảnh từ dataset đã tải lên |
| Dataset không có kết nối đầu vào | Đọc hình ảnh từ dataset và tập con đã chọn, với giới hạn đầu vào có thể cấu hình |
| YOLO | Chạy model chính thức hoặc model đã huấn luyện từ không gian làm việc |
| Deployment | Dự đoán thông qua deployment Platform hiện có và đã sẵn sàng |
| LLM | Gửi hình ảnh và ngữ cảnh từ các khối trước đó đến model ngôn ngữ hoặc thị giác-ngôn ngữ đã chọn |
| Gate | Điều khiển quá trình thực thi ở các khối tiếp theo bằng điều kiện hoặc chu kỳ |
| Dataset có kết nối đầu vào | Thêm hình ảnh đầu vào vào dataset đích |
| Slack | Gửi tin nhắn đến kênh Slack đã kết nối của không gian làm việc |
| Webhook | POST phần nội dung JSON đến endpoint HTTPS |
| Xuất | Xuất model bằng quy trình xuất hiện có của Platform |
| Output | Hiển thị kết quả từ các khối trước đó |
Chọn một khối để chỉnh sửa cài đặt. Kết nối đầu ra với một khối khác để chuyển kết quả đến khối tiếp theo. Một đầu ra có thể kết nối với nhiều khối: ví dụ, kết nối một điều kiện với cả dataset đích lẫn Slack. Mỗi nhánh sử dụng cùng một điều kiện đã được đánh giá.
Lọc kết quả phát hiện bằng điều kiện#
Dùng cùng khối Gate cho số lượng kết quả phát hiện và bộ lọc độ tin cậy. Chọn kết quả từ khối trước đó, mọi lớp hoặc một lớp cụ thể, cùng phép so sánh. Ví dụ:
- Số người ≥ 1: tiếp tục khi phát hiện thấy ít nhất một người.
- Độ tin cậy từ 0.25 đến 0.5: tiếp tục khi có ít nhất một kết quả phát hiện phù hợp nằm trong khoảng bao gồm cả hai đầu mút.
- Một lớp cụ thể trong khoảng độ tin cậy: chỉ thu thập các kết quả phát hiện không chắc chắn của lớp đó.
Bộ lọc độ tin cậy kiểm tra từng kết quả phát hiện. Hình ảnh có các điểm số 0.3 và 0.9 thỏa mãn khoảng 0.25–0.5 vì có một kết quả phát hiện phù hợp. Hình ảnh không có kết quả phát hiện sẽ không thỏa mãn điều kiện độ tin cậy. Đặt ngưỡng độ tin cậy của model dự đoán đủ thấp để giữ lại các kết quả phát hiện bạn muốn đánh giá.
Điều kiện không khớp sẽ hoàn tất mà không có đầu ra ở các khối tiếp theo. Các hành động được kết nối với điều kiện sẽ không chạy cho hình ảnh đó.
Thu thập hình ảnh để đánh giá#
Mở Collect Uncertain Detections, chọn dataset nguồn và tập con, chọn deployment dự đoán của bạn, rồi cấu hình khoảng độ tin cậy. Chọn một dataset đích hiện có trong khối Dataset cuối cùng. Nếu cần, trước tiên hãy tạo dataset từ trang Datasets.
Dataset đích nhận các hình ảnh gốc chưa gán nhãn trong tập con train. Các bản sao đã có sẽ được bỏ qua và áp dụng hạn mức lưu trữ dataset thông thường. Nhãn nguồn và dự đoán của model không được sao chép thành chú thích. Mở dataset đích trong trình chỉnh sửa chú thích hiện có để xem xét và gán nhãn các hình ảnh đã thu thập.
Sử dụng hình ảnh được lưu trữ mà không gian làm việc của bạn có thể truy cập và dataset đích mà bạn có thể chỉnh sửa. Không thể dùng dataset lưu trữ đám mây đã kết nối và dataset tại chỗ làm đích thu thập.
Gửi cảnh báo Slack có điều kiện#
Kết nối Slack trong Settings > Integrations, sau đó kết nối một điều kiện với khối Slack. Nhập tin nhắn và dùng {output} để đưa kết quả từ khối trước đó vào. Capture and Alert cũng kết nối cùng điều kiện đó với một dataset, nhờ vậy hình ảnh phù hợp sẽ được thu thập và tin nhắn được gửi đến kênh đã kết nối.
Tin nhắn Slack của quy trình được cấu hình trong khối. Những tin nhắn này tách biệt với các lựa chọn thông báo về huấn luyện, xuất và deployment trong Settings.
Gửi webhook#
Khối Webhook gửi một POST cho mỗi kết quả, kèm Content-Type: application/json, đến URL HTTPS công khai, vì vậy mọi dịch vụ chấp nhận yêu cầu JSON đều có thể nhận kết quả của một điều kiện. Nhập URL đích và nội dung JSON tối đa 10.000 ký tự, trong đó có {output} bên trong một chuỗi; nội dung này sẽ được thay bằng kết quả từ khối trước đó. Đây là khối cuối, không chấp nhận kết nối đầu ra. Không xử lý chuyển hướng, thời gian chờ kết nối là 5 giây và phản hồi không thuộc nhóm 2xx sẽ khiến khối thất bại.
Theo dõi tiến trình và dừng lần chạy#
Các khối đang hoạt động hiển thị vòng quay màu xanh lá. Khối đã hoàn tất có dấu kiểm và đường viền màu xanh lá; khối thất bại có đường viền màu đỏ. Các bộ đếm cho biết có bao nhiêu đầu vào đã đến từng khối; các khối tiếp theo vẫn chưa được thực thi khi điều kiện không khớp.
Tải lại trang sẽ khôi phục tiến trình của lần chạy và deployment thực thi đã chọn. Kết quả đã hoàn tất vẫn hiển thị cho quy trình tương ứng. Nhấp vào Stop để hủy lần chạy đang hoạt động; quá trình hủy sẽ chờ khối đang thực thi đến điểm có thể hủy. Dừng hoặc xóa deployment thực thi của quy trình cũng sẽ hủy quy trình.
Khắc phục sự cố#
- Lần chạy vượt quá giới hạn của bản dùng thử dùng chung: chọn deployment chuyên dụng, bao gồm deployment miễn phí đủ điều kiện, hoặc giảm độ phân giải hình ảnh, số lượng đầu vào và số lượt gọi model/nhà cung cấp.
- Deployment đang chuẩn bị hoặc đã dừng: chờ deployment sẵn sàng hoặc khởi chạy deployment từ Deployments.
- Thiếu khóa của nhà cung cấp: kết nối nhà cung cấp đã chọn trong Settings > API Keys. Trong không gian làm việc nhóm, hãy yêu cầu chủ sở hữu không gian làm việc thêm hoặc thay thế khóa.
- Không có hình ảnh nào đến được đích: kiểm tra điều kiện và ngưỡng độ tin cậy của dự đoán. Kết quả phát hiện trống không bao giờ thỏa mãn khoảng độ tin cậy.
- Hình ảnh đã thu thập không có nhãn: thao tác thu thập thêm hình ảnh gốc để đánh giá. Dùng các công cụ chú thích hiện có để gán nhãn cho hình ảnh.