Agents#
Agents kết nối ảnh, model, điều kiện và hành động trong một workflow trực quan. Dùng YOLO để xác định ảnh nào cần xem kỹ hơn, yêu cầu model vision-language giải thích ảnh hoặc thu thập các ảnh đã chọn vào tập dữ liệu để xem xét.
Mở Agents trong thanh bên hoặc truy cập platform.ultralytics.com/agents. Agents xuất hiện trong thanh bên của mọi người dùng đã đăng nhập, trong cả workspace cá nhân và nhóm, mà không cần bật cài đặt Early access.
Chạy workflow đầu tiên#
- Mở Agents, nhấp Thêm khối > Mẫu và chọn YOLO → VLM Monitor.
- Chọn khối Ảnh đầu vào, chọn một tập dữ liệu đã tải lên rồi chọn ảnh có người. Với bản dùng thử dùng chung, hãy sử dụng ảnh có kích thước tối đa 4 megapixel.
- Giữ nguyên model nano YOLO26 mặc định. Điều kiện được đáp ứng khi YOLO phát hiện ít nhất một người.
- Chọn Mô tả cảnh, chọn model vision-language và nhập prompt. Nếu chưa thực hiện, hãy thêm API key của nhà cung cấp tương ứng trong Cài đặt > API Keys. Trong workspace nhóm, hãy yêu cầu chủ sở hữu workspace thêm hoặc thay thế API key của nhà cung cấp.
- Giữ nguyên lựa chọn Bản dùng thử dùng chung · 60 giây cho lần chạy nhỏ, sau đó nhấp Chạy.
- Theo dõi các khối cập nhật và kiểm tra Đầu ra. Nếu không phát hiện được người, điều kiện sẽ hoàn tất mà không chạy nhánh mô tả.
Bạn có thể chạy bản nháp trước khi lưu. Dùng Lưu workflow để đặt tên và lưu workflow để sử dụng sau, rồi lưu lại sau khi thay đổi. Nút Python hiển thị mã workflow được tạo.
Bắt đầu bằng mẫu#
| Mẫu | Workflow | Phù hợp cho |
|---|---|---|
| YOLO → VLM Monitor | Ảnh → YOLO → điều kiện → model vision-language → Đầu ra | Mô tả cảnh chỉ khi phát hiện được người |
| Thu thập các lượt phát hiện không chắc chắn | Tập dữ liệu → Deployment → điều kiện confidence → Tập dữ liệu | Tạo tập dữ liệu đánh giá từ ảnh có kết quả phát hiện không chắc chắn |
| Chụp và cảnh báo | Ảnh → YOLO → điều kiện → Tập dữ liệu và Slack | Lưu ảnh và gửi thông báo đến một channel từ cùng một điều kiện |
Các mẫu là điểm khởi đầu có thể chỉnh sửa. Trước khi chạy, hãy chọn ảnh, deployment, tập dữ liệu đích và tích hợp cho workspace của bạn. Các workflow này chỉ chạy khi bạn nhấp Chạy; mẫu Monitor phân tích ảnh đầu vào đã chọn.
Chọn nơi chạy#
Bộ chọn thực thi cạnh Chạy xác định phần cứng cho workflow.
| Lựa chọn | Sử dụng cho | Giới hạn và giá |
|---|---|---|
| Bản dùng thử dùng chung · 60 giây | Thử một workflow nhỏ | Tối đa 60 giây, tổng cộng 20 ảnh đầu vào, mỗi ảnh tối đa 4 megapixel, và 20 lần gọi model/nhà cung cấp; một model YOLO cục bộ, sử dụng model nano YOLO26 chính thức |
| Deployment chuyên dụng hiện có | Tập dữ liệu lớn hơn, thời gian chạy dài hơn hoặc các model cục bộ khác | Sử dụng phần cứng và mức giá hiện có của deployment đó, bao gồm deployment chuyên dụng miễn phí đủ điều kiện; không giới hạn tổng thời lượng workflow hoặc số lượng ảnh |
| Deployment mới… | Tạo phần cứng chuyên dụng từ trình dựng | Mở hộp thoại tạo deployment và định giá hiện có; chọn tài nguyên và chờ deployment sẵn sàng |
Bản dùng thử dùng chung cho phép ba lượt chạy mỗi phút; lượt chạy trên deployment chuyên dụng không bị giới hạn tốc độ. Lượt chạy Platform hỗ trợ tối đa 20 khối. Các lần gọi model/nhà cung cấp bao gồm YOLO, model vision-language, dự đoán từ deployment và hành động Slack cũng như Webhook; việc phân nhánh có thể làm tăng số lần gọi trên mỗi ảnh đầu vào.
Các lượt chạy chuyên dụng tiếp tục qua những request có checkpoint trên deployment đã chọn. Đóng hoặc tải lại trình duyệt không làm dừng lượt chạy. Các giới hạn hiện có của deployment và nhà cung cấp vẫn được áp dụng, còn mức sử dụng model ngôn ngữ được tính phí bởi nhà cung cấp liên kết với API key của bạn. Xem giá deployment để biết các tùy chọn phần cứng.
Khối Deployment chọn endpoint được dùng cho bước dự đoán. Bộ chọn thực thi xác định nơi chạy chính workflow. Bạn có thể chọn cùng một deployment chuyên dụng cho cả hai.
Cấu hình các khối#
| Khối | Mục đích |
|---|---|
| Ảnh | Tải ảnh lên hoặc tải video được lấy mẫu thành tối đa 10 frame theo mặc định, hoặc chọn một ảnh từ tập dữ liệu đã tải lên |
| Tập dữ liệu không có kết nối đầu vào | Đọc ảnh từ tập dữ liệu và split đã chọn, với giới hạn đầu vào có thể cấu hình |
| YOLO | Chạy model chính thức hoặc model đã huấn luyện từ workspace |
| Deployment | Thực hiện dự đoán thông qua deployment Platform hiện có và đã sẵn sàng |
| LLM | Gửi ảnh và ngữ cảnh từ các bước trước đến model ngôn ngữ hoặc vision-language đã chọn |
| Gate | Kiểm soát việc thực thi các bước tiếp theo bằng điều kiện hoặc chu kỳ |
| Tập dữ liệu có kết nối đầu vào | Thêm ảnh đầu vào vào tập dữ liệu đích |
| Slack | Gửi tin nhắn đến channel Slack đã kết nối của workspace |
| Webhook | POST gửi JSON body đến endpoint HTTPS |
| Export | Export model bằng workflow export hiện có của Platform |
| Đầu ra | Hiển thị kết quả từ bước trước |
Chọn một khối để chỉnh sửa cài đặt. Kết nối đầu ra với một khối khác để chuyển kết quả sang bước tiếp theo. Một đầu ra có thể kết nối với nhiều khối: ví dụ, kết nối một điều kiện với cả tập dữ liệu đích và Slack. Mỗi nhánh sử dụng cùng một điều kiện đã được đánh giá.
Lọc kết quả phát hiện bằng điều kiện#
Dùng cùng khối Gate cho bộ lọc số lượng kết quả phát hiện và confidence. Chọn kết quả từ bước trước, bất kỳ class nào hoặc một class cụ thể, rồi chọn phép so sánh. Ví dụ:
- Số lượng người ≥ 1: tiếp tục khi phát hiện được ít nhất một người.
- Confidence từ 0.25 đến 0.5: tiếp tục khi có ít nhất một kết quả phát hiện khớp nằm trong khoảng bao gồm cả hai đầu mút.
- Một class cụ thể trong khoảng confidence: chỉ thu thập các kết quả phát hiện không chắc chắn thuộc class đó.
Bộ lọc confidence kiểm tra từng kết quả phát hiện. Ảnh có các điểm số 0.3 và 0.9 sẽ đáp ứng phạm vi 0.25–0.5 vì có một kết quả phát hiện khớp. Ảnh không có kết quả phát hiện sẽ không đáp ứng điều kiện confidence. Đặt ngưỡng confidence của model dự đoán đủ thấp để giữ lại các kết quả phát hiện bạn muốn đánh giá.
Điều kiện không khớp sẽ hoàn tất mà không tạo đầu ra cho các bước tiếp theo. Các hành động được kết nối với điều kiện đó sẽ không chạy cho ảnh đó.
Thu thập ảnh để đánh giá#
Mở Thu thập các phát hiện chưa chắc chắn, chọn dataset nguồn và split, chọn deployment dự đoán, rồi cấu hình khoảng confidence. Chọn dataset đích hiện có trong khối Dataset cuối cùng. Nếu cần, hãy tạo dataset trước từ trang Datasets.
Các ảnh gốc chưa gán nhãn sẽ được đưa vào split train của dataset đích. Các bản sao đã tồn tại sẽ được bỏ qua và áp dụng hạn mức lưu trữ dataset thông thường. Nhãn nguồn và dự đoán của model không được sao chép thành annotation. Mở dataset đích trong trình chỉnh sửa annotation hiện có để xem xét và gán nhãn cho các ảnh đã thu thập.
Hãy sử dụng ảnh được lưu trữ mà workspace của bạn có thể truy cập và dataset đích mà bạn có quyền chỉnh sửa. Không thể dùng dataset kết nối với cloud storage và dataset on-premise làm đích thu thập.
Gửi cảnh báo Slack có điều kiện#
Kết nối Slack trong Settings > Integrations, sau đó nối một điều kiện với khối Slack. Nhập tin nhắn và dùng {output} để thêm kết quả từ upstream. Chụp ảnh và cảnh báo cũng nối chính điều kiện đó với một dataset, nhờ vậy ảnh khớp sẽ được thu thập và tin nhắn được gửi đến channel đã kết nối.
Tin nhắn Slack của workflow được cấu hình trong khối. Các tin nhắn này tách biệt với những lựa chọn thông báo về training, export và deployment trong Settings.
Gửi webhook#
Khối Webhook gửi một POST cho mỗi kết quả, kèm Content-Type: application/json, đến URL HTTPS công khai; do đó, mọi dịch vụ chấp nhận yêu cầu JSON đều có thể nhận kết quả của một điều kiện. Nhập URL đích và nội dung JSON tối đa 10.000 ký tự, trong đó có {output} nằm bên trong một chuỗi; nội dung này sẽ được thay bằng kết quả upstream. Khối này là khối kết thúc và không chấp nhận kết nối đầu ra. Không thực hiện theo redirect, kết nối hết thời gian chờ sau 5 giây và phản hồi không thuộc nhóm 2xx sẽ khiến khối thất bại.
Theo dõi tiến trình và dừng lượt chạy#
Các khối đang hoạt động hiển thị vòng quay màu xanh lá. Khối đã hoàn tất hiển thị dấu kiểm màu xanh lá và viền xanh lá; khối thất bại hiển thị viền đỏ. Số lượng cho biết có bao nhiêu đầu vào đã đến từng khối; các khối downstream sẽ không chạy nếu điều kiện không khớp.
Tải lại trang sẽ khôi phục tiến trình của lượt chạy và deployment thực thi đã chọn. Kết quả đã hoàn tất vẫn hiển thị cho workflow tương ứng. Nhấp Stop để hủy lượt chạy đang hoạt động; quá trình hủy chờ khối đang thực thi đến điểm có thể hủy. Dừng hoặc xóa deployment thực thi của lượt chạy cũng sẽ hủy workflow.
Quản lý Agents bằng API#
Agents API liệt kê, lưu và xóa agents bằng code; Python SDK cung cấp API này dưới dạng client.agents trong ultralytics-platform>=0.1.74. Thao tác lưu trả về cùng các lỗi khối mà canvas hiển thị. Các lượt chạy vẫn được khởi chạy từ canvas: mở agent đã lưu tại https://platform.ultralytics.com/agents?workflow={id} rồi nhấp Run.
Khắc phục sự cố#
- Lượt chạy vượt quá giới hạn dùng thử chung: chọn deployment chuyên dụng, bao gồm cả deployment miễn phí đủ điều kiện, hoặc giảm độ phân giải ảnh, số lượng đầu vào và số lần gọi model/nhà cung cấp.
- Deployment đang chuẩn bị hoặc đã dừng: chờ deployment sẵn sàng hoặc khởi chạy deployment từ Deployments.
- Thiếu khóa của nhà cung cấp: kết nối nhà cung cấp đã chọn trong Settings > API Keys. Trong workspace nhóm, hãy yêu cầu chủ sở hữu workspace thêm hoặc thay khóa.
- Không có ảnh nào đến được đích: kiểm tra điều kiện và ngưỡng confidence của dự đoán. Kết quả phát hiện rỗng không bao giờ thỏa mãn một khoảng confidence.
- Ảnh đã thu thập không có nhãn: thao tác thu thập thêm ảnh gốc để xem xét. Hãy dùng các công cụ annotation hiện có để gán nhãn cho ảnh.