Agents#
Agents kết nối hình ảnh, model, điều kiện và tác vụ trong một quy trình làm việc trực quan. Sử dụng YOLO để quyết định hình ảnh nào cần xem xét kỹ hơn, yêu cầu vision-language model giải thích hình ảnh hoặc thu thập các hình ảnh đã chọn vào một dataset để đánh giá.
Chuyển sang workspace cá nhân bằng bộ chọn workspace trên thanh bên và bật Early access trong Settings > Profile. Sau đó, mở Agents trên thanh bên hoặc truy cập platform.ultralytics.com/agents. Early access là tùy chọn cá nhân, áp dụng ngay cả khi bạn làm việc trong workspace của team.
Chạy quy trình làm việc đầu tiên của bạn#
- Mở Agents, nhấp vào Add block > Templates và chọn YOLO → VLM Monitor.
- Chọn block Input image, chọn một dataset đã tải lên và chọn một hình ảnh chứa người. Sử dụng hình ảnh có độ phân giải tối đa 4 megapixel cho bản dùng thử chung.
- Giữ nguyên model YOLO26 nano mặc định. Điều kiện sẽ thỏa mãn khi YOLO phát hiện ít nhất một người.
- Chọn Describe the scene, chọn vision-language model và nhập prompt. Thêm provider key tương ứng trong Settings > API Keys nếu bạn chưa thực hiện việc này. Trong workspace của team, hãy yêu cầu chủ sở hữu workspace thêm hoặc thay thế provider key.
- Giữ nguyên lựa chọn Shared trial · 60 seconds cho một lần chạy nhỏ, sau đó nhấp vào Run.
- Xem các block cập nhật và kiểm tra phần Output. Nếu không có người nào được phát hiện, điều kiện sẽ kết thúc mà không chạy nhánh mô tả.
Bạn có thể chạy bản nháp trước khi lưu bản nháp đó. Sử dụng Save workflow để đặt tên và lưu quy trình làm việc dùng sau, đồng thời lưu lại sau khi thực hiện các thay đổi. Nút Python hiển thị mã quy trình làm việc được tạo.
Bắt đầu với một Template#
| Template | Workflow | Hữu ích cho |
|---|---|---|
| YOLO → VLM Monitor | Image → YOLO → condition → vision-language model → Output | Mô tả khung cảnh chỉ khi phát hiện thấy người |
| Collect Uncertain Detections | Dataset → Deployment → confidence condition → Dataset | Xây dựng tập đánh giá từ các hình ảnh có kết quả phát hiện không chắc chắn |
| Capture and Alert | Image → YOLO → condition → Dataset and Slack | Lưu hình ảnh và thông báo tới một kênh từ cùng một điều kiện |
Template là các điểm khởi đầu có thể chỉnh sửa. Chọn hình ảnh, deployment, dataset đích và các tích hợp cho workspace của bạn trước khi chạy các template. Các quy trình làm việc này chạy khi bạn nhấp vào Run; template Monitor phân tích hình ảnh đầu vào đã chọn.
Chọn nơi chạy#
Bộ chọn môi trường thực thi bên cạnh Run sẽ chọn phần cứng cho quy trình làm việc.
| Lựa chọn | Sử dụng môi trường thực thi cho | Giới hạn và biểu phí |
|---|---|---|
| Shared trial · 60 seconds | Thử nghiệm một quy trình làm việc nhỏ | Tối đa 60 giây, tổng cộng 20 hình ảnh đầu vào với mỗi hình ảnh có dung lượng lên đến 4 megapixel và 20 lệnh gọi model/provider; một YOLO model cục bộ, sử dụng model YOLO26 nano chính thức |
| Existing dedicated deployment | Dataset lớn hơn, thời gian chạy lâu hơn hoặc các model cục bộ khác | Sử dụng phần cứng và biểu phí hiện có của deployment đó, bao gồm một dedicated deployment miễn phí đủ điều kiện; không giới hạn tổng thời gian chạy quy trình làm việc hoặc số lượng hình ảnh |
| New deployment… | Tạo phần cứng chuyên dụng từ trình xây dựng | Mở hộp thoại tạo deployment và biểu phí hiện có; chọn tài nguyên và đợi cho đến khi deployment sẵn sàng |
Bản dùng thử chung cho phép hai lần gửi mỗi năm phút. Các lượt chạy trên Platform hỗ trợ tối đa 20 block. Các lệnh gọi model/provider bao gồm YOLO, vision-language model, dự đoán từ deployment và các tác vụ Slack; việc phân nhánh có thể làm tăng số lượng lệnh gọi trên mỗi hình ảnh đầu vào.
Các lượt chạy chuyên dụng tiếp tục trong các yêu cầu được lưu điểm kiểm (checkpoint) trên deployment đã chọn. Việc đóng hoặc tải lại trình duyệt không làm dừng lượt chạy. Các giới hạn hiện có của deployment và provider vẫn được áp dụng, và việc sử dụng language model được tính phí bởi provider liên kết với key của bạn. Xem biểu phí deployment để biết các tùy chọn phần cứng.
Block Deployment chọn endpoint được sử dụng cho một bước dự đoán. Bộ chọn môi trường thực thi chọn nơi quy trình làm việc thực tế chạy. Bạn có thể chọn cùng một dedicated deployment cho cả hai.
Cấu hình Block#
| Block | Mục đích |
|---|---|
| Ảnh | Chọn một hình ảnh từ dataset đã tải lên |
| Dataset không có kết nối đầu vào | Đọc hình ảnh từ một dataset và tập chia (split) đã chọn, với giới hạn đầu vào có thể định cấu hình |
| YOLO | Chạy một model chính thức hoặc một model đã được huấn luyện từ workspace |
| Deployment | Dự đoán thông qua một deployment hiện có đang sẵn sàng trên Platform |
| LLM | Gửi hình ảnh và ngữ cảnh ngược dòng đến language model hoặc vision-language model đã chọn |
| Gate | Kiểm soát quá trình thực thi hạ nguồn bằng một điều kiện hoặc nhịp điệu |
| Dataset có kết nối đầu vào | Thêm hình ảnh đầu vào vào dataset đích |
| Slack | Gửi tin nhắn đến kênh Slack đã kết nối của workspace |
| Export | Xuất model bằng quy trình xuất hiện có của Platform |
| Output | Hiển thị kết quả ngược dòng |
Chọn một block để chỉnh sửa cài đặt của block đó. Kết nối một đầu ra với block khác để chuyển kết quả của đầu ra đó xuống hạ nguồn. Một đầu ra có thể kết nối với nhiều block: ví dụ, kết nối một điều kiện với cả dataset đích và Slack. Mỗi nhánh sử dụng cùng một điều kiện đã đánh giá.
Lọc kết quả phát hiện bằng Điều kiện#
Sử dụng cùng một block Gate cho số lượng kết quả phát hiện và bộ lọc độ tin cậy. Chọn kết quả ngược dòng, bất kỳ class nào hoặc một class cụ thể và phép so sánh. Ví dụ:
- Person count ≥ 1: tiếp tục khi phát hiện ít nhất một người.
- Confidence between 0.25 and 0.5: tiếp tục khi ít nhất một kết quả phát hiện khớp nằm trong khoảng bao gồm đó.
- A specific class in a confidence range: chỉ thu thập các kết quả phát hiện không chắc chắn cho class đó.
Bộ lọc độ tin cậy kiểm tra các kết quả phát hiện riêng lẻ. Hình ảnh có điểm số 0.3 và 0.9 vượt qua phạm vi 0.25–0.5 vì có một kết quả phát hiện khớp. Hình ảnh không có kết quả phát hiện nào sẽ không vượt qua điều kiện độ tin cậy. Đặt ngưỡng cắt độ tin cậy của model dự đoán đủ thấp để giữ lại các kết quả phát hiện bạn muốn đánh giá.
Một điều kiện không khớp sẽ hoàn tất mà không có đầu ra hạ nguồn. Các tác vụ được kết nối với điều kiện đó sẽ không chạy cho hình ảnh đó.
Thu thập hình ảnh để xem xét#
Mở Collect Uncertain Detections, chọn dataset nguồn và tập chia, chọn deployment dự đoán của bạn và cấu hình khoảng độ tin cậy. Chọn một dataset đích hiện có trong block Dataset cuối cùng. Tạo dataset từ trang Dataset trước nếu cần.
Dataset đích nhận được các hình ảnh gốc, chưa được dán nhãn, trong tập chia train của dataset đích. Các bản sao hiện có sẽ bị bỏ qua và các hạn mức lưu trữ dataset thông thường sẽ được áp dụng. Nhãn nguồn và dự đoán của model không được sao chép dưới dạng chú thích. Mở dataset đích trong trình chỉnh sửa chú thích hiện có để xem lại và dán nhãn cho các hình ảnh đã thu thập.
Sử dụng hình ảnh được lưu trữ mà workspace của bạn có thể truy cập và dataset đích mà bạn có thể chỉnh sửa. Không thể sử dụng dataset lưu trữ đám mây và tại chỗ được kết nối làm điểm đến thu thập.
Gửi cảnh báo Slack có điều kiện#
Kết nối Slack trong Settings > Integrations, sau đó kết nối điều kiện với block Slack. Nhập tin nhắn và sử dụng {output} để bao gồm kết quả ngược dòng. Capture and Alert cũng kết nối điều kiện đó với một dataset, nhờ đó hình ảnh khớp được thu thập và tin nhắn được gửi đến kênh đã kết nối.
Tin nhắn Slack của quy trình làm việc được cấu hình trong block. Các tin nhắn này tách biệt với các lựa chọn thông báo huấn luyện, xuất và deployment trong Cài đặt.
Theo dõi tiến trình và dừng lượt chạy#
Các block hoạt động hiển thị biểu tượng quay màu xanh lá cây. Các block hoàn thành hiển thị dấu kiểm màu xanh lá cây và viền màu xanh lá cây; các block thất bại hiển thị viền màu đỏ. Số lượng hiển thị những đầu vào nào đã đến từng block và các block hạ nguồn vẫn không được thực thi khi điều kiện không khớp.
Việc tải lại trang sẽ khôi phục tiến trình của lượt chạy và deployment thực thi đã chọn. Kết quả hoàn thành vẫn hiển thị cho quy trình làm việc khớp. Nhấp vào Stop để hủy lượt chạy đang hoạt động; quá trình hủy sẽ đợi block đang thực thi đến điểm hủy. Việc dừng hoặc xóa deployment thực thi của block cũng sẽ hủy quy trình làm việc.
Khắc phục sự cố#
- Agents bị thiếu trên thanh bên: bật Early access trong Settings > Profile cá nhân của bạn.
- Lượt chạy vượt quá giới hạn của bản dùng thử chung: chọn một dedicated deployment, bao gồm deployment miễn phí đủ điều kiện hoặc giảm độ phân giải hình ảnh, số lượng đầu vào và các lệnh gọi model/provider.
- Deployment đang chuẩn bị hoặc đã dừng: đợi deployment sẵn sàng hoặc bắt đầu deployment từ Deployments.
- Thiếu provider key: kết nối provider đã chọn trong Settings > API Keys. Trong workspace của team, hãy yêu cầu chủ sở hữu workspace thêm hoặc thay thế key.
- Không có hình ảnh nào đến điểm đến: kiểm tra điều kiện và ngưỡng cắt độ tin cậy dự đoán. Kết quả phát hiện trống không bao giờ thỏa mãn khoảng độ tin cậy.
- Hình ảnh được thu thập không có nhãn: quá trình thu thập sẽ thêm các hình ảnh gốc để xem xét. Sử dụng các công cụ chú thích hiện có để dán nhãn cho các hình ảnh đó.