GUI Explorer#
Kể từ ultralytics>=8.3.12, Ultralytics Explorer đã bị gỡ bỏ. Để sử dụng Explorer, hãy cài đặt pip install ultralytics==8.3.11. Các tính năng khám phá dataset tương tự (và mở rộng hơn) hiện có trên Ultralytics Platform.
GUI Explorer được xây dựng trên Ultralytics Explorer API. Công cụ này cho phép bạn thực hiện tìm kiếm tương đồng ngữ nghĩa/vector, truy vấn SQL và truy vấn ngôn ngữ tự nhiên bằng tính năng Ask AI được hỗ trợ bởi các LLM.
Watch: Ultralytics Explorer Dashboard Overview
Cài đặt#
pip install ultralytics[explorer]Tính năng Ask AI sử dụng OpenAI, vì vậy bạn sẽ được nhắc thiết lập OpenAI API key khi chạy GUI lần đầu.
Thiết lập bằng yolo settings openai_api_key="...".
Tìm kiếm tương đồng ngữ nghĩa vector#
Tìm kiếm ngữ nghĩa là một kỹ thuật tìm các hình ảnh tương tự với một hình ảnh cho trước. Kỹ thuật này dựa trên ý tưởng rằng các hình ảnh tương tự sẽ có embedding tương tự. Trong UI, bạn có thể chọn một hoặc nhiều hình ảnh và tìm kiếm các hình ảnh tương tự với chúng. Tính năng này hữu ích khi bạn muốn tìm các hình ảnh tương tự với một hình ảnh hoặc một tập hợp hình ảnh cho trước nhưng không cho kết quả như mong đợi.
Ví dụ: trong dashboard Exploration của VOC này, người dùng chọn một vài hình ảnh máy bay:
Sau khi chạy tìm kiếm tương đồng, bạn sẽ thấy các kết quả tương tự:
Hỏi AI#
Tính năng này cho phép bạn lọc dataset bằng ngôn ngữ tự nhiên mà không cần viết SQL. Trình tạo truy vấn được hỗ trợ bởi AI sẽ chuyển prompt của bạn thành một truy vấn và trả về các kết quả phù hợp. Ví dụ, bạn có thể yêu cầu: "show me 100 images with exactly one person and 2 dogs. There can be other objects too" và công cụ sẽ tạo truy vấn rồi hiển thị các kết quả đó. Dưới đây là kết quả mẫu khi được yêu cầu: "Show 10 images with exactly 5 persons":
Lưu ý: Tính năng này sử dụng Mô hình ngôn ngữ lớn, vì vậy kết quả mang tính xác suất và có thể không chính xác.
Chạy truy vấn SQL trên dataset CV của bạn#
Bạn có thể chạy các truy vấn SQL trên dataset để lọc dữ liệu. Tính năng này cũng hoạt động nếu bạn chỉ cung cấp mệnh đề WHERE. Ví dụ: mệnh đề WHERE sau đây trả về các hình ảnh chứa ít nhất một người và một con chó:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Bản demo này được xây dựng bằng Explorer API, API mà bạn có thể sử dụng để tạo các notebook hoặc script khám phá của riêng mình nhằm thu thập thông tin chuyên sâu từ các dataset. Để bắt đầu, hãy xem tài liệu Explorer API.
FAQ#
GUI Ultralytics Explorer là một giao diện mạnh mẽ, mở khóa các khả năng khám phá dữ liệu nâng cao bằng Ultralytics Explorer API. Công cụ này cho phép bạn thực hiện tìm kiếm tương đồng ngữ nghĩa/vector, truy vấn SQL và truy vấn ngôn ngữ tự nhiên bằng tính năng Ask AI được hỗ trợ bởi Mô hình ngôn ngữ lớn (LLMs).
Để cài đặt GUI Explorer, bạn có thể sử dụng pip:
pip install ultralytics[explorer]Lưu ý: Để sử dụng tính năng Ask AI, bạn cần thiết lập OpenAI API key:
yolo settings openai_api_key="...".Tính năng tìm kiếm ngữ nghĩa trong GUI Ultralytics Explorer cho phép bạn tìm các hình ảnh tương tự với một hình ảnh cho trước dựa trên các embedding của chúng. Kỹ thuật này hữu ích để xác định và khám phá những hình ảnh có điểm tương đồng về mặt hình ảnh. Để sử dụng tính năng này, hãy chọn một hoặc nhiều hình ảnh trong UI và thực hiện tìm kiếm các hình ảnh tương tự. Kết quả sẽ hiển thị những hình ảnh gần giống với các hình ảnh đã chọn, hỗ trợ việc khám phá dataset hiệu quả và phát hiện bất thường.
Tìm hiểu thêm về tìm kiếm ngữ nghĩa và các tính năng khác bằng cách truy cập mục Tổng quan về tính năng.
Có. Với tính năng Ask AI được hỗ trợ bởi các mô hình ngôn ngữ lớn (LLMs), bạn có thể lọc dataset bằng các truy vấn ngôn ngữ tự nhiên. Bạn không cần thành thạo SQL. Ví dụ, bạn có thể yêu cầu "Show me 100 images with exactly one person and 2 dogs. There can be other objects too," và AI sẽ ngầm tạo truy vấn phù hợp để cung cấp các kết quả mong muốn.
GUI Ultralytics Explorer cho phép bạn chạy các truy vấn SQL trực tiếp trên dataset để lọc và quản lý dữ liệu hiệu quả. Để chạy một truy vấn, hãy chuyển đến mục truy vấn SQL trong GUI và viết truy vấn của bạn. Ví dụ, để hiển thị các hình ảnh có ít nhất một người và một con chó, bạn có thể sử dụng:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Bạn cũng có thể chỉ cung cấp mệnh đề WHERE, giúp quy trình truy vấn trở nên linh hoạt hơn.
Để biết thêm chi tiết, hãy tham khảo Mục Truy vấn SQL.
GUI Ultralytics Explorer nâng cao khả năng khám phá dữ liệu với các tính năng như tìm kiếm ngữ nghĩa, truy vấn SQL và tương tác bằng ngôn ngữ tự nhiên thông qua tính năng Ask AI. Những khả năng này cho phép người dùng:
- Tìm kiếm hiệu quả các hình ảnh tương tự về mặt hình ảnh.
- Lọc dataset bằng các truy vấn SQL phức tạp.
- Sử dụng AI để thực hiện tìm kiếm bằng ngôn ngữ tự nhiên, loại bỏ nhu cầu phải có chuyên môn SQL nâng cao.
Những tính năng này biến công cụ thành một giải pháp linh hoạt cho các developer, nhà nghiên cứu và data scientist muốn thu thập thông tin chuyên sâu hơn từ các dataset của họ.
Tìm hiểu thêm về các tính năng này trong Tài liệu GUI Explorer.