Bắt đầu

Explorer GUI

Ghi chú cộng đồng ⚠️

Kể từ ultralytics>=8.3.12, Ultralytics Explorer đã bị gỡ bỏ. Để sử dụng Explorer, hãy cài đặt pip install ultralytics==8.3.11. Các tính năng khám phá bộ dữ liệu tương tự (và được mở rộng) hiện có trên Ultralytics Platform.

GUI Explorer được xây dựng dựa trên Ultralytics Explorer API. Giao diện cho phép bạn chạy tìm kiếm ngữ nghĩa/tương đồng vector, truy vấn SQL và truy vấn ngôn ngữ tự nhiên bằng tính năng Ask AI được hỗ trợ bởi LLM.

Ultralytics Explorer GUI main dashboard interface



Xem: Tổng quan về dashboard Ultralytics Explorer

Cài đặt#

pip install "ultralytics[explorer]==8.3.11"
Lưu ý

Tính năng Ask AI sử dụng OpenAI, vì vậy bạn sẽ được nhắc thiết lập API key OpenAI khi chạy GUI lần đầu. Thiết lập bằng yolo settings openai_api_key="...".

Tìm kiếm ngữ nghĩa là kỹ thuật tìm các hình ảnh tương tự với một hình ảnh đã cho. Kỹ thuật này dựa trên ý tưởng rằng các hình ảnh tương tự sẽ có embeddings tương tự. Trong UI, bạn có thể chọn một hoặc nhiều hình ảnh rồi tìm kiếm các hình ảnh tương tự với những hình ảnh đã chọn. Cách này hữu ích khi bạn muốn tìm các hình ảnh tương tự với một hình ảnh hoặc một tập hợp hình ảnh không đạt kết quả như kỳ vọng.

Ví dụ, trong dashboard Khám phá VOC này, người dùng chọn một vài hình ảnh máy bay:

Explorer selecting airplane images for similarity search

Sau khi chạy tìm kiếm tương đồng, bạn sẽ thấy các kết quả tương tự:

Ultralytics Explorer semantic similarity search

Ask AI#

Tính năng này cho phép bạn lọc dataset bằng ngôn ngữ tự nhiên mà không cần viết SQL. Trình tạo truy vấn dùng AI chuyển prompt của bạn thành truy vấn và trả về các kết quả phù hợp. Ví dụ, bạn có thể yêu cầu: "hiển thị cho tôi 100 hình ảnh có chính xác một người và 2 con chó. Có thể có thêm các đối tượng khác"; tính năng sẽ tạo truy vấn và hiển thị các kết quả đó. Đây là ví dụ đầu ra khi yêu cầu: "Hiển thị 10 hình ảnh có chính xác 5 người":

Explorer Ask AI results for images with 5 persons

Lưu ý: Tính năng này sử dụng mô hình ngôn ngữ lớn, vì vậy kết quả mang tính xác suất và có thể không chính xác.

Chạy truy vấn SQL trên dataset CV của bạn#

Bạn có thể chạy truy vấn SQL trên dataset để lọc dữ liệu. Cách này cũng hoạt động nếu bạn chỉ cung cấp mệnh đề WHERE. Ví dụ, mệnh đề WHERE sau trả về các hình ảnh có ít nhất một người và một con chó:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

Bản demo này được xây dựng bằng Explorer API, mà bạn có thể sử dụng để tạo notebook hoặc script khám phá của riêng mình nhằm thu thập thông tin chuyên sâu về dataset. Để bắt đầu, hãy xem tài liệu Explorer API.

Câu hỏi thường gặp#

  • GUI Ultralytics Explorer là giao diện trên trình duyệt để khám phá bộ dữ liệu, được xây dựng dựa trên Ultralytics Explorer API. Giao diện cho phép bạn chạy tìm kiếm ngữ nghĩa/tương đồng vector, truy vấn SQL và truy vấn ngôn ngữ tự nhiên bằng tính năng Ask AI được hỗ trợ bởi mô hình ngôn ngữ lớn (LLM).

    Để cài đặt Explorer GUI, bạn có thể sử dụng pip:

    pip install "ultralytics[explorer]==8.3.11"

    Lưu ý: Để sử dụng tính năng Ask AI, bạn cần thiết lập API key OpenAI: yolo settings openai_api_key="...".

  • Tính năng tìm kiếm ngữ nghĩa trong GUI Ultralytics Explorer cho phép bạn tìm ảnh tương tự với một ảnh cho trước dựa trên embedding của chúng. Kỹ thuật này hữu ích để xác định và khám phá các ảnh có điểm tương đồng về hình ảnh. Để dùng tính năng này, hãy chọn một hoặc nhiều ảnh trong UI rồi thực hiện tìm kiếm ảnh tương tự. Kết quả sẽ hiển thị các ảnh gần giống với ảnh đã chọn, hỗ trợ khám phá bộ dữ liệu hiệu quả và phát hiện bất thường.

  • Có. Với tính năng Ask AI được hỗ trợ bởi các mô hình ngôn ngữ lớn (LLMs), bạn có thể lọc dataset bằng các truy vấn ngôn ngữ tự nhiên. Bạn không cần thành thạo SQL. Chẳng hạn, bạn có thể yêu cầu "Hiển thị cho tôi 100 hình ảnh có chính xác một người và 2 con chó. Có thể có thêm các đối tượng khác," và AI sẽ tự động tạo truy vấn phù hợp để trả về kết quả mong muốn.

  • Ultralytics Explorer GUI cho phép bạn chạy truy vấn SQL trực tiếp trên dataset để lọc và quản lý dữ liệu hiệu quả. Để chạy truy vấn, hãy chuyển đến phần truy vấn SQL trong GUI và viết truy vấn. Ví dụ, để hiển thị hình ảnh có ít nhất một người và một con chó, bạn có thể sử dụng:

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    Bạn cũng có thể chỉ cung cấp mệnh đề WHERE, giúp quá trình truy vấn linh hoạt hơn.

    Để biết thêm chi tiết, hãy tham khảo Phần Truy vấn SQL.

  • Ultralytics Explorer GUI nâng cao khả năng khám phá dữ liệu với các tính năng như tìm kiếm ngữ nghĩa, truy vấn SQL và tương tác bằng ngôn ngữ tự nhiên thông qua Ask AI. Những khả năng này cho phép người dùng:

    • Tìm nhanh các hình ảnh tương tự về mặt thị giác.
    • Lọc dataset bằng các truy vấn SQL phức tạp.
    • Sử dụng AI để tìm kiếm bằng ngôn ngữ tự nhiên, không cần kiến thức SQL chuyên sâu.

    Các tính năng này giúp nhà phát triển, nhà nghiên cứu và nhà khoa học dữ liệu hiểu cũng như tuyển chọn bộ dữ liệu của họ.

Bình luận7

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.

  1. ws1065GitHub

    I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?

    1. Glenn JocherUltralytics(đã chỉnh sửa)

      Note: Ultralytics Explorer was removed in ultralytics>=8.3.12; to use it, install ultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.

      @ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the --port argument when launching the GUI. For example, you can try yolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it with pip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.

    1. Glenn JocherUltralytics(đã chỉnh sửa)

      To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:

      1. Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
      2. Train your model using the yolo train command, specifying your dataset and model configuration file.
      3. After training, you can validate, make predictions, or use other features like tracking with your trained model.

      Here's a quick example of how you might train your model:

      from ultralytics import YOLO
      
      # Create a new YOLO model from your custom config
      model = YOLO('path/to/your/model.yaml')
      
      # Train the model on your custom dataset
      model.train(data='path/to/your/dataset.yaml')

      And to make predictions:

      # Load your trained model
      model = YOLO('path/to/your/best.pt')
      
      # Predict on new images
      results = model.predict('path/to/your/images')

      Remember to replace 'path/to/your/...' with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊