Bắt đầu

Giải pháp Ultralytics: Ứng dụng YOLO26 để giải quyết vấn đề trong thực tế

Ultralytics Solutions là các ứng dụng sẵn dùng của model Ultralytics YOLO cho những bài toán thị giác máy tính phổ biến như đếm đối tượng, heatmap, ước tính tốc độ, quản lý hàng đợi và làm mờ đối tượng. Hầu hết giải pháp đóng gói tính năng phát hiện, theo dõi hoặc ước tính pose trong một class có thể cấu hình, chạy bằng Python hoặc CLI yolo solutions.

Ảnh thu nhỏ Ultralytics Solutions



Xem: Cách chạy giải pháp Ultralytics từ dòng lệnh (CLI) | Ultralytics YOLO26 🚀

Giải pháp#

Mỗi giải pháp bên dưới đều có hướng dẫn riêng:

  • Phân tích: Tạo biểu đồ đường, cột, tròn và vùng từ các kết quả phát hiện của YOLO26 để phân tích xu hướng theo thời gian.
  • Tính khoảng cách: Tính khoảng cách giữa các đối tượng bằng centroid của hộp giới hạn trong YOLO26 để phân tích không gian.
  • Heatmap: Tích lũy kết quả phát hiện của YOLO26 thành lớp phủ heatmap, cho biết vị trí đối tượng xuất hiện hoặc di chuyển thường xuyên nhất.
  • Phân đoạn instance kết hợp theo dõi đối tượng: Kết hợp phân đoạn instance và theo dõi đối tượng bằng YOLO26 để bám theo đường viền đối tượng qua các khung hình video.
  • Suy luận trực tiếp với Streamlit: Chạy phát hiện đối tượng theo thời gian thực bằng YOLO26 trong trình duyệt web thông qua giao diện Streamlit.
  • Làm mờ đối tượng: Áp dụng tính năng làm mờ đối tượng bằng YOLO26 để bảo vệ quyền riêng tư khi xử lý hình ảnh và video.
  • Đếm đối tượng: Đếm các đối tượng cắt qua một đường hoặc đi vào một vùng trong video và luồng trực tiếp bằng YOLO26.
  • Đếm đối tượng trong các vùng: Đếm đối tượng bên trong nhiều vùng do người dùng xác định bằng YOLO26.
  • Cắt đối tượng: Cắt các đối tượng được phát hiện từ ảnh và video bằng YOLO26, rồi lưu từng đối tượng thành ảnh riêng.
  • OCR: Phát hiện, nhận dạng và sắp xếp văn bản trong cảnh và tài liệu ở mọi góc xoay bằng các detector YOLO26-Text và khả năng nhận dạng PP-OCRv6, hoặc đọc tiếng Hàn, Cyrillic, tiếng Ả Rập và các hệ chữ khác bằng các model ngôn ngữ PP-OCRv5.
  • Quản lý bãi đỗ xe: Giám sát chỗ đỗ xe đang có người và còn trống bằng YOLO26.
  • Quản lý hàng đợi: Dùng YOLO26 đếm số người đang chờ trong một khu vực xếp hàng để theo dõi độ dài hàng đợi.
  • Hệ thống cảnh báo an ninh: Xây dựng hệ thống cảnh báo an ninh bằng YOLO26, gửi cảnh báo qua email khi số đối tượng được phát hiện đạt ngưỡng.
  • Tìm kiếm tương đồng: Truy xuất ảnh bằng truy vấn ngôn ngữ tự nhiên như "người đang cầm túi" hoặc "phương tiện đang di chuyển" bằng cách kết hợp embedding OpenAI CLIP với tìm kiếm độ tương đồng cosine.
  • Ước tính tốc độ: Ước tính tốc độ đối tượng bằng YOLO26 và tính năng theo dõi đối tượng cho các ứng dụng như giám sát giao thông.
  • Theo dõi đối tượng trong vùng: Chỉ theo dõi đối tượng bên trong một vùng xác định của khung hình video bằng YOLO26.
  • Ánh xạ đối tượng theo góc nhìn VisionEye: Kết nối các đối tượng được phát hiện với một điểm quan sát cố định, mô phỏng cách mắt người tập trung vào các đối tượng cụ thể.
  • Giám sát bài tập: Đếm số lần lặp và theo dõi các giai đoạn tập luyện theo thời gian thực bằng ước tính pose của YOLO26.

Các tham số của Solutions#

Đối sốKiểuMặc địnhMô tả
modelstrNoneĐường dẫn đến tệp model Ultralytics YOLO.
regionlist hoặc dictNoneCác điểm xác định vùng quan tâm, dưới dạng danh sách tuple (x, y) hoặc từ điển ánh xạ tên vùng với danh sách điểm cho nhiều vùng (chỉ dùng RegionCounter). Khi là None, các giải pháp cần vùng sẽ dùng vùng mặc định được xác định trước.
show_inboolTrueFlag điều khiển việc hiển thị số lượt đi vào trên luồng video.
show_outboolTrueFlag điều khiển việc hiển thị số lượt đi ra trên luồng video.
analytics_typestr'line'Loại biểu đồ, tức là line, bar, area hoặc pie.
colormapintcv2.COLORMAP_DEEPGREENBảng màu dùng cho heatmap.
line_widthint2Độ dày đường viền của box, keypoint và số đếm mà giải pháp vẽ.
verboseboolTrueBật nhật ký theo từng frame của giải pháp, gồm shape đầu vào, số lượng class và tốc độ xử lý. Bản thân lệnh gọi tracking luôn không ghi nhật ký.
json_filestrNoneĐường dẫn đến tệp JSON chứa toàn bộ dữ liệu tọa độ chỗ đỗ xe.
up_anglefloat145.0Ngưỡng góc cho tư thế 'lên'.
kptslist[int][6, 8, 10]Danh sách ba chỉ số keypoint dùng để theo dõi bài tập. Các keypoint này tương ứng với khớp hoặc bộ phận cơ thể như vai, khuỷu tay và cổ tay, dành cho các bài tập như chống đẩy, kéo xà, squat và bài tập cơ bụng.
down_anglefloat90.0Ngưỡng góc cho tư thế 'xuống'.
blur_ratiofloat0.5Điều chỉnh tỷ lệ cường độ làm mờ, với giá trị trong phạm vi 0.1 - 1.0.
crop_dirstr'cropped-detections'Tên thư mục dùng để lưu các đối tượng phát hiện đã cắt.
recordsint5Tổng số đối tượng phát hiện cần đạt để kích hoạt email cảnh báo từ hệ thống an ninh.
vision_pointtuple[int, int](20, 20)Điểm mà VisionEye Solution sẽ theo dõi đối tượng và vẽ đường đi.
sourcestrNoneĐường dẫn đến nguồn đầu vào (video, RTSP, v.v.). Chỉ sử dụng được với giao diện dòng lệnh (CLI) của Solutions.
figsizetuple[float, float](12.8, 7.2)Kích thước hình tính bằng inch cho biểu đồ Analytics; (12.8, 7.2) hiển thị khung hình 1280×720.
fpsfloat30.0Số khung hình mỗi giây được dùng để tính tốc độ.
max_histint5Số điểm lịch sử tối đa cần theo dõi cho mỗi đối tượng để tính tốc độ/hướng di chuyển.
meter_per_pixelfloat0.05Hệ số tỷ lệ dùng để chuyển đổi khoảng cách pixel sang đơn vị thực tế.
max_speedint120Tốc độ tối đa tính bằng km/h; các tốc độ ước tính cao hơn sẽ bị giới hạn ở giá trị này.
datastr'images'Đường dẫn đến thư mục ảnh dùng để tìm kiếm độ tương đồng.
imgszint640Kích thước ảnh đầu vào dùng cho quá trình inference của model.
recognizerstr hoặc Callable'paddleocr'Backend nhận dạng văn bản: 'paddleocr' (PP-OCRv6 trên ONNX Runtime), 'tensorrt' (PP-OCRv6 dưới dạng engine TensorRT FP16 trên GPU NVIDIA), tên model ngôn ngữ PaddleOCR như 'korean_PP-OCRv5_mobile_rec', hoặc hàm callable nhận crop BGR và trả về (text, confidence).
Tham số theo dõi

Solutions chuyển các tham số suy luận và theo dõi dưới đây đến model.track().

Đối sốKiểuMặc địnhMô tả
trackerstr'tracktrack.yaml'Chỉ định thuật toán theo dõi cần sử dụng. Các tùy chọn tích hợp sẵn: botsort.yaml, bytetrack.yaml, ocsort.yaml, deepocsort.yaml, fasttrack.yaml, tracktrack.yaml.
conffloat0.25Đặt ngưỡng confidence cho các đối tượng được phát hiện; giá trị thấp hơn cho phép theo dõi nhiều đối tượng hơn nhưng có thể bao gồm cả kết quả dương tính giả.
ioufloat0.5Đặt ngưỡng Intersection over Union (IoU) để lọc các đối tượng phát hiện bị chồng lấn.
classeslistNoneLọc kết quả theo chỉ mục class. Ví dụ: classes=[0, 2, 3] chỉ theo dõi các class được chỉ định.
devicestrNoneChỉ định thiết bị dùng để suy luận (ví dụ: cpu, cuda:0 hoặc 0). Cho phép người dùng chọn CPU, một GPU cụ thể hoặc thiết bị tính toán khác để chạy model.
imgszint or tuple640Kích thước ảnh suy luận mục tiêu: số nguyên cho ảnh vuông hoặc cặp (height, width). Kích thước sẽ được điều chỉnh theo stride của model.
max_detint300Số lượng đối tượng phát hiện tối đa được giữ lại trong mỗi khung hình trước khi theo dõi, giới hạn số đối tượng mà một giải pháp xử lý trong các cảnh dày đặc.
quantizeint or strNoneĐộ chính xác suy luận: 16 (FP16) hoặc 32/unset (FP32) cho model PyTorch và TorchScript khi chạy ngoài CPU; các định dạng khác sử dụng độ chính xác do artifact và runtime của chúng lựa chọn. Thay thế đối số half đã lỗi thời.
Tham số trực quan hóa

Bạn có thể sử dụng show_conf, show_labels và các tham số khác đã đề cập để tùy chỉnh phần trực quan hóa.

Đối sốKiểuMặc địnhMô tả
showboolFalseNếu True, hiển thị ảnh hoặc video đã được chú thích trong một cửa sổ. Hữu ích để nhận phản hồi trực quan ngay lập tức trong quá trình phát triển hoặc kiểm thử.
show_confboolTrueHiển thị điểm confidence bên cạnh nhãn của mỗi detection. Cho biết mức độ chắc chắn của model đối với từng detection.
show_labelsboolTrueHiển thị nhãn cho mỗi detection trong đầu ra trực quan. Giúp nhận biết ngay các đối tượng được phát hiện.

Sử dụng SolutionAnnotator#

Tất cả Ultralytics Solutions đều sử dụng class SolutionAnnotator, class này mở rộng class Annotator chính và cung cấp các phương thức sau:

Phương thứcKiểu trả vềMô tả
draw_region()NoneVẽ một vùng bằng các điểm, màu sắc và độ dày được chỉ định.
queue_counts_display()NoneHiển thị số lượng người trong hàng đợi ở vùng được chỉ định.
display_analytics()NoneHiển thị thống kê tổng quan về quản lý bãi đỗ xe.
estimate_pose_angle()floatTính góc giữa ba điểm trong tư thế của một đối tượng.
draw_specific_kpts()np.ndarrayVẽ các keypoint cụ thể lên hình ảnh.
plot_workout_information()intVẽ hộp văn bản có nhãn lên hình ảnh.
plot_angle_and_count_and_stage()NoneTrực quan hóa góc, số bước và giai đoạn để giám sát bài tập.
plot_distance_and_line()NoneHiển thị khoảng cách giữa các tâm và nối chúng bằng một đường thẳng.
display_objects_labels()NoneGắn nhãn class đối tượng cho các bounding box.
sweep_annotator()NoneTrực quan hóa đường quét dọc và nhãn tùy chọn.
visioneye()NoneLập bản đồ và nối tâm các đối tượng với một điểm "mắt" trực quan.
adaptive_label()NoneVẽ nhãn nền hình tròn hoặc hình chữ nhật ở tâm của bounding box.

Làm việc với SolutionResults#

Mọi giải pháp, ngoại trừ Tìm kiếm tương đồng, đều trả về đối tượng SolutionResults khi được gọi.

  • Đối với tác vụ đếm đối tượng, kết quả bao gồm in_count, out_count và classwise_count.
SolutionResults
import cv2

from ultralytics import solutions

im0 = cv2.imread("path/to/img")

region_points = [(20, 400), (1080, 400), (1080, 360), (20, 360)]

counter = solutions.ObjectCounter(
    show=True,  # hiển thị đầu ra
    region=region_points,  # truyền các điểm của vùng
    model="yolo26n.pt",  # model="yolo26n-obb.pt" để đếm đối tượng bằng model OBB.
    # classes=[0, 2],  # đếm các class cụ thể, tức là person và car bằng model COCO pretrained.
    # tracker="botsort.yaml"  # Chọn tracker, ví dụ "bytetrack.yaml"
)
results = counter(im0)
print(results.in_count)  # display in_counts
print(results.out_count)  # display out_counts
print(results.classwise_count)  # display classwise_count

Các đối tượng SolutionResults có những thuộc tính sau:

Thuộc tínhKiểuMô tả
plot_imnp.ndarrayHình ảnh có các lớp phủ trực quan như số lượng, hiệu ứng làm mờ hoặc cải tiến dành riêng cho giải pháp.
in_countintTổng số đối tượng được phát hiện đi vào vùng đã xác định trong luồng video.
out_countintTổng số đối tượng được phát hiện đi ra khỏi vùng đã xác định trong luồng video.
classwise_countdict[str, dict[str, int] | int]Số lượng theo từng class: {"IN": int, "OUT": int} cho ObjectCounter và Heatmap, hoặc int cho Analytics.
queue_countintSố lượng đối tượng hiện đang ở trong khu vực xếp hàng hoặc chờ đã được xác định trước (phù hợp cho quản lý hàng đợi).
workout_countlist[int]Số lần lặp lại bài tập của từng track từ AI Gym (mỗi cá thể hiện đang được theo dõi có một mục).
workout_anglelist[float]Góc bài tập của từng track từ AI Gym (mỗi cá thể hiện đang được theo dõi có một mục).
workout_stagelist[str]Giai đoạn bài tập hiện tại của từng track từ AI Gym (mỗi cá thể hiện đang được theo dõi có một mục).
pixels_distancefloatKhoảng cách tính theo pixel giữa hai đối tượng hoặc điểm, chẳng hạn như hộp giới hạn (phù hợp để tính khoảng cách).
available_slotsintSố chỗ trống trong khu vực được giám sát (phù hợp cho quản lý bãi đỗ xe).
filled_slotsintSố chỗ đang được sử dụng trong khu vực giám sát (phù hợp cho quản lý bãi đỗ xe).
email_sentboolCho biết email thông báo hoặc cảnh báo đã được gửi thành công hay chưa (phù hợp cho hệ thống báo động an ninh).
total_tracksintTổng số track đối tượng duy nhất được quan sát trong quá trình phân tích video.
region_countsdict[str, int]Số lượng đối tượng trong các vùng do người dùng xác định.
speed_dictdict[int, int]Từ điển tốc độ ước tính của từng track, tính bằng km/h và lấy từ SpeedEstimator, hữu ích cho việc phân tích vận tốc.
total_crop_objectsintTổng số ảnh đối tượng đã cắt được tạo bởi giải pháp ObjectCropper.
speeddict[str, float]Từ điển chứa các chỉ số hiệu suất cho quá trình tracking và xử lý của giải pháp.

Để biết thêm chi tiết, hãy tham khảo tài liệu về class SolutionResults.

Sử dụng Solutions qua CLI#

Thông tin lệnh

Hầu hết giải pháp có thể chạy trực tiếp từ giao diện dòng lệnh.

Cú pháp

yolo SOLUTIONS SOLUTION_NAME ARGS
  • SOLUTIONS là từ khóa bắt buộc.
  • SOLUTION_NAME là một trong các giá trị sau: ['count', 'crop', 'blur', 'workout', 'heatmap', 'isegment', 'queue', 'speed', 'analytics', 'trackzone', 'inference', 'visioneye', 'region', 'security', 'parking'].
  • ARGS (không bắt buộc) là các cặp arg=value tùy chỉnh, chẳng hạn như show_in=True, dùng để ghi đè các thiết lập mặc định.
yolo solutions count show=True # for object counting

yolo solutions count source="path/to/video.mp4" # specify video file path

Đóng góp cho Solutions của chúng tôi#

Chúng tôi hoan nghênh đóng góp từ cộng đồng. Nếu bạn đã xây dựng một giải pháp bằng Ultralytics YOLO chưa được đề cập ở đây, hãy cân nhắc chia sẻ giải pháp dưới dạng hướng dẫn để những người dùng khác cũng có thể hưởng lợi.

Câu hỏi thường gặp#

  • Ultralytics YOLO26 đếm đối tượng theo thời gian thực bằng cách kết hợp phát hiện với theo dõi, nhờ đó mỗi đối tượng chỉ được đếm một lần khi đi qua đường hoặc đi vào vùng. Để thiết lập YOLO26 phân tích luồng video trực tiếp, hãy cài đặt ultralytics, tải model và truyền các khung hình video vào solutions.ObjectCounter.

  • Ultralytics YOLO26 bổ sung khả năng phát hiện đối tượng và gửi cảnh báo theo thời gian thực cho hệ thống an ninh dùng camera. Với giải pháp Hệ thống cảnh báo an ninh, YOLO26 gửi cảnh báo qua email khi số đối tượng được phát hiện trong khu vực giám sát đạt ngưỡng.

  • Ultralytics YOLO26 đếm và theo dõi người bên trong vùng hàng đợi, cung cấp số người đang xếp hàng theo thời gian thực để giúp giảm thời gian chờ và lập kế hoạch nhân sự.

  • Có. Model pose của Ultralytics YOLO26 theo dõi các keypoint cơ thể theo thời gian thực, nhờ đó giải pháp giám sát bài tập có thể đo góc khớp, đếm số lần lặp và báo cáo giai đoạn tập hiện tại.

  • Ultralytics YOLO26 có thể tạo heatmap cho biết vị trí đối tượng xuất hiện hoặc di chuyển thường xuyên nhất trong một cảnh, qua đó làm nổi bật các vùng có mức độ hoạt động cao. Những hình ảnh trực quan hóa dữ liệu này giúp bạn hiểu các mô hình giao thông và xu hướng theo thời gian.

Bình luận23

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.

    1. Glenn JocherUltralytics(đã chỉnh sửa)

      @ZHIYUAN816 you don't need to set anything: the warning has no effect on training or metrics, only on how many items are drawn on the plotted validation images (optional, for visual review). In current versions that limit follows the max_det argument (default 300).

  1. ZHIYUAN816GitHub

    WARNING ⚠️ Limiting validation plots to first 50 items per image for speed... WARNING ⚠️ Limiting validation plots to first 50 items per image for speed... how to solve this problem bro?

    1. Glenn JocherUltralytics(đã chỉnh sửa)

      @ZHIYUAN816 this is not an error but a warning that the plotted prediction images are limited to a maximum number of items per image. It does not affect training. In current versions the limit follows max_det (default 300).

  2. smc0927GitHub

    If I want a target to be detected only once, is it possible? If so, how can I do it?

    1. RizwanMunawarGitHub

      @smc0927 Hi! I’m not entirely sure I understand your question. Could you please clarify a bit?

      Generally, the counting process is designed to occur only once for each track ID. Once an object is counted, it won't be counted again, even if it crosses the same region or line multiple times.

    2. smc0927GitHub

      ok,I want to print out the coordinates of the target, but that's not what I want because it's going to be printed multiple times over a period of time. I want it to be output only once, is there a way to achieve this?

    3. RizwanMunawarGitHub

      @smc0927 Yes it's possible. You can simply iterate over the detection results. BTW, this discussion is more related to Ultralytics solutions, while your question is related to prediction :)

      Sample Code

      from ultralytics import YOLO
      model = YOLO("yolo11n.pt")
      results = model.predict("path/to/im0")
      
      if results[0].boxes.id is not None:
            boxes = results[0].boxes.xyxy.cpu()
            track_ids = results[0].boxes.id.int().cpu().tolist()
            clss = results[0].boxes.cls.cpu().tolist()
      
            for box, cls in enumerate(boxes, clss):
                # Here you can add the logic to display single-time details of the object

      Thanks :)

  3. hodat2608GitHub

    Hi everyone, hi @glenn-jocher, I want to install pycuda on my windows 10 using python 3.12, but I still can't do it. It's hard to find any documentation or tutorials like that, @glenn-jocher or anyone can send me a link or tutorial to install pycuda? Please help me. Thanks first

  4. maxexplorerGitHub

    Hi there,

    After updating Ultralytics and using YOLO11, will the YOLOv8 models still work in this virtual environment?

    Thank you in advance for your help and the great work you’re doing!

    1. Glenn JocherUltralytics

      @maxexplorer yes, YOLOv8 models will continue to work in your virtual environment after updating to YOLO11. If you have further questions, feel free to ask!

  5. yosifsaabGitHub

    hi i have error during using the google colab for classification two classes images by yolov8n
    results = model.train(data=DATA_DIR, epochs=1, imgsz=64)

    1. Glenn JocherUltralytics

      @yosifsaab it seems you're encountering an error with YOLOv8n in Google Colab. Please ensure your DATA_DIR is correctly set and that your dataset is properly formatted. If the issue persists, check the Colab notebook for any specific error messages that might provide more details. For further assistance, you can refer to the Ultralytics documentation.

  6. NkosiyazimelaniGitHub

    Hi guys, how do i update the nc that my model can detect without having to train with old and new objects. i have updated my .YAML file but the model is still detecting the old number of objects(20 instead of 46). i have been told to look on the model itself and change the output number of class to the new updated on but there is nothing of that sort in the model file( best.pt). please help.

    1. Glenn JocherUltralytics(đã chỉnh sửa)

      @Nkosiyazimelani the number of classes (nc) is part of the trained model's detection head, so editing the .yaml file after training doesn't change what best.pt predicts. You need to train again with a dataset YAML that has all 46 classes. You don't have to start from scratch, you can fine-tune from your existing weights, and the layers whose shapes depend on the class count are reinitialized automatically:

      from ultralytics import YOLO
      
      model = YOLO("best.pt")
      model.train(data="your_46_class_dataset.yaml", epochs=100)

      Make sure your dataset contains labeled examples of both the old and the new classes, otherwise the model will forget the old ones.

    1. Glenn JocherUltralytics

      @nounotabe to specify the device for running YOLOv8, you can use the device argument. For example, to use the second GPU (cuda:1), you can set device='cuda:1'. This can be done in both the CLI and Python API. If you encounter any issues, please ensure you are using the latest version of the package. For more detailed guidance, you can refer to our documentation at https://docs.ultralytics.com.

    2. cobaltautomationdevGitHub

      lasted version of ultralytics. solutions not works in Windows10, but works in Google Colab. What's wrong with it? How to settle it? from ultralytics import solutions,YOLO , Couldn't import solutions in my windows10.

    3. Glenn JocherUltralytics

      It seems like there might be an issue with the solutions module on Windows 10. Please ensure you are using the latest version of the Ultralytics package. If the issue persists, try reinstalling the package or running the code in a different environment. For further assistance, you can refer to our documentation at https://docs.ultralytics.com/solutions/.

    4. cobaltautomationdevGitHub

      Just updated to v8.2.78 today ,uninstall and reinstall the latest version. and now it works on Windows10 . it seems there something changed in solutions init.py . this file caused import error in previous version. I noticed that in version 8.2.0, file init.py is blank. now add some code in it.