Model YOLO-World#

Model YOLO-World giới thiệu phương pháp tiên tiến, thời gian thực dựa trên Ultralytics YOLOv8 cho tác vụ phát hiện với bộ từ vựng mở (Open-Vocabulary Detection). Đổi mới này cho phép phát hiện mọi đối tượng trong ảnh dựa trên văn bản mô tả. Bằng cách giảm đáng kể nhu cầu tính toán mà vẫn duy trì hiệu năng cạnh tranh, YOLO-World trở thành công cụ linh hoạt cho nhiều ứng dụng dựa trên thị giác.

Tổng quan#

YOLO-World giải quyết những thách thức của các model phát hiện với bộ từ vựng mở truyền thống, vốn thường phụ thuộc vào các model Transformer cồng kềnh, đòi hỏi nhiều tài nguyên tính toán. Việc phụ thuộc vào các danh mục đối tượng được xác định trước cũng hạn chế tính hữu dụng của các model này trong những tình huống biến động. YOLO-World nâng cấp framework YOLOv8 với khả năng phát hiện bằng bộ từ vựng mở, sử dụng mô hình hóa thị giác-ngôn ngữ và tiền huấn luyện trên các bộ dữ liệu lớn để nhận diện hiệu quả nhiều loại đối tượng trong tình huống zero-shot.

Đối với các tác vụ bộ từ vựng mở cũng cần mask instance, prompt thị giác hoặc chế độ không cần prompt, hãy xem YOLOE, sử dụng cùng API set_classes().

Tính năng chính#

1. Giải pháp thời gian thực: Tận dụng tốc độ tính toán của CNN, YOLO-World mang đến giải pháp phát hiện với bộ từ vựng mở nhanh chóng, đáp ứng nhu cầu của các ngành cần kết quả tức thì.

2. Hiệu quả và hiệu năng: YOLO-World cắt giảm nhu cầu tính toán và tài nguyên mà không làm giảm hiệu năng, mang đến lựa chọn thay thế mạnh mẽ cho các model như SAM với chi phí tính toán chỉ bằng một phần nhỏ, nhờ đó hỗ trợ ứng dụng thời gian thực.

3. Suy luận với bộ từ vựng ngoại tuyến: YOLO-World giới thiệu chiến lược "prompt rồi phát hiện", sử dụng bộ từ vựng ngoại tuyến để tăng hiệu quả hơn nữa. Phương pháp này cho phép sử dụng các prompt tùy chỉnh được tính toán từ trước, bao gồm chú thích hoặc danh mục, mã hóa và lưu trữ dưới dạng embedding của bộ từ vựng ngoại tuyến, giúp tinh giản quy trình phát hiện.

4. Sử dụng YOLOv8: Được xây dựng trên Ultralytics YOLOv8, YOLO-World tận dụng những cải tiến mới nhất trong phát hiện đối tượng thời gian thực để hỗ trợ phát hiện với bộ từ vựng mở, đạt độ chính xác và tốc độ vượt trội.

5. Hiệu quả benchmark vượt trội: YOLO-World vượt qua các bộ phát hiện với bộ từ vựng mở hiện có, bao gồm dòng MDETR và GLIP, về tốc độ và hiệu quả trên các benchmark tiêu chuẩn, cho thấy năng lực vượt trội của YOLOv8 trên một GPU NVIDIA V100.

6. Ứng dụng linh hoạt: Phương pháp đổi mới của YOLO-World mở ra khả năng mới cho nhiều tác vụ thị giác, tăng tốc độ theo cấp số nhân so với các phương pháp hiện có.

Các model hiện có, tác vụ được hỗ trợ và chế độ hoạt động#

Phần này trình bày các model hiện có cùng trọng số được huấn luyện trước tương ứng, các tác vụ được hỗ trợ và khả năng tương thích với nhiều chế độ vận hành như Suy luận, Validation, Huấn luyện và Export, trong đó ✅ biểu thị chế độ được hỗ trợ và ❌ biểu thị chế độ không được hỗ trợ.

Chuyển giao zero-shot trên tập dữ liệu COCO#

Ví dụ sử dụng#

Các model YOLO-World dễ dàng tích hợp vào ứng dụng Python của bạn. Ultralytics cung cấp Python API và lệnh CLI thân thiện với người dùng để đơn giản hóa quy trình phát triển.

Cách sử dụng để huấn luyện#

Phát hiện đối tượng dễ dàng với phương thức train, như minh họa bên dưới:

from ultralytics import YOLOWorld

# Tải model YOLOv8s-worldv2 đã được huấn luyện trước
model = YOLOWorld("yolov8s-worldv2.pt")

# Huấn luyện model trên dataset mẫu COCO8 trong 100 epoch
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Chạy suy luận với model YOLO-World trên ảnh 'bus.jpg'
results = model("path/to/bus.jpg")

Cách sử dụng Predict#

Phát hiện đối tượng dễ dàng với phương thức predict, như minh họa bên dưới:

from ultralytics import YOLOWorld

# Khởi tạo model YOLO-World
model = YOLOWorld("yolov8s-world.pt")  # hoặc chọn yolov8m/l-world.pt để sử dụng các kích thước khác nhau

# Thực hiện suy luận bằng model YOLOv8s-world trên ảnh được chỉ định
results = model.predict("path/to/image.jpg")

# Hiển thị kết quả
results[0].show()

Đoạn mã này minh họa cách tải pretrained model và chạy dự đoán trên ảnh một cách đơn giản.

Cách sử dụng Val#

Quy trình xác thực model trên tập dữ liệu được đơn giản hóa như sau:

from ultralytics import YOLO

# Tạo model YOLO-World
model = YOLO("yolov8s-world.pt")  # hoặc chọn yolov8m/l-world.pt để sử dụng các kích thước khác nhau

# Thực hiện xác thực model trên tập dữ liệu mẫu COCO8
metrics = model.val(data="coco8.yaml")

Theo dõi sử dụng#

Theo dõi đối tượng bằng model YOLO-World trên video/ảnh được thực hiện đơn giản như sau:

from ultralytics import YOLO

# Tạo model YOLO-World
model = YOLO("yolov8s-world.pt")  # hoặc chọn yolov8m/l-world.pt để sử dụng các kích thước khác nhau

# Theo dõi bằng model YOLO-World trên video
results = model.track(source="path/to/video.mp4")

Thiết lập prompt#

Framework YOLO-World cho phép chỉ định lớp linh hoạt thông qua prompt tùy chỉnh, giúp người dùng điều chỉnh model theo nhu cầu cụ thể mà không cần huấn luyện lại. Tính năng này đặc biệt hữu ích khi điều chỉnh model cho các lĩnh vực mới hoặc những tác vụ cụ thể vốn không có trong dữ liệu huấn luyện ban đầu. Bằng cách thiết lập prompt tùy chỉnh, người dùng có thể định hướng model tập trung vào các đối tượng quan tâm, nâng cao mức độ phù hợp và độ chính xác của kết quả phát hiện.

Ví dụ: nếu ứng dụng của bạn chỉ cần phát hiện các đối tượng 'person' và 'bus', bạn có thể chỉ định trực tiếp các lớp này:

from ultralytics import YOLO

# Khởi tạo model YOLO-World
model = YOLO("yolov8s-world.pt")  # hoặc chọn yolov8m/l-world.pt

# Xác định các lớp tùy chỉnh
model.set_classes(["person", "bus"])

# Thực hiện dự đoán cho các danh mục được chỉ định trong ảnh
results = model.predict("path/to/image.jpg")

# Hiển thị kết quả
results[0].show()

model.set_classes(["person", "bus", ""])

Bạn cũng có thể lưu model sau khi thiết lập các lớp tùy chỉnh. Nhờ đó, bạn tạo ra một phiên bản model YOLO-World được chuyên biệt hóa cho trường hợp sử dụng cụ thể của mình. Quy trình này nhúng trực tiếp các định nghĩa lớp tùy chỉnh vào tệp model, giúp model sẵn sàng sử dụng với các lớp đã chỉ định mà không cần điều chỉnh thêm. Hãy làm theo các bước sau để lưu và tải model YOLO-World tùy chỉnh:

from ultralytics import YOLO

# Khởi tạo model YOLO-World
model = YOLO("yolov8s-world.pt")  # hoặc chọn yolov8m/l-world.pt

# Xác định các lớp tùy chỉnh
model.set_classes(["person", "bus"])

# Lưu model với từ vựng ngoại tuyến đã xác định
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# Tải model tùy chỉnh của bạn
model = YOLO("custom_yolov8s.pt")

# Chạy suy luận để phát hiện các lớp tùy chỉnh của bạn
results = model.predict("path/to/image.jpg")

# Hiển thị kết quả
results[0].show()

Lợi ích của việc lưu model với từ vựng tùy chỉnh#

• Hiệu quả: Tinh giản quy trình phát hiện bằng cách tập trung vào các đối tượng liên quan, giảm chi phí tính toán và tăng tốc suy luận.
• Tính linh hoạt: Dễ dàng điều chỉnh model cho các tác vụ phát hiện mới hoặc chuyên biệt mà không cần huấn luyện lại quy mô lớn hay thu thập thêm dữ liệu.
• Tính đơn giản: Đơn giản hóa việc triển khai bằng cách loại bỏ nhu cầu chỉ định lặp lại các lớp tùy chỉnh trong thời gian chạy, giúp có thể sử dụng model trực tiếp với từ vựng được nhúng sẵn.
• Hiệu năng: Nâng cao độ chính xác phát hiện cho các lớp được chỉ định bằng cách tập trung sự chú ý và tài nguyên của model vào việc nhận diện các đối tượng đã xác định.

Phương pháp này cung cấp một cách hiệu quả để tùy chỉnh các model phát hiện đối tượng tiên tiến nhất cho những tác vụ cụ thể, giúp AI tiên tiến dễ tiếp cận hơn và có thể áp dụng vào nhiều ứng dụng thực tiễn hơn.

Tái tạo kết quả chính thức từ đầu (Thử nghiệm)#

Chuẩn bị tập dữ liệu#

• Dữ liệu huấn luyện

• Dữ liệu xác thực

Bắt đầu huấn luyện từ đầu#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# Tùy chọn 1: Sử dụng dictionary Python
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# Tùy chọn 2: Sử dụng tệp YAML (yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
# json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
# - img_path: mixed_grounding/gqa/images
# json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
# - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # hoặc dùng data="yolo_world_data.yaml" nếu sử dụng tệp YAML
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

Trích dẫn và lời cảm ơn#

Chúng tôi xin chân thành cảm ơn Trung tâm Thị giác Máy tính Tencent AILab vì công trình tiên phong trong lĩnh vực phát hiện đối tượng thời gian thực với từ vựng mở bằng YOLO-World:

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

Để tìm hiểu thêm, bài báo gốc về YOLO-World có trên arXiv. Mã nguồn và tài nguyên bổ sung của dự án có thể được truy cập thông qua kho GitHub. Chúng tôi trân trọng cam kết thúc đẩy lĩnh vực này và chia sẻ những hiểu biết giá trị với cộng đồng của họ.

Câu hỏi thường gặp#