YOLOE: Phát hiện và Phân đoạn Mở-Từ-Vựng Thời Gian Thực#

Ultralytics YOLOE (Real-Time Seeing Anything) là một mô hình phát hiện và instance segmentation mở-từ-vựng: thay vì danh sách lớp cố định tại thời điểm huấn luyện, mô hình nhận các danh mục bạn muốn tại thời điểm suy luận (inference), dưới dạng prompt văn bản, ví dụ trực quan hoặc từ vựng 4.585 tên tích hợp sẵn. Được xây dựng trên các kiến trúc Ultralytics YOLO — YOLOv8, YOLO11 và YOLO26 — và lấy cảm hứng từ YOLO-World, YOLOE đạt độ chính xác zero-shot tiên tiến nhất (state-of-the-art) với tốc độ gần bằng YOLO tập đóng (closed-set).

Bắt đầu nhanh#

Đặt tên các lớp bạn muốn và chạy. YOLOE-26 trả về các hộp giới hạn (box) và mặt nạ instance segmentation cho các danh mục mà nó chưa từng được huấn luyện.

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")

# "double-decker bus" is not a COCO class; YOLOE resolves it from the words alone
model.set_classes(["double-decker bus", "person"])

results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()

Cuộc gọi set_classes() đầu tiên sẽ tải xuống một bộ mã hóa văn bản (text encoder); hãy xem phần Installation and Requirements trước khi triển khai lên máy không có kết nối mạng.

Chọn Chế độ Prompt#

YOLOE hỗ trợ ba chế độ prompt, và lựa chọn này quyết định checkpoint nào bạn tải cũng như nhãn lớp của bạn trông như thế nào. Hãy chọn hàng khớp với những gì bạn có thể cung cấp tại thời điểm suy luận.

Cài đặt và Yêu cầu#

YOLOE có sẵn trong gói Ultralytics chính:

pip install -U ultralytics

Text prompting cần thêm một bộ mã hóa văn bản bên trên, và nó được lấy về khi sử dụng lần đầu thay vì lúc cài đặt:

• Cuộc gọi set_classes() đầu tiên sẽ cài đặt ultralytics/CLIP từ GitHub với pip (cung cấp trình tokenizer) và tải xuống một bộ mã hóa văn bản TorchScript vào thư mục làm việc hiện tại. YOLOE-26 kéo về mobileclip2_b.ts, khoảng 254 MB; YOLOE-11 và YOLOE-v8 kéo về mobileclip_blt.ts. Hãy chạy tải xuống một lần từ thư mục bạn sẽ chạy, hoặc sao chép tệp vào đó, nếu không nó sẽ bị tải lại.
• Cả hai bước đều cần quyền truy cập mạng, vì vậy hãy chạy một dự đoán có prompt trước khi triển khai lên máy ngoại tuyến hoặc cách ly (air-gapped).
• Visual prompt và checkpoint không có prompt hoàn toàn không cần bộ mã hóa văn bản.

Các checkpoint YOLOE-26 yêu cầu ultralytics 8.4.0 trở lên; các dòng YOLOE-11 và YOLOE-v8 có sẵn ở các phiên bản trước đó. Một dự đoán sử dụng text-prompt sẽ kiểm tra toàn bộ luồng — tải checkpoint, cài đặt CLIP, bộ mã hóa văn bản, suy luận:

yolo predict model=yoloe-26s-seg.pt source="https://ultralytics.com/images/bus.jpg" classes="person"

Để bỏ qua hoàn toàn việc tải xuống bộ mã hóa văn bản tại thời điểm suy luận, hãy nhúng sẵn các prompt vào trọng số một lần và tái sử dụng chúng — xem phần Reuse prompt embeddings.

Tổng quan về kiến trúc#

YOLOE giữ cấu trúc YOLO chuẩn — một backbone tích chập (convolutional) để trích xuất đặc trưng, một neck để hợp nhất đa tỷ lệ, và một đầu ra phi mỏ neo, phân tách (anchor-free, decoupled head) dự đoán các lớp và hộp — đồng thời bổ sung ba mô-đun, tương ứng với mỗi chế độ prompt:

• Re-parameterizable Region-Text Alignment (RepRTA) tinh chỉnh các embedding văn bản từ CLIP thông qua một mạng phụ nhỏ. Mạng đó chạy một lần cho mỗi lệnh gọi set_classes() và được gập lại khi xuất mô hình (export), do đó không tốn chi phí cho mỗi khung hình (frame). Thành phần thực sự chạy trên mỗi lần truyền xuôi (forward pass) là việc so sánh các embedding prompt đã lưu trữ với các đặc trưng vùng; xem phần Limitations để biết chi phí khi sử dụng tập prompt lớn.
• Semantic-Activated Visual Prompt Encoder (SAVPE) mã hóa các đặc trưng ngữ nghĩa và kích hoạt từ một hộp ví dụ, điều kiện hóa mô hình trên các đối tượng trông giống như vậy. Đây là đường dẫn one-shot cho các mục tiêu khó đặt tên, chẳng hạn như logo hoặc một bộ phận cụ thể.
• Lazy Region-Prompt Contrast (LRPC) khớp các embedding vùng với từ vựng 4.585 tên tích hợp sẵn, giúp các checkpoint không có prompt nhận diện được đối tượng mà không cần prompt bên ngoài hay bộ mã hóa văn bản.

Instance segmentation đến từ một nhánh mặt nạ trên đầu ra phát hiện, giống như trong YOLOv8-Seg, và mọi dự đoán đều mang theo một mặt nạ trên results[0].masks. Sau khi mô hình được xuất, các mô-đun thế giới mở được tái tham số hóa thành đầu ra YOLO tiêu chuẩn, do đó tệp đã xuất chạy đường dẫn phát hiện/phân đoạn thông thường.

Các Mô Hình Khả Dụng#

Mọi checkpoint bên dưới đều là mô hình instance segmentation và hỗ trợ val, predict, export và track. Tải tệp *-seg.pt cho text hoặc visual prompting và tệp *-seg-pf.pt cho suy luận không có prompt; chúng không thể thay thế cho nhau, hãy xem Choosing a Prompting Mode. Chỉ các tệp *-seg.pt mới hỗ trợ train; checkpoint không có prompt được tạo ra từ mô hình text-prompt đã được huấn luyện, xem Training the Official Models from Scratch.

Hiệu Suất YOLOE trên LVIS#

Kết quả zero-shot trên tập LVIS minival ở độ phân giải 640 pixel, trích từ bài báo Ultralytics YOLO26.

Text và visual prompt#

Mỗi ô độ chính xác và tham số hiển thị text prompt / visual prompt; FLOPs chỉ được cung cấp một lần. Các tham số và FLOPs áp dụng cho cấu hình phát hiện mà bài báo đánh giá. Độ chính xác là chỉ số Non-E2E của bài báo, giao thức duy nhất được báo cáo cho mọi mô hình trong phép so sánh; đầu ra end-to-end của YOLOE-26 thấp hơn tối đa 1.1 AP theo text prompt và 2.6 AP theo visual prompt.

Không cần prompt#

Các checkpoint không có prompt trả lời dựa trên từ vựng tích hợp sẵn mà không cần cung cấp prompt. Mỗi ô độ chính xác hiển thị end-to-end / Non-E2E, hai giao thức mà bài báo dùng để đánh giá YOLOE-26; trang YOLO26 trích dẫn cột Non-E2E.

Dưới các prompt văn bản và trực quan, các mô hình YOLOE-26 vượt trội hơn các phiên bản tương đương YOLOE-11 và YOLOE-v8 ở mọi tỷ lệ tương ứng trên mAP_50-95, trong khi vẫn duy trì mức thông số và FLOPs thấp hơn dòng v8. Trên cùng một tập chia (split), bài báo báo cáo YOLO-Worldv2 đạt 24.4 (S), 32.4 (M) và 35.5 (L), các bộ phát hiện dựa trên Transformer GLIP-T đạt 26.0, GDINO-T đạt 27.4 và DetCLIP-T đạt 34.4, mỗi mô hình có từ 155 đến 232 triệu tham số. Bài báo YOLOE gốc bổ sung hai kết quả cho các mô hình quy mô v8 mà nó giới thiệu. Trên LVIS, YOLOE-v8s đánh bại YOLO-Worldv2-S với cách biệt 3.5 AP với 1/3 chi phí huấn luyện và tốc độ suy luận nhanh hơn 1.4 lần. Khi chuyển sang COCO, YOLOE-v8l đạt mức tăng 0.6 box AP và 0.4 mask AP so với YOLOv8-L tập đóng với thời gian huấn luyện ít hơn gần 4 lần.

Ví dụ Sử dụng#

Mọi ví dụ YOLOE dưới đây đều chạy từ Python API. Dự đoán text-prompt, xác thực (validation), xuất, theo dõi và huấn luyện thông thường cũng hoạt động từ CLI; các công thức tinh chỉnh (fine-tuning) và visual prompting truyền một lớp trainer hoặc predictor làm đối số, điều này chỉ được hỗ trợ bởi Python API.

Cách sử dụng Train#

Tinh chỉnh bất kỳ checkpoint *-seg.pt nào được phát hành trên tập dữ liệu YOLO của riêng bạn. Quá trình này chủ yếu tuân theo quy trình huấn luyện YOLO chuẩn; sự khác biệt nằm ở trainer bạn truyền vào. YOLOEPESegTrainer tích hợp tên lớp của bạn vào đầu ra và tinh chỉnh từ đó, đó là những gì bạn muốn cho nhãn của riêng mình; trainer mặc định không huấn luyện dựa trên tên lớp của bạn.

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPESegTrainer

model = YOLOE("yoloe-26s-seg.pt")

results = model.train(
    data="coco128-seg.yaml",
    epochs=80,
    patience=10,
    trainer=YOLOEPESegTrainer,  # <- Important: the fine-tuning trainer, not the default
)

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEPETrainer

model = YOLOE("yoloe-26s.yaml").load("yoloe-26s-seg.pt")

results = model.train(data="coco128.yaml", epochs=80, patience=10, trainer=YOLOEPETrainer)

Cách sử dụng Predict#

Cuộc gọi text-prompt là lệnh được hiển thị trong phần Quick Start. Hai chế độ còn lại mỗi chế độ cần một đối số bổ sung:

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

# One example box per target, each with its own class ID
visual_prompts = {
    "bboxes": np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # person, glasses
    "cls": np.array([0, 1]),
}

results = model.predict(
    "ultralytics/assets/bus.jpg",
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {"bboxes": np.array([[221.52, 405.8, 344.98, 857.54]]), "cls": np.array([0])}  # person

results = model.predict(
    "ultralytics/assets/zidane.jpg",  # Target image
    refer_image="ultralytics/assets/bus.jpg",  # Where the example boxes live
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

# refer_image also sets the classes permanently, so later calls need no prompts at all
results = model("ultralytics/assets/bus.jpg")
model.export(format="onnx")  # And the export keeps them

import numpy as np
import torch

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-11l-seg.pt")

img_tensor = torch.rand(1, 3, 480, 480)  # (1, 3, H, W) float tensor in [0, 1]
visual_prompts = {"bboxes": np.array([[10, 10, 50, 50]]), "cls": np.array([0])}

results = model.predict(
    img_tensor,
    refer_image=img_tensor,
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
    imgsz=640,
)

import numpy as np

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

model = YOLOE("yoloe-26l-seg.pt")

visual_prompts = {
    "bboxes": [
        np.array([[221.52, 405.8, 344.98, 857.54], [120, 425, 160, 445]]),  # bus.jpg: person, glasses
        np.array([[150, 200, 1150, 700]]),  # zidane.jpg: person
    ],
    "cls": [np.array([0, 1]), np.array([0])],
}

results = model.predict(
    ["ultralytics/assets/bus.jpg", "ultralytics/assets/zidane.jpg"],
    visual_prompts=visual_prompts,
    predictor=YOLOEVPSegPredictor,
)
results[0].show()

Cách sử dụng Val#

Quá trình validation chạy giống như bất kỳ mô hình nào khác trên tập dữ liệu segmentation:

from ultralytics import YOLOE

model = YOLOE("yoloe-26l-seg.pt")  # or yoloe-26s/m-seg.pt for other sizes

metrics = model.val(data="coco128-seg.yaml")

Hai biến thể của cùng một lệnh bao gồm các chế độ prompt còn lại:

• Visual prompt — model.val(data="coco128-seg.yaml", load_vp=True) trích xuất một embedding trực quan cho mỗi danh mục từ chính tập dữ liệu. Thêm refer_data="coco.yaml" để lấy các embedding từ một tập dữ liệu khác, bắt buộc phải có chính xác các danh mục tương tự.
• Không có prompt — tải checkpoint *-seg-pf.pt và truyền single_cls=True.

Cách sử dụng xuất (Export)#

Prompt embeddings có thể được lưu một lần và tái sử dụng khi tạo các bản export tĩnh như ONNX, OpenVINO, TensorRT, CoreML, LiteRT và RKNN. Hồ sơ NPZ được load bởi model PyTorch gốc trước khi export; nó không phải là một đầu vào runtime bổ sung, và model đã export không yêu cầu file NPZ.

from ultralytics import YOLOE

model = YOLOE("yoloe-26n-seg.pt")
model.set_classes(["person", "bus"])
model.save_prompt_embeddings("person-bus.npz")

# The profile is bound to the source checkpoint and can be reused for later exports.
model = YOLOE("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="onnx")

Cùng một profile prompt cũng có thể cấu hình một model chỉ dành cho detection được xây dựng từ kiến trúc YOLOE tương ứng. Thao tác này loại bỏ nhánh mask trong khi vẫn giữ lại các lớp được prompt:

from ultralytics import YOLOE

model = YOLOE("yoloe-26n.yaml").load("yoloe-26n-seg.pt")
model.load_prompt_embeddings("person-bus.npz")
model.export(format="rknn", name="rk3588", quantize=16)

Cách sử dụng Track#

Các lớp được prompt sẽ đi thẳng vào tracking, cho phép bạn theo dõi các đối tượng mà trình theo dõi chưa từng được huấn luyện:

from ultralytics import YOLOE

model = YOLOE("yoloe-26s-seg.pt")
model.set_classes(["forklift", "pallet"])

# persist=True keeps track IDs stable across frames
for result in model.track("path/to/video.mp4", stream=True, persist=True):
    print(result.boxes.id)

YOLOE So Sánh Như Thế Nào#

YOLOE nằm giữa một bộ phát hiện tập đóng và một mô hình mở-từ-vựng hạng nặng. Ba phép so sánh quyết định xem đây có phải là lựa chọn phù hợp hay không:

• So với một YOLO tập đóng. Khi các prompt được thiết lập, YOLOE dự đoán qua đường dẫn phát hiện/phân đoạn thông thường và xuất mô hình giống như bất kỳ mô hình nào khác. Điểm cộng là khả năng thay đổi danh sách lớp tại thời điểm suy luận thay vì phải huấn luyện lại; chi phí là độ chính xác zero-shot thấp hơn đáng kể so với mô hình được huấn luyện trên các lớp của riêng bạn.
• So với các dòng YOLOE trước đó. YOLOE-26 kế thừa đầu ra end-to-end không dùng NMS của YOLO26 và bao phủ năm tỷ lệ (n/s/m/l/x) so với ba tỷ lệ trước đây (s/m/l), đồng thời dẫn đầu ở mọi tỷ lệ tương ứng về Performance.
• So với các bộ phát hiện mở-từ-vựng dựa trên Transformer. GLIP và OWL-ViT chạy một transformer thị giác-ngôn ngữ tại thời điểm suy luận. YOLOE mã hóa các prompt một lần và sau đó so sánh chúng với các đặc trưng vùng bên trong một đầu ra tích hợp.

Các giải pháp thay thế gần nhất đều nhận text prompt, nhưng chỉ có YOLOE và SAM 3 trả về mặt nạ, và ba mô hình này trả lời các câu hỏi khác nhau:

Đến từ YOLO-World? API có cùng cấu trúc: thay thế YOLOWorld bằng YOLOE, tải checkpoint *-seg.pt, và giữ nguyên lời gọi set_classes() của bạn. Bạn nhận được các mask và prompt trực quan; ghi chú xuất về các lớp bị đóng băng áp dụng cho cả hai.

Các trường hợp sử dụng và ứng dụng#

Phát hiện từ vựng mở loại bỏ bước huấn luyện lại cho từng lớp, điều này quan trọng nhất khi danh sách mục tiêu chưa được biết trước:

• Phát hiện thế giới mở — robotics và hệ thống an ninh gặp các đối tượng mà không ai liệt kê trong quá trình huấn luyện.
• Phát hiện một mẫu từ một ví dụ — các prompt trực quan chọn ra một bộ phận, logo hoặc lỗi cụ thể từ một bounding box tham chiếu duy nhất, hữu ích trong kiểm tra công nghiệp.
• Lập danh mục đuôi dài — từ vựng tích hợp sẵn gồm 4.585 tên đủ rộng cho giám sát đa dạng sinh học hoặc quét hàng tồn kho bán lẻ.
• Khởi tạo tập dữ liệu — gán nhãn trước cho hình ảnh bằng bounding box và mask trước khi con người xem xét, sau đó huấn luyện một model tập đóng nhanh trên kết quả đó.
• Phân đoạn các mục tiêu tùy ý — các checkpoint *-seg.pt được phát hành trả về một mask với mọi dự đoán, do đó hình ảnh y tế và phân tích vệ tinh có được đầu ra chính xác đến từng pixel mà không cần model thứ hai.

Một mẫu phổ biến kết hợp hai chế độ: chạy không cần prompt một lần để khám phá những gì có mặt, sau đó chuyển sang prompt văn bản cho các danh mục quan trọng.

Hạn chế#

YOLOE đánh đổi độ chính xác lấy khả năng thay đổi các lớp tại thời điểm suy luận. Những hệ quả đáng biết trước khi bạn cam kết:

• Độ chính xác zero-shot thấp hơn đáng kể so với model được huấn luyện trên các lớp của bạn. Các checkpoint được prompt nằm ở mức khoảng 22-40 mAP trên LVIS minival; một model YOLO tập đóng được huấn luyện trên dữ liệu của riêng bạn sẽ vượt trội hơn ở các lớp đó. Hãy sử dụng YOLOE để bao phủ các lớp mà bạn không thể huấn luyện, chứ không phải để thay thế việc huấn luyện.
• Các danh mục hiếm là điểm yếu. Cột mAP_r trong Hiệu năng báo cáo độ chính xác cụ thể trên các lớp hiếm của LVIS, và dưới dạng prompt văn bản, nó nằm dưới các cột chung và thường xuyên ở mọi hàng. Hãy kiểm tra cột này thay vì mAP chính khi mục tiêu của bạn là bất thường.
• Một prompt mô tả ngoại hình, không phải mối quan hệ. Phát hiện hoạt động bằng cách so sánh các đặc trưng vùng với embedding của prompt, do đó các prompt phụ thuộc vào trạng thái, bối cảnh hoặc so sánh — "bị hỏng", "ở cùng bên trái", "đang được mang" — không có điểm bám đáng tin cậy để khớp. Ưu tiên từ ngữ gần gũi với tên danh mục hàng ngày.
• Các tập prompt lớn làm tăng độ trễ. Các embedding prompt được tính toán một lần, nhưng chúng được so sánh với các đặc trưng vùng trên mọi lượt forward pass. Đo lường trên CPU với yoloe-26s-seg.pt, một lượt forward pass tăng khoảng 19% khi chuyển từ 80 lên 1.203 lớp và khoảng 89% ở toàn bộ từ vựng 4.585 tên. Các FLOP được báo cáo không hề thay đổi, bởi vì độ tương đồng vùng-văn bản không được tính, vì vậy cấu hình sẽ không cảnh báo bạn.
• Tên lớp là phần giữ chỗ cho đến khi bạn prompt. Một checkpoint *-seg.pt mới được tải báo cáo nc=80 với các tên dạng số ("0", "1", …), vì vậy hãy gọi set_classes() trước khi đọc nhãn. Các checkpoint không cần prompt cung cấp sẵn toàn bộ từ vựng đã được điền.

Ghi chú Triển khai#

• Phần cứng. Quá trình suy luận cần GPU NVIDIA với 4-8 GB VRAM; các quy mô n và s chạy trên các GPU edge như Jetson hoặc trên CPU ở độ phân giải giảm. Việc tinh chỉnh (fine-tuning) cần một GPU duy nhất.
• NMS bất khả tri theo lớp theo mặc định. YOLOE dự đoán với agnostic_nms=True. Trên YOLOE-11 và YOLOE-v8, điều này loại bỏ các bounding box chồng chéo có điểm số thấp hơn trên các lớp khác nhau thay vì chỉ trong cùng một lớp, giúp ngăn chặn các bản sao khi một đối tượng khớp với nhiều danh mục. Các model YOLOE-26 end-to-end không áp dụng việc loại bỏ IoU nào cả; ở đó, chế độ bất khả tri chỉ giữ lại lớp tốt nhất duy nhất cho mỗi anchor thay vì cho phép một anchor phát ra nhiều nhãn lớp. Truyền agnostic_nms=False để ghi đè.
• Xử lý theo batch. Suy luận theo batch hoạt động trực tiếp, và các prompt trực quan có thể khác nhau giữa các hình ảnh trong cùng một lệnh gọi.

Huấn luyện các Model Chính thức từ Đầu#

Hầu hết người đọc không bao giờ cần điều này. Nó tái tạo các checkpoint từ vựng mở đã được công bố từ Objects365, GQA và Flickr30k — khoảng 1,4 triệu mẫu huấn luyện trên 8× RTX 4090 — và không liên quan đến việc tinh chỉnh trên dữ liệu của riêng bạn, được đề cập trong mục Cách sử dụng Huấn luyện ở trên.

Việc huấn luyện cần các chú thích phân đoạn (segment annotation). Hoặc tải xuống các tệp đã xử lý bên dưới, hoặc tự tạo bằng script được cung cấp bởi nhóm chính thức, được hỗ trợ bởi SAM 2.1. Quá trình xác thực sử dụng LVIS minival.

Model prompt văn bản được huấn luyện đầu tiên, và hai chế độ prompt còn lại là các cải tiến từ nó:

from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOESegTrainerFromScratch

data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr/full_images/",
                "json_file": "flickr/annotations/final_flickr_separateGT_train_segm.json",
            },
            {
                "img_path": "mixed_grounding/gqa/images",
                "json_file": "mixed_grounding/annotations/final_mixed_train_no_coco_segm.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

model = YOLOE("yoloe-26l-seg.yaml")
model.train(
    data=data,  # or the path to a YAML file holding the same structure
    batch=128,
    epochs=30,
    close_mosaic=2,
    optimizer="AdamW",
    lr0=2e-3,
    warmup_bias_lr=0.0,
    weight_decay=0.025,
    momentum=0.9,
    workers=4,
    trainer=YOLOESegTrainerFromScratch,
    device="0,1,2,3,4,5,6,7",
)

Các checkpoint prompt trực quan và không cần prompt bắt đầu từ model prompt văn bản đã được huấn luyện đó và cập nhật mỗi lần một module. YOLOESegVPTrainer là công thức prompt trực quan và YOLOEPEFreeTrainer là công thức không cần prompt, nhưng không lớp nào đóng băng bất cứ thứ gì một mình: việc huấn luyện chọn lọc đến từ danh sách freeze bạn truyền song song, đặt tên cho mọi phần tử con head ngoại trừ savpe (tương ứng với mọi tháp phân loại), và lượt chạy không cần prompt bổ sung thêm single_cls=True. Kho lưu trữ YOLOE gốc chứa các công thức đầy đủ cho các model quy mô v8.

Một lượt chạy không cần prompt hoàn chỉnh được tái tham số hóa thành một checkpoint báo cáo tên của nó mà không cần prompt khi suy luận, sử dụng get_vocab và set_vocab:

from ultralytics import YOLOE

# Weights written by the prompt-free run and by the text-prompt run it started from. Each
# rerun creates a new directory (train-2, train-3, ...), so take the paths the runs printed.
model = YOLOE("runs/segment/train-2/weights/best.pt")  # prompt-free run, its head is already fused
text_model = YOLOE("runs/segment/train/weights/best.pt")  # text-prompt run, its head is still unfused

names = list(YOLOE("yoloe-26l-seg-pf.pt").model.names.values())  # the 4,585-name vocabulary, or your own list
vocab = text_model.get_vocab(names)

model.set_vocab(vocab, names)
model.save("yoloe-26l-seg-pf-custom.pt")  # never overwrite the released checkpoint

Trích dẫn và Ghi nhận#

Nếu YOLOE đã đóng góp cho nghiên cứu hoặc dự án của bạn, vui lòng trích dẫn bài báo gốc bởi Ao Wang, Lihao Liu, Hui Chen, Zijia Lin, Jungong Han, và Guiguang Ding từ Đại học Thanh Hoa:

@misc{wang2025yoloerealtimeseeing,
      title={YOLOE: Real-Time Seeing Anything},
      author={Ao Wang and Lihao Liu and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},
      year={2025},
      eprint={2503.07465},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.07465},
}

Để đọc thêm, bài báo YOLOE gốc có sẵn trên arXiv. Mã nguồn của dự án và các tài nguyên bổ sung có thể được truy cập thông qua GitHub repository của họ.

Câu hỏi thường gặp#