YOLO-World 모델#

YOLO-World 모델은 오픈 보캐뷸러리 탐지 작업을 위한 고급 실시간 Ultralytics YOLOv8 기반 접근 방식을 제시합니다. 이 혁신적인 방식은 설명 텍스트를 기반으로 이미지 내 모든 객체를 탐지할 수 있습니다. 경쟁력 있는 성능을 유지하면서 연산 요구 사항을 크게 낮춘 YOLO-World는 다양한 비전 기반 애플리케이션에 활용할 수 있는 다목적 도구입니다.

개요#

YOLO-World는 광범위한 연산 리소스가 필요한 복잡한 Transformer 모델에 의존하는 경우가 많은 기존 오픈 보캐뷸러리 탐지 모델의 문제를 해결합니다. 이러한 모델은 사전에 정의된 객체 카테고리에 의존하기 때문에 동적인 환경에서 활용이 제한됩니다. YOLO-World는 비전 언어 모델링을 적용하고 대규모 데이터셋으로 사전 학습하여 YOLOv8 프레임워크에 오픈 보캐뷸러리 탐지 기능을 더합니다. 이를 통해 제로샷 시나리오에서 다양한 객체를 뛰어난 효율성으로 식별합니다.

인스턴스 마스크, 시각적 프롬프트 또는 프롬프트가 필요 없는 모드도 필요한 오픈 보캐뷸러리 작업에는 동일한 set_classes() API를 사용하는 YOLOE를 참조하세요.

주요 기능#

1. 실시간 솔루션: CNN의 연산 속도를 활용하는 YOLO-World는 빠른 오픈 보캐뷸러리 탐지 솔루션을 제공하며 즉각적인 결과가 필요한 산업 분야에 적합합니다.

2. 효율성과 성능: YOLO-World는 성능 저하 없이 연산 및 리소스 요구 사항을 크게 줄입니다. SAM과 같은 모델의 강력한 대안으로, 훨씬 적은 연산 비용으로 실시간 애플리케이션을 구현할 수 있습니다.

3. 오프라인 보캐뷸러리를 사용한 추론: YOLO-World는 효율성을 더욱 높이기 위해 오프라인 보캐뷸러리를 활용하는 "프롬프트 후 탐지" 전략을 도입합니다. 이 접근 방식을 사용하면 캡션이나 카테고리 등 미리 계산된 사용자 지정 프롬프트를 오프라인 보캐뷸러리 임베딩으로 인코딩하고 저장하여 탐지 과정을 간소화할 수 있습니다.

4. YOLOv8 기반: Ultralytics YOLOv8을 기반으로 구축된 YOLO-World는 실시간 객체 탐지의 최신 발전을 활용하여 탁월한 정확도와 속도로 오픈 보캐뷸러리 탐지를 지원합니다.

5. 탁월한 벤치마크 성능: YOLO-World는 표준 벤치마크에서 MDETR 및 GLIP 시리즈를 비롯한 기존 오픈 보캐뷸러리 탐지기보다 속도와 효율성 면에서 뛰어난 성능을 보이며, NVIDIA V100 GPU 한 대에서 YOLOv8의 우수한 성능을 입증합니다.

6. 다양한 애플리케이션: YOLO-World의 혁신적인 접근 방식은 여러 비전 작업에서 새로운 가능성을 열어 주며 기존 방법보다 훨씬 빠른 속도를 제공합니다.

사용 가능한 모델, 지원 작업 및 작동 모드#

이 섹션에서는 사용 가능한 모델과 각 모델의 사전 학습 가중치, 지원 작업, 다양한 운영 모드와의 호환성을 설명합니다. 지원되는 모드는 ✅, 지원되지 않는 모드는 ❌로 표시하며, 운영 모드에는 추론, 검증, 학습, 내보내기가 포함됩니다.

COCO 데이터셋에서의 제로샷 전이#

사용 예시#

YOLO-World 모델은 Python 애플리케이션에 쉽게 통합할 수 있습니다. Ultralytics는 개발을 간소화하는 사용자 친화적인 Python API와 CLI 명령을 제공합니다.

학습 사용법#

아래와 같이 train 메서드를 사용하면 객체 탐지를 간편하게 수행할 수 있습니다.

from ultralytics import YOLOWorld

# 사전 학습된 YOLOv8s-worldv2 모델 로드
model = YOLOWorld("yolov8s-worldv2.pt")

# COCO8 예제 데이터셋으로 100 에포크 동안 모델 학습
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# 'bus.jpg' 이미지에서 YOLO-World 모델로 추론 실행
results = model("path/to/bus.jpg")

예측 사용법#

아래와 같이 predict 메서드를 사용하면 객체 탐지를 간편하게 수행할 수 있습니다.

from ultralytics import YOLOWorld

# YOLO-World 모델 초기화
model = YOLOWorld("yolov8s-world.pt")  # 또는 다양한 크기를 사용하려면 yolov8m/l-world.pt를 선택합니다.

# 지정된 이미지에서 YOLOv8s-world 모델로 추론 실행
results = model.predict("path/to/image.jpg")

# 결과 표시
results[0].show()

이 코드 조각은 사전 학습 모델을 간편하게 불러오고 이미지에서 예측을 실행하는 방법을 보여 줍니다.

검증 사용법#

데이터셋에 대한 모델 검증은 다음과 같이 간소화할 수 있습니다.

from ultralytics import YOLO

# YOLO-World 모델 생성
model = YOLO("yolov8s-world.pt")  # 또는 다양한 크기를 사용하려면 yolov8m/l-world.pt를 선택합니다.

# COCO8 예제 데이터셋에서 모델 검증 수행
metrics = model.val(data="coco8.yaml")

추적 사용법#

YOLO-World 모델을 사용한 비디오/이미지 객체 추적은 다음과 같이 간소화할 수 있습니다.

from ultralytics import YOLO

# YOLO-World 모델 생성
model = YOLO("yolov8s-world.pt")  # 또는 다양한 크기를 사용하려면 yolov8m/l-world.pt를 선택합니다.

# 비디오에서 YOLO-World 모델로 추적
results = model.track(source="path/to/video.mp4")

프롬프트 설정#

YOLO-World 프레임워크에서는 사용자 지정 프롬프트를 통해 클래스를 동적으로 지정할 수 있으므로, 사용자는 재학습 없이 특정 요구에 맞게 모델을 조정할 수 있습니다. 이 기능은 원래 학습 데이터에 포함되지 않았던 새로운 도메인이나 특정 작업에 모델을 적용할 때 특히 유용합니다. 사용자 지정 프롬프트를 설정하면 관심 객체에 모델의 초점을 맞춰 탐지 결과의 관련성과 정확도를 높일 수 있습니다.

예를 들어, 애플리케이션에서 'person' 및 'bus' 객체만 탐지하면 되는 경우 이러한 클래스를 직접 지정할 수 있습니다.

from ultralytics import YOLO

# YOLO-World 모델 초기화
model = YOLO("yolov8s-world.pt")  # 또는 yolov8m/l-world.pt를 선택합니다.

# 사용자 지정 클래스 정의
model.set_classes(["person", "bus"])

# 이미지에서 지정된 카테고리에 대한 예측 실행
results = model.predict("path/to/image.jpg")

# 결과 표시
results[0].show()

model.set_classes(["person", "bus", ""])

사용자 지정 클래스를 설정한 후 모델을 저장할 수도 있습니다. 이렇게 하면 특정 사용 사례에 맞게 특화된 YOLO-World 모델 버전을 만들 수 있습니다. 이 과정에서는 사용자 지정 클래스 정의를 모델 파일에 직접 포함하므로 추가 조정 없이 지정한 클래스를 사용할 수 있는 모델이 준비됩니다. 사용자 지정 YOLO-World 모델을 저장하고 로드하려면 다음 단계를 따르세요.

from ultralytics import YOLO

# YOLO-World 모델 초기화
model = YOLO("yolov8s-world.pt")  # 또는 yolov8m/l-world.pt를 선택합니다.

# 사용자 지정 클래스 정의
model.set_classes(["person", "bus"])

# 정의된 오프라인 어휘와 함께 모델 저장
model.save("custom_yolov8s.pt")

from ultralytics import YOLO

# 사용자 지정 모델 로드
model = YOLO("custom_yolov8s.pt")

# 사용자 지정 클래스를 탐지하도록 추론 실행
results = model.predict("path/to/image.jpg")

# 결과 표시
results[0].show()

사용자 지정 어휘로 저장할 때의 이점#

• 효율성: 관련 객체에 초점을 맞춰 탐지 과정을 간소화하고, 계산 오버헤드를 줄이며 추론 속도를 높입니다.
• 유연성: 대규모 재학습이나 데이터 수집 없이도 새로운 탐지 작업이나 틈새 작업에 모델을 쉽게 적용할 수 있습니다.
• 간편성: 런타임마다 사용자 지정 클래스를 반복해서 지정할 필요가 없어 배포가 간소화되고, 내장된 어휘를 사용해 모델을 바로 사용할 수 있습니다.
• 성능: 정의된 객체를 인식하는 데 모델의 주의와 리소스를 집중시켜 지정된 클래스의 탐지 정확도를 높입니다.

이 접근 방식은 특정 작업에 맞게 최첨단 객체 탐지 모델을 사용자 지정하는 효과적인 방법으로, 고급 AI를 더욱 쉽게 활용하고 더 다양한 실제 애플리케이션에 적용할 수 있게 합니다.

처음부터 공식 결과 재현(실험적)#

데이터셋 준비#

• 학습 데이터

• 검증 데이터

처음부터 학습 시작#

from ultralytics import YOLOWorld
from ultralytics.models.yolo.world.train_world import WorldTrainerFromScratch

# 옵션 1: Python 딕셔너리 사용
data = {
    "train": {
        "yolo_data": ["Objects365.yaml"],
        "grounding_data": [
            {
                "img_path": "flickr30k/images",
                "json_file": "flickr30k/final_flickr_separateGT_train.json",
            },
            {
                "img_path": "GQA/images",
                "json_file": "GQA/final_mixed_train_no_coco.json",
            },
        ],
    },
    "val": {"yolo_data": ["lvis.yaml"]},
}

# 옵션 2: YAML 파일 사용(yolo_world_data.yaml)
# train:
#   yolo_data:
#     - Objects365.yaml
#   grounding_data:
#     - img_path: flickr/full_images/
# json_file: flickr/annotations/final_flickr_separateGT_train_segm.json
# - img_path: mixed_grounding/gqa/images
# json_file: mixed_grounding/annotations/final_mixed_train_no_coco_segm.json
# val:
#   yolo_data:
# - lvis.yaml

model = YOLOWorld("yolov8s-worldv2.yaml")
model.train(
    data=data,  # YAML 파일을 사용하는 경우 data="yolo_world_data.yaml"을 사용합니다.
    batch=128,
    epochs=100,
    trainer=WorldTrainerFromScratch,
)

인용 및 감사의 글#

YOLO-World를 활용한 실시간 오픈 보캐뷸러리 객체 탐지 분야의 선구적인 연구를 수행한 Tencent AILab Computer Vision Center에 깊이 감사드립니다.

@article{cheng2024yolow,
title={YOLO-World: Real-Time Open-Vocabulary Object Detection},
author={Cheng, Tianheng and Song, Lin and Ge, Yixiao and Liu, Wenyu and Wang, Xinggang and Shan, Ying},
journal={arXiv preprint arXiv:2401.17270},
year={2024}
}

자세한 내용은 arXiv에서 YOLO-World 원본 논문을 확인할 수 있습니다. 프로젝트의 소스 코드와 추가 리소스는 GitHub 저장소에서 확인할 수 있습니다. 이 분야의 발전에 기여하고 귀중한 통찰을 커뮤니티와 공유해 주신 데 감사드립니다.

자주 묻는 질문#