SAM 2: 무엇이든 세그먼트 모델 2

SAM 2는 이미지와 동영상 모두에서 포괄적인 객체 분할을 위해 설계된 최첨단 도구로, 메타의 Segment Anything Model(SAM)의 후속 버전입니다. 실시간 처리와 제로 샷 일반화를 지원하는 통합적이고 신속한 모델 아키텍처를 통해 복잡한 시각 데이터를 처리하는 데 탁월합니다.

주요 기능

Watch: 메타를 사용하여 추론을 실행하는 방법 SAM2 Ultralytics | 단계별 가이드 🎉

통합 모델 아키텍처

SAM 2는 이미지 및 비디오 세분화 기능을 단일 모델에 결합합니다. 이러한 통합으로 배포가 간소화되고 다양한 미디어 유형에서 일관된 성능을 제공할 수 있습니다. 유연한 프롬프트 기반 인터페이스를 활용하여 사용자가 포인트, 경계 상자 또는 마스크와 같은 다양한 프롬프트 유형을 통해 관심 있는 개체를 지정할 수 있습니다.

실시간 성능

이 모델은 초당 약 44프레임을 처리하는 실시간 추론 속도를 달성합니다. 따라서 SAM 2는 비디오 편집 및 증강 현실과 같이 즉각적인 피드백이 필요한 애플리케이션에 적합합니다.

제로 샷 일반화

SAM 2는 이전에 본 적이 없는 물체를 세분화하여 강력한 제로 샷 일반화를 보여줄 수 있습니다. 이는 사전 정의된 카테고리가 가능한 모든 객체를 포괄하지 못할 수 있는 다양하거나 진화하는 시각적 영역에서 특히 유용합니다.

대화형 개선

사용자는 추가 프롬프트를 제공하여 세분화 결과를 반복적으로 세분화할 수 있으므로 출력을 정밀하게 제어할 수 있습니다. 이러한 상호작용 기능은 비디오 주석이나 의료 영상과 같은 애플리케이션에서 결과를 미세 조정하는 데 필수적입니다.

시각적 과제에 대한 고급 처리

SAM 2에는 오브젝트 오클루전 및 재출현과 같은 일반적인 비디오 분할 문제를 관리할 수 있는 메커니즘이 포함되어 있습니다. 정교한 메모리 메커니즘을 사용하여 여러 프레임에 걸쳐 객체를 추적함으로써 객체가 일시적으로 가려지거나 장면에서 빠져나갔다가 다시 들어오는 경우에도 연속성을 보장합니다.

SAM 2의 아키텍처와 기능에 대해 자세히 알아보려면 SAM 2 연구 논문을 참조하세요.

성능 및 기술 세부 정보

SAM 2는 다양한 지표에서 이전 모델을 능가하는 새로운 벤치마크를 제시합니다:

모델 아키텍처

핵심 구성 요소

• 이미지 및 비디오 인코더: 트랜스포머 기반 아키텍처를 활용하여 이미지와 비디오 프레임 모두에서 높은 수준의 특징을 추출합니다. 이 구성 요소는 각 타임스텝에서 시각적 콘텐츠를 이해하는 역할을 담당합니다.
• 프롬프트 인코더: 사용자가 제공한 프롬프트(점, 상자, 마스크)를 처리하여 세분화 작업을 안내합니다. 이를 통해 SAM 2는 사용자 입력에 적응하고 장면 내의 특정 개체를 대상으로 지정할 수 있습니다.
• 메모리 메커니즘: 메모리 인코더, 메모리 뱅크, 메모리 주의 모듈이 포함됩니다. 이러한 구성 요소는 과거 프레임의 정보를 종합적으로 저장하고 활용하여 모델이 시간이 지나도 일관된 객체 추적을 유지할 수 있도록 합니다.
• 마스크 디코더: 인코딩된 이미지 특징과 프롬프트를 기반으로 최종 세그먼테이션 마스크를 생성합니다. 비디오에서는 메모리 컨텍스트를 사용하여 프레임 전체에 걸쳐 정확한 추적을 보장합니다.

메모리 메커니즘 및 오클루전 처리

메모리 메커니즘을 통해 SAM 2는 비디오 데이터의 시간적 종속성과 오클루전을 처리할 수 있습니다. 객체가 움직이고 상호 작용할 때 SAM 2는 객체의 특징을 메모리 뱅크에 기록합니다. 오브젝트가 가려지면 모델은 이 메모리를 사용하여 다시 나타날 때의 위치와 모양을 예측할 수 있습니다. 오클루전 헤드는 특히 오브젝트가 보이지 않는 시나리오를 처리하여 오브젝트가 가려질 가능성을 예측합니다.

멀티 마스크 모호성 해결

물체가 겹치는 등 모호한 상황에서는 SAM 2에서 여러 개의 마스크 예측을 생성할 수 있습니다. 이 기능은 단일 마스크로 장면의 뉘앙스를 충분히 설명하지 못할 수 있는 복잡한 장면을 정확하게 표현하는 데 매우 중요합니다.

SA-V 데이터 세트

SAM 2의 교육을 위해 개발된 SA-V 데이터 세트는 가장 크고 다양한 비디오 세분화 데이터 세트 중 하나입니다. 여기에는 다음이 포함됩니다:

• 51,000개 이상의 동영상: 47개국에서 촬영하여 다양한 실제 시나리오를 제공합니다.
• 600,000개 이상의 마스크 주석: '마스크 릿'이라고 하는 상세한 시공간 마스크 주석으로 전체 오브젝트와 부품을 포괄합니다.
• 데이터 세트 규모: 이전 최대 데이터 세트보다 4.5배 더 많은 동영상과 53배 더 많은 주석이 포함되어 있어 전례 없는 다양성과 복잡성을 제공합니다.

벤치마크

비디오 오브젝트 세분화

SAM 2는 주요 비디오 세분화 벤치마크에서 우수한 성능을 입증했습니다:

대화형 세분화

대화형 세분화 작업에서 SAM 2는 상당한 효율성과 정확성을 보여줍니다:

설치

SAM 2를 설치하려면 다음 명령을 사용합니다. 모든 SAM 2 모델은 처음 사용할 때 자동으로 다운로드됩니다.

pip install ultralytics

사용 방법 SAM 2: 이미지 및 동영상 세분화의 다양성

다음 표에서는 사용 가능한 SAM 2 모델, 사전 학습된 가중치, 지원되는 작업, 추론, 검증, 학습, 내보내기 등 다양한 운영 모드와의 호환성에 대해 자세히 설명합니다.

SAM 2 예측 예시

SAM 2는 실시간 비디오 편집, 의료 영상, 자율 시스템 등 다양한 작업에서 활용할 수 있습니다. 정적 및 동적 시각 데이터를 모두 세분화할 수 있어 연구자와 개발자를 위한 다용도 도구로 활용할 수 있습니다.

프롬프트가 있는 세그먼트

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

모든 것을 세분화

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

# Run inference with a SAM 2 model
yolo predict model=sam2.1_b.pt source=path/to/video.mp4

• 이 예는 프롬프트(b박스/포인트/마스크)가 제공되지 않은 경우 SAM 2를 사용하여 이미지 또는 동영상의 전체 콘텐츠를 세그먼트화하는 방법을 보여줍니다.

SAM 2 비교 vs YOLOv8

YOLOv8n여기서는 Meta의 가장 작은 SAM 2 모델인 SAM2-t와 가장 작은 세분화 모델인 Ultralytics -seg를 비교합니다 :

이 비교는 모델 간의 모델 크기와 속도에서 엄청난 차이를 보여줍니다. SAM 은 자동 세그먼트를 위한 고유한 기능을 제공하지만, 더 작고 빠르며 효율적인 YOLOv8 세그먼트 모델과 직접적으로 경쟁하는 것은 아닙니다.

테스트는 16GB RAM이 장착된 2023년형 Apple M2 Macbook에서 다음을 사용하여 실행되었습니다. torch==2.3.1 그리고 ultralytics==8.3.82. 이 테스트를 재현하려면:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLOv8n-seg
model = YOLO("yolov8n-seg.pt")
model.info()
model(ASSETS)

자동 주석: 효율적인 데이터 집합 생성

자동 주석은 SAM 2의 강력한 기능으로, 사용자는 사전 학습된 모델을 활용하여 빠르고 정확하게 세분화 데이터 세트를 생성할 수 있습니다. 이 기능은 많은 수작업 없이 대규모의 고품질 데이터 세트를 생성하는 데 특히 유용합니다.

SAM 2로 자동 주석을 다는 방법

SAM 2를 사용하여 데이터 집합에 자동 주석을 달려면 이 예제를 따르세요:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo11x.pt", sam_model="sam2_b.pt")

이 기능을 사용하면 고품질의 세분화 데이터 세트를 빠르게 생성할 수 있어 프로젝트 속도를 높이려는 연구자와 개발자에게 이상적입니다.

제한 사항

이러한 장점에도 불구하고 SAM 2에는 몇 가지 한계가 있습니다:

• 추적 안정성: SAM 2는 시퀀스가 확장되거나 시점이 크게 변경되는 동안 오브젝트를 추적하지 못할 수 있습니다.
• 오브젝트 혼동: 특히 혼잡한 장면에서 모델이 비슷한 모양의 물체를 혼동하는 경우가 있습니다.
• 여러 개체를 사용한 효율성: 여러 개체를 동시에 처리할 경우 개체 간 통신이 부족하기 때문에 세분화 효율성이 떨어집니다.
• 디테일 정확도: 특히 빠르게 움직이는 물체의 경우 미세한 디테일을 놓칠 수 있습니다. 추가 프롬프트를 사용하면 이 문제를 부분적으로 해결할 수 있지만 시간적 부드러움이 보장되지는 않습니다.

인용 및 감사

SAM 2가 연구 또는 개발 작업의 중요한 부분인 경우 다음 참조를 사용하여 인용해 주세요:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

이 획기적인 모델과 데이터 세트를 통해 AI 커뮤니티에 기여한 Meta AI에 감사의 마음을 전합니다.

자주 묻는 질문

SAM 2는 무엇이며 기존 Segment Anything 모델(SAM)을 어떻게 개선했나요?

SAM 2는 이미지와 동영상 모두에서 포괄적인 객체 분할을 위해 설계된 최첨단 도구로, 메타의 Segment Anything Model(SAM)의 후속 버전입니다. 실시간 처리와 제로 샷 일반화를 지원하는 통합적이고 신속한 모델 아키텍처를 통해 복잡한 시각 데이터를 처리하는 데 탁월합니다. SAM 2는 기존 버전( SAM)에 비해 다음과 같은 몇 가지 개선 사항을 제공합니다:

• 통합 모델 아키텍처: 이미지 및 비디오 세분화 기능을 단일 모델에 결합합니다.
• 실시간 성능: 초당 약 44프레임을 처리하므로 즉각적인 피드백이 필요한 애플리케이션에 적합합니다.
• 제로 샷 일반화: 다양한 시각적 영역에서 유용한, 이전에 접한 적이 없는 객체를 세그먼트화합니다.
• 대화형 세분화: 추가 프롬프트를 제공하여 사용자가 세분화 결과를 반복적으로 구체화할 수 있습니다.
• 고급 시각적 문제 처리: 오브젝트 오클루전 및 다시 나타나기 같은 일반적인 비디오 분할 문제를 관리합니다.

SAM 2의 아키텍처 및 기능에 대한 자세한 내용은 SAM 2 연구 논문을 참조하세요.

실시간 동영상 분할에 SAM 2를 사용하려면 어떻게 해야 하나요?

SAM 2의 프롬프트 가능한 인터페이스와 실시간 추론 기능을 활용하여 실시간 동영상 분할에 활용할 수 있습니다. 다음은 기본적인 예시입니다:

from ultralytics import SAM

# Load a model
model = SAM("sam2_b.pt")

# Display model information (optional)
model.info()

# Segment with bounding box prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Segment with point prompt
results = model("path/to/image.jpg", points=[150, 150], labels=[1])

보다 자세한 사용 방법은 SAM 2 섹션을 참조하세요.

SAM 2를 학습시키는 데 어떤 데이터 세트가 사용되며, 어떻게 성능을 향상시키나요?

SAM 2는 가장 크고 다양한 비디오 세분화 데이터 세트 중 하나인 SA-V 데이터 세트를 기반으로 학습되었습니다. SA-V 데이터 세트에는 다음이 포함됩니다:

• 51,000개 이상의 동영상: 47개국에서 촬영하여 다양한 실제 시나리오를 제공합니다.
• 600,000개 이상의 마스크 주석: '마스크 릿'이라고 하는 상세한 시공간 마스크 주석으로 전체 오브젝트와 부품을 포괄합니다.
• 데이터 세트 규모: 이전 최대 데이터 세트보다 4.5배 더 많은 동영상과 53배 더 많은 주석이 포함되어 있어 전례 없는 다양성과 복잡성을 제공합니다.

이 광범위한 데이터 세트를 통해 SAM 2는 주요 비디오 세분화 벤치마크에서 우수한 성능을 달성하고 제로 샷 일반화 기능을 향상시킬 수 있습니다. 자세한 내용은 SA-V 데이터 세트 섹션을 참조하세요.

SAM 2는 비디오 분할에서 오클루전 및 오브젝트 재출현을 어떻게 처리하나요?

SAM 2에는 비디오 데이터의 시간적 종속성과 오클루전을 관리하기 위한 정교한 메모리 메커니즘이 포함되어 있습니다. 메모리 메커니즘은 다음과 같이 구성됩니다:

• 메모리 인코더 및 메모리 뱅크: 지난 프레임의 기능을 저장합니다.
• 메모리 주의 모듈: 저장된 정보를 활용하여 시간이 지나도 일관된 개체 추적을 유지합니다.
• 오클루전 헤드: 오브젝트가 보이지 않는 시나리오를 구체적으로 처리하여 오브젝트가 가려질 가능성을 예측합니다.

이 메커니즘은 오브젝트가 일시적으로 가려지거나 씬에서 나갔다가 다시 들어오는 경우에도 연속성을 보장합니다. 자세한 내용은 메모리 메커니즘 및 오클루전 처리 섹션을 참조하십시오.

SAM 2는 YOLOv8 과 같은 다른 세분화 모델과 어떻게 비교되나요?

SAM 2와 Ultralytics YOLOv8 은 서로 다른 용도로 사용되며 각기 다른 영역에서 뛰어난 성능을 발휘합니다. SAM 2는 제로 샷 일반화 및 실시간 성능과 같은 고급 기능을 갖춘 포괄적인 객체 세분화를 위해 설계된 반면, YOLOv8 은 객체 감지 및 세분화 작업의 속도와 효율성에 최적화되어 있습니다. 다음은 비교입니다:

자세한 내용은 SAM 2 비교와 YOLOv8 섹션을 참조하세요.

📅 3 개월 전에 생성됨 ✏️ 업데이트됨 19 일 전

댓글