SAM 2: 모든 것을 분할하는 모델 2#

Meta의 모든 것을 분할하는 모델(SAM)의 후속 모델인 SAM 2는 이미지와 동영상에서 포괄적인 객체 분할을 수행하도록 설계된 최첨단 도구입니다. 실시간 처리와 제로샷 일반화를 지원하는 통합 프롬프트 기반 모델 아키텍처를 통해 복잡한 시각 데이터를 효과적으로 처리합니다.

주요 기능#

통합 모델 아키텍처#

SAM 2는 이미지와 동영상 분할 기능을 단일 모델로 결합합니다. 이러한 통합으로 배포가 간소화되고 다양한 미디어 유형에서 일관된 성능을 제공할 수 있습니다. 또한 유연한 프롬프트 기반 인터페이스를 활용하여 사용자가 점, 바운딩 박스 또는 마스크와 같은 다양한 프롬프트 유형으로 관심 객체를 지정할 수 있습니다.

실시간 성능#

이 모델은 초당 약 44프레임을 처리하는 실시간 추론 속도를 달성합니다. 따라서 동영상 편집 및 증강 현실처럼 즉각적인 피드백이 필요한 애플리케이션에 적합합니다.

제로샷 일반화#

SAM 2는 이전에 접한 적이 없는 객체도 분할할 수 있어 강력한 제로샷 일반화 성능을 보여줍니다. 이는 사전 정의된 카테고리로 가능한 모든 객체를 포괄하기 어려운 다양하거나 지속적으로 변화하는 시각적 도메인에서 특히 유용합니다.

대화형 개선#

사용자는 추가 프롬프트를 제공하여 분할 결과를 반복적으로 개선하고 출력 결과를 정밀하게 제어할 수 있습니다. 이러한 상호작용 기능은 동영상 주석이나 의료 영상과 같은 애플리케이션에서 결과를 세밀하게 조정하는 데 필수적입니다.

고급 시각적 문제 처리#

SAM 2에는 객체 가림 및 재등장과 같은 일반적인 동영상 분할 문제를 처리하는 메커니즘이 포함되어 있습니다. 정교한 메모리 메커니즘을 사용하여 프레임 간 객체를 추적하므로 객체가 일시적으로 가려지거나 장면에서 사라졌다가 다시 나타나는 경우에도 연속성을 보장합니다.

SAM 2의 아키텍처와 기능을 더 깊이 이해하려면 SAM 2 연구 논문을 살펴보십시오.

성능 및 기술 세부 정보#

SAM 2는 다양한 지표에서 이전 모델을 능가하며 해당 분야의 새로운 벤치마크를 제시합니다:

모델 아키텍처#

핵심 구성 요소#

• 이미지 및 동영상 인코더: 이미지와 동영상 프레임에서 고수준 특징을 추출하기 위해 Transformer 기반 아키텍처를 활용합니다. 이 구성 요소는 각 타임스텝의 시각적 콘텐츠를 이해합니다.
• 프롬프트 인코더: 사용자가 제공한 프롬프트(점, 박스, 마스크)를 처리하여 분할 작업을 안내합니다. 이를 통해 SAM 2가 사용자 입력에 맞게 조정되고 장면 내 특정 객체를 대상으로 지정할 수 있습니다.
• 메모리 메커니즘: 메모리 인코더, 메모리 뱅크 및 메모리 어텐션 모듈을 포함합니다. 이러한 구성 요소는 과거 프레임의 정보를 종합적으로 저장하고 활용하여 모델이 시간에 따른 일관된 객체 추적을 유지할 수 있도록 합니다.
• 마스크 디코더: 인코딩된 이미지 특징과 프롬프트를 기반으로 최종 분할 마스크를 생성합니다. 동영상에서는 프레임 간 정확한 추적을 보장하기 위해 메모리 컨텍스트도 사용합니다.

메모리 메커니즘 및 가림 처리#

메모리 메커니즘을 통해 SAM 2는 동영상 데이터의 시간적 종속성과 가림을 처리할 수 있습니다. 객체가 움직이고 상호작용할 때 SAM 2는 해당 객체의 특징을 메모리 뱅크에 기록합니다. 객체가 가려지면 모델은 이 메모리를 바탕으로 객체가 다시 나타날 때의 위치와 외형을 예측할 수 있습니다. 가림 헤드는 객체가 보이지 않는 상황을 구체적으로 처리하여 객체가 가려져 있을 가능성을 예측합니다.

다중 마스크 모호성 해결#

모호한 상황(예: 겹쳐 있는 객체)에서 SAM 2는 여러 마스크 예측을 생성할 수 있습니다. 단일 마스크만으로는 장면의 세부적인 특징을 충분히 표현하기 어려운 복잡한 장면을 정확하게 나타내는 데 중요한 기능입니다.

SA-V 데이터셋#

SAM 2의 학습을 위해 개발된 SA-V 데이터셋은 현재 이용 가능한 가장 규모가 크고 다양한 동영상 분할 데이터셋 중 하나입니다. 다음을 포함합니다:

• 51,000개 이상의 동영상: 47개 국가에서 수집되어 다양한 실제 시나리오를 제공합니다.
• 600,000개 이상의 마스크 주석: 전체 객체와 객체 일부를 포함하는 상세한 시공간 마스크 주석으로, 이를 "masklet"이라고 합니다.
• 데이터셋 규모: 이전 최대 규모 데이터셋보다 동영상은 4.5배, 주석은 53배 더 많아 전례 없는 다양성과 복잡성을 제공합니다.

벤치마크#

동영상 객체 분할#

SAM 2는 주요 동영상 분할 벤치마크 전반에서 뛰어난 성능을 입증했습니다:

대화형 분할#

대화형 분할 작업에서 SAM 2는 효율성과 정확도가 크게 향상된 모습을 보여줍니다:

설치#

SAM 2를 설치하려면 다음 명령을 사용하십시오. 모든 SAM 2 모델은 처음 사용할 때 자동으로 다운로드됩니다.

pip install ultralytics

SAM 2 사용 방법: 이미지 및 동영상 분할의 다양한 활용#

다음 표에는 사용 가능한 SAM 2 모델, 사전 학습된 가중치, 지원되는 작업 및 추론, 검증, 학습, 내보내기와 같은 다양한 운영 모드와의 호환성이 자세히 설명되어 있습니다.

SAM 2 예측 예제#

SAM 2는 실시간 동영상 편집, 의료 영상 및 자율 시스템을 포함한 광범위한 작업에 활용할 수 있습니다. 정적 및 동적 시각 데이터를 모두 분할할 수 있어 연구자와 개발자에게 다목적으로 활용 가능한 도구입니다.

프롬프트로 분할#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

모든 항목 분할#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

동영상 분할 및 객체 추적#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# Run inference with single point
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# Run inference with multiple points
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

• 이 예제에서는 프롬프트(bboxes/점/마스크)가 제공되지 않은 경우 SAM 2를 사용하여 이미지 또는 동영상의 전체 콘텐츠를 분할하는 방법을 보여줍니다.

동적 대화형 분할 및 추적#

SAM2DynamicInteractivePredictor는 여러 프레임과의 동적 상호 작용 및 지속적인 학습 기능을 지원하는 SAM 2의 고급 학습 불필요 확장입니다. 이 예측기는 일련의 이미지 전반에서 추적 성능을 향상시키기 위해 실시간 프롬프트 업데이트와 메모리 관리를 지원합니다. 기존 SAM 2와 비교하여, SAM2DynamicInteractivePredictor은 추가 학습 없이 사전 학습된 SAM 2 모델을 최대한 활용할 수 있도록 추론 흐름을 재구축합니다.

주요 기능#

다음 세 가지 주요 개선 사항을 제공합니다:

1. 동적 대화형 기능: 동영상 처리 중 언제든지 다음 프레임에서 병합되거나 추적되지 않은 새 인스턴스를 위한 프롬프트를 추가합니다.
2. 지속적 학습: 시간에 따른 모델 성능 향상을 위해 기존 인스턴스에 대한 새 프롬프트를 추가합니다.
3. 독립적인 다중 이미지 지원: 메모리 공유 및 이미지 간 객체 추적을 통해 여러 독립적인 이미지(반드시 동영상 시퀀스에서 가져온 이미지일 필요는 없음)를 처리합니다.

핵심 기능#

• 프롬프트 유연성: 바운딩 박스, 점 및 마스크를 프롬프트로 지원합니다.
• 메모리 뱅크 관리: 프레임 전반에서 객체 상태를 저장할 수 있도록 동적 메모리 뱅크를 유지합니다.
• 다중 객체 추적: 개별 객체 ID를 사용하여 여러 객체를 동시에 추적할 수 있습니다.
• 실시간 업데이트: 이전 프레임을 다시 처리하지 않고 추론 중에 새 프롬프트를 추가할 수 있습니다.
• 독립적인 이미지 처리: 이미지 간 객체 일관성을 위해 공유 메모리 컨텍스트를 사용하여 독립적인 이미지를 처리합니다.

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Define a category by box prompt
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Detect this particular object in a new image
results = predictor(source="image2.jpg")

# Add new category with a new object ID
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # New object
    obj_ids=[1],  # New object ID
    update_memory=True,  # Add to memory
)
# Perform inference
results = predictor(source="image5.jpg")

# Add refinement prompts to the same category to boost performance
# This helps when object appearance changes significantly
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # Refinement point
    labels=[1],  # Positive point
    obj_ids=[1],  # Same object ID
    update_memory=True,  # Update memory with new information
)
# Perform inference on new image
results = predictor(source="image7.jpg")

Arguments#

사용 사례#

SAM2DynamicInteractivePredictor은 다음과 같은 용도에 적합합니다:

• 시퀀스 중에 새 객체가 나타나는 비디오 어노테이션 워크플로
• 실시간 객체 추가 및 세분화가 필요한 대화형 비디오 편집
• 동적 객체 추적이 필요한 감시 애플리케이션
• 시간에 따른 해부학적 구조 추적을 위한 의료 영상
• 적응형 객체 감지 및 추적이 필요한 자율 시스템
• 독립적인 이미지 전반에서 일관된 객체 분할을 위한 다중 이미지 데이터셋
• 서로 다른 장면에서 객체를 추적해야 하는 이미지 컬렉션 분석
• 다양한 이미지 컨텍스트의 메모리를 활용하는 도메인 간 분할
• 최소한의 수동 개입으로 효율적인 데이터셋 생성을 지원하는 반자동 어노테이션

YOLO와 SAM 비교#

여기에서는 가장 작은 SAM2-t 변형을 포함한 Meta의 SAM 2 모델과 YOLO26n-seg를 포함한 Ultralytics 분할 모델을 비교합니다:

이 비교는 SAM 변형 모델과 YOLO 분할 모델 간의 모델 크기와 속도 차이가 상당함을 보여줍니다. SAM은 고유한 자동 분할 기능을 제공하지만, 특히 YOLOv8n-seg, YOLO11n-seg 및 YOLO26n-seg와 같은 YOLO 모델은 훨씬 작고 빠르며 계산 효율성이 높습니다.

SAM 속도는 PyTorch로 측정했으며, YOLO 속도는 ONNX Runtime으로 측정했습니다. 테스트는 torch==2.10.0, ultralytics==8.4.31 및 onnxruntime==1.24.4를 사용하여 16GB RAM을 탑재한 2025 Apple M4 Air에서 실행했습니다. 이 테스트를 재현하려면 다음을 수행합니다:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

자동 어노테이션: 효율적인 데이터셋 생성#

자동 어노테이션은 SAM 2의 강력한 기능으로, 사전 학습된 모델을 활용하여 사용자가 분할 데이터셋을 빠르고 정확하게 생성할 수 있도록 합니다. 이 기능은 광범위한 수동 작업 없이 대규모 고품질 데이터셋을 생성할 때 특히 유용합니다.

SAM 2로 자동 어노테이션하는 방법#

SAM 2를 사용하여 데이터셋에 자동으로 어노테이션을 추가하려면 다음 예제를 따르세요:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

이 함수는 고품질 분할 데이터셋을 신속하게 생성할 수 있도록 하며, 프로젝트를 가속화하려는 연구자와 개발자에게 적합합니다.

제한 사항#

SAM 2는 다양한 강점을 갖추고 있지만 다음과 같은 제한 사항이 있습니다:

• 추적 안정성: SAM 2는 긴 시퀀스나 큰 시점 변화가 발생하는 동안 객체 추적을 놓칠 수 있습니다.
• 객체 혼동: 특히 객체가 밀집한 장면에서 모델이 외관이 유사한 객체를 혼동할 수 있습니다.
• 다중 객체 처리 효율성: 객체 간 통신이 부족하기 때문에 여러 객체를 동시에 처리하면 분할 효율성이 감소합니다.
• 세부 정확도: 특히 빠르게 움직이는 객체의 경우 세부 정보를 놓칠 수 있습니다. 추가 프롬프트로 이 문제를 부분적으로 해결할 수 있지만 시간적 평활성은 보장되지 않습니다.

인용 및 감사의 글#

SAM 2가 연구 또는 개발 작업의 중요한 부분이라면 다음 참고 문헌을 사용하여 인용해 주세요:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

이 획기적인 모델과 데이터셋을 통해 AI 커뮤니티에 기여한 Meta AI에 진심으로 감사드립니다.

FAQ#