SAM 3: 개념을 사용한 세그먼트 애니씽#

SAM 3(세그먼트 애니씽 모델 3)는 Meta가 공개한 프롬프트 기반 개념 분할(PCS)용 파운데이션 모델입니다. SAM 2를 기반으로 하는 SAM 3는 텍스트 프롬프트, 이미지 예시 또는 두 가지 모두로 지정한 시각적 개념의 모든 인스턴스를 탐지하고 분할하며 추적하는 근본적으로 새로운 기능을 제공합니다. 프롬프트마다 단일 객체를 분할하는 이전 SAM 버전과 달리, SAM 3는 이미지나 동영상 어디에 나타나든 개념의 모든 사례를 찾아 분할하여 최신 인스턴스 분할의 오픈 보캐뷸러리 목표에 부합합니다.

SAM 3는 ultralytics 패키지에 완전히 통합되어 텍스트 프롬프트와 이미지 예시 프롬프트를 사용한 개념 분할 및 동영상 추적을 기본적으로 지원합니다. 이미지 예측에는 최신 SAM 3.1 체크포인트가 지원됩니다.

개요#

SAM 3는 프롬프트 기반 개념 분할에서 기존 시스템보다 2배 높은 성능을 달성하는 동시에, 대화형 시각적 분할에 대한 SAM 2의 기능을 유지하고 개선합니다. 이 모델은 오픈 보캐뷸러리 분할에 강점을 보이며, 사용자는 간단한 명사구(예: "노란 스쿨버스", "줄무늬 고양이")를 입력하거나 대상 객체의 예시 이미지를 제공하여 개념을 지정할 수 있습니다. 이러한 기능은 간소화된 예측 및 추적 워크플로에 의존하는 프로덕션 준비 파이프라인을 보완합니다.

프롬프트 기반 개념 분할(PCS)이란 무엇인가요?#

PCS 작업은 개념 프롬프트를 입력으로 받아 일치하는 모든 객체 인스턴스에 고유한 식별자가 부여된 분할 마스크를 반환합니다. 개념 프롬프트는 다음과 같은 형태로 제공할 수 있습니다:

• 텍스트: "빨간 사과" 또는 "모자를 쓴 사람"과 같은 간단한 명사구로, 제로샷 학습과 유사합니다.
• 이미지 예시: 빠른 일반화를 위해 예시 객체 주변에 지정하는 바운딩 박스(긍정 또는 부정)
• 결합: 정밀한 제어를 위해 텍스트와 이미지 예시를 함께 사용

이는 원래 SAM 제품군으로 널리 알려진 점, 박스, 마스크 등의 기존 시각적 프롬프트가 특정 단일 객체 인스턴스만 분할하는 것과 다릅니다.

주요 성능 지표#

프로덕션 환경에서의 모델 지표와 트레이드오프를 이해하려면 모델 평가 인사이트와 YOLO 성능 지표를 참조하세요.

SAM 3.1#

Meta가 2026년 3월 27일 공개한 SAM 3.1은 멀티 객체 동영상 추적을 위한 공유 메모리 방식인 Object Multiplex를 추가한 새로운 SAM 3 체크포인트입니다. 추적 대상 객체를 각각 독립적으로 처리하는 대신, SAM 3.1은 객체를 고정 용량 버킷으로 그룹화해 함께 처리합니다. Meta에 따르면 단일 H100 GPU에서 객체 128개를 처리할 때 속도가 약 7배 향상됩니다. 이미지 검출기와 대화형 포인트 프롬프트 헤드는 SAM 3 아키텍처를 유지합니다.

Ultralytics는 SAM 3.1 체크포인트(sam3.1_multiplex.pt)를 SAM 3 이미지 예측기에 불러옵니다. 포인트 및 박스 프롬프트에는 SAM("sam3.1_multiplex.pt")을, 텍스트 및 예시 프롬프트에는 SAM3SemanticPredictor를 사용합니다. Object Multiplex 동영상 추적은 아직 지원되지 않으므로, SAM3VideoPredictor 및 SAM3VideoSemanticPredictor와 함께 sam3.pt을 계속 사용하세요.

아키텍처#

SAM 3는 Perception Encoder(PE) 비전 백본을 공유하는 검출기와 추적기로 구성됩니다. 이 분리형 설계는 작업 간 충돌을 방지하는 동시에 이미지 수준의 검출과 동영상 수준의 추적을 모두 지원하며, Ultralytics의 Python 사용법 및 CLI 사용법과 호환되는 인터페이스를 제공합니다.

핵심 구성 요소#

• 검출기: 이미지 수준의 개념 검출을 위한 DETR 기반 아키텍처

  • 명사구 프롬프트용 텍스트 인코더
  • 이미지 기반 프롬프트용 예시 인코더
  • 프롬프트를 바탕으로 이미지 특징을 조건화하는 융합 인코더
  • 인식("무엇")과 위치 파악("어디")을 분리하는 새로운 존재 헤드
  • 인스턴스 분할 마스크 생성을 위한 마스크 헤드

• 추적기: SAM 2에서 이어받은 메모리 기반 동영상 분할

  • 프롬프트 인코더, 마스크 디코더, 메모리 인코더
  • 프레임 전반에 걸쳐 객체의 외형을 저장하는 메모리 뱅크
  • 멀티 객체 환경에서 칼만 필터와 같은 기법을 활용한 시간적 모호성 해소

• 존재 토큰: 대상 개념이 이미지 또는 프레임에 존재하는지 예측하는 학습된 전역 토큰으로, 인식과 위치 파악을 분리하여 검출 성능을 향상시킵니다.

주요 혁신#

1. 인식과 위치 추정의 분리: 존재성 헤드는 개념의 존재 여부를 전역적으로 예측하고, 프로포절 쿼리는 위치 추정에만 집중하여 서로 충돌하는 목표를 방지합니다.
2. 개념 프롬프트와 시각 프롬프트의 통합: 단일 모델에서 PCS(프롬프트 기반 개념 분할)와 PVS( SAM 2의 클릭/박스와 같은 시각 프롬프트)를 모두 지원합니다.
3. 대화형 예시 이미지 개선: 사용자는 긍정 또는 부정 이미지 예시를 추가해 결과를 반복적으로 개선할 수 있으며, 모델은 개별 인스턴스만 수정하는 대신 유사한 객체에 일반화합니다.
4. 시간적 모호성 해소: 마스크렛 감지 점수와 주기적인 프롬프트 재입력을 사용해 동영상의 가림, 혼잡한 장면, 추적 실패를 처리하며, 인스턴스 분할 및 추적의 모범 사례를 따릅니다.

SA-Co 데이터셋#

SAM 3은 현재까지 Meta가 구축한 가장 크고 다양한 분할 데이터셋인 Segment Anything with Concepts(SA-Co)로 학습되며, COCO 및 LVIS와 같은 일반적인 벤치마크를 넘어섭니다.

학습 데이터#

벤치마크 데이터#

SA-Co 평가 벤치마크에는 이미지와 동영상 126K개에 걸쳐 고유 구문 214K개가 포함되어 있으며, 기존 벤치마크보다 개념이 50배 이상 많습니다. 다음 항목으로 구성됩니다:

• SA-Co/Gold: 7개 도메인, 인간 성능의 상한선을 측정하기 위해 3중 주석 적용
• SA-Co/Silver: 10개 도메인, 단일 인간 주석 적용
• SA-Co/Bronze 및 SA-Co/Bio: 개념 분할에 맞게 조정한 기존 데이터셋 9개
• SA-Co/VEval: 3개 도메인(SA-V, YT-Temporal-1B, SmartGlasses)으로 구성된 동영상 벤치마크

데이터 엔진 혁신#

SAM 3의 확장 가능한 인간 및 모델 참여형 데이터 엔진은 다음을 통해 주석 처리량을 2배로 높입니다:

1. AI 주석 도구: Llama 기반 모델이 어려운 부정 예시를 포함해 다양한 명사구를 제안합니다.
2. AI 검증 도구: 미세 조정된 멀티모달 LLM이 거의 인간 수준의 성능으로 마스크 품질과 완전성을 검증합니다.
3. 능동 마이닝: AI가 어려움을 겪는 까다로운 실패 사례에 사람의 작업을 집중합니다.
4. 온톨로지 기반: Wikidata에 기반한 대규모 온톨로지를 활용해 개념을 폭넓게 다룹니다.

설치#

ultralytics 패키지를 설치하거나 업그레이드합니다:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

SAM 3 사용 방법: 개념 분할의 다양한 활용#

SAM 3은 서로 다른 예측기 인터페이스를 통해 프롬프트 기반 개념 분할(PCS)과 프롬프트 기반 시각 분할(PVS) 작업을 모두 지원합니다:

지원 작업 및 모델#

개념 분할 예제#

텍스트 프롬프트로 분할#

from ultralytics.models.sam import SAM3SemanticPredictor

# 설정으로 예측기를 초기화합니다.
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # 더 빠른 추론을 위해 FP16을 사용합니다.
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# 여러 쿼리에 사용할 이미지를 한 번 설정합니다.
predictor.set_image("path/to/image.jpg")

# 여러 텍스트 프롬프트로 쿼리합니다.
results = predictor(text=["person", "bus", "glasses"])

# 설명형 구문을 사용할 수 있습니다.
results = predictor(text=["person with red cloth", "person with blue cloth"])

# 단일 개념으로 쿼리합니다.
results = predictor(text=["a person"])

이미지 예시로 분할#

from ultralytics.models.sam import SAM3SemanticPredictor

# 예측기를 초기화합니다.
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# 이미지를 설정합니다.
predictor.set_image("path/to/image.jpg")

# 유사한 객체를 분할할 수 있도록 바운딩 박스 예시를 제공합니다.
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# 동일한 시각적 개념의 예시로 여러 바운딩 박스를 사용합니다.
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

효율성을 위한 특징 기반 추론#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# 예측기를 초기화합니다.
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# 첫 번째 예측기에서 특징을 추출합니다.
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# 두 번째 예측기를 설정하고 특징을 재사용합니다.
predictor2.setup_model()

# 공유 특징과 텍스트 프롬프트를 사용해 추론을 수행합니다.
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# 공유 특징과 바운딩 박스 프롬프트를 사용해 추론을 수행합니다.
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# 결과를 시각화합니다.
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

동영상 개념 분할#

바운딩 박스로 동영상 전체에서 개념 추적#

from ultralytics.models.sam import SAM3VideoPredictor

# 동영상 예측기를 생성합니다.
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# 바운딩 박스 프롬프트를 사용해 객체를 추적합니다.
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# 결과를 처리하고 표시합니다.
for r in results:
    r.show()  # 분할 마스크가 있는 프레임을 표시합니다.

텍스트 프롬프트로 개념 추적#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# 시맨틱 동영상 예측기를 초기화합니다.
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# 텍스트 프롬프트를 사용해 개념을 추적합니다.
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# 결과를 처리합니다
for r in results:
    r.show()  # 추적된 객체가 있는 프레임을 표시합니다.

# 대안: 바운딩 박스 프롬프트로 추적합니다.
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # 긍정 레이블
    stream=True,
)

시각 프롬프트(SAM 2 호환성)#

SAM 3은 단일 객체 분할을 위한 SAM 2의 시각 프롬프트 기능과 완전한 하위 호환성을 유지합니다:

from ultralytics import SAM

model = SAM("sam3.pt")

# 단일 포인트 프롬프트 - 특정 위치의 객체를 분할합니다
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# 다중 포인트 - 여러 포인트 힌트를 사용해 단일 객체를 분할합니다
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# 박스 프롬프트 - 바운딩 박스 안의 객체를 분할합니다
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

성능 벤치마크#

이미지 분할#

SAM 3는 LVIS 및 분할용 COCO와 같은 실제 데이터셋을 포함한 여러 벤치마크에서 최첨단 성능을 달성합니다:

Ultralytics 데이터셋에서 빠르게 실험할 수 있는 데이터셋 옵션을 살펴보세요.

비디오 분할 성능#

SAM 3는 DAVIS 2017 및 YouTube-VOS와 같은 비디오 벤치마크에서 SAM 2 및 이전 최첨단 모델보다 크게 향상된 성능을 보입니다:

퓨샷 적응#

SAM 3는 최소한의 예시만으로도 새로운 도메인에 효과적으로 적응하며, 이는 데이터 중심 AI 워크플로에 유용합니다:

대화형 세분화 효과#

예시를 사용하는 SAM 3의 개념 기반 프롬프팅은 시각적 프롬프팅보다 훨씬 빠르게 수렴합니다:

객체 계수 정확도#

SAM 3는 모든 인스턴스를 분할해 정확한 계수를 제공하며, 이는 객체 계수에서 자주 요구되는 기능입니다:

SAM 3와 SAM 2 및 YOLO 비교#

여기서는 SAM 3의 기능을 SAM 2 및 YOLO26 모델과 비교합니다. 같은 종류의 프롬프트를 사용한 실시간 오픈 보캐뷸러리 탐지 및 분할은 YOLOE를 참조하세요:

속도는 NVIDIA RTX PRO 6000에서 torch==2.9.1 및 ultralytics==8.4.19을 사용해 벤치마크했습니다.

핵심 요점:

• SAM 3: 오픈 보캐뷸러리 개념 분할에 가장 적합하며, 텍스트 또는 예시 프롬프트로 개념의 모든 인스턴스를 찾습니다.
• SAM 2: 기하학적 프롬프트를 사용해 이미지와 비디오에서 단일 객체를 대화형으로 분할하는 데 가장 적합합니다.
• YOLO26: 실시간 고속 분할에 가장 적합하며, 선택적으로 NMS가 필요 없는 엔드투엔드 추론을 지원합니다. GPU, CPU 및 엣지 디바이스 배포를 위해 다양한 형식으로 내보낼 수 있습니다.

SAM과 YOLO 비교#

크기, 파라미터 및 GPU 추론 속도 측면에서 SAM 3, SAM 2, SAM, MobileSAM, FastSAM과 Ultralytics YOLO 분할 모델(YOLOv8, YOLO11, YOLO26)을 비교합니다:

이 비교는 SAM 변형 모델과 YOLO 세그멘테이션 모델 간 모델 크기와 속도의 상당한 차이를 보여줍니다. SAM은 고유한 자동 세그멘테이션 기능을 제공하지만, 특히 YOLOv8n-seg, YOLO11n-seg, YOLO26n-seg와 같은 YOLO 모델은 크기가 훨씬 작고 속도가 빠르며 연산 효율성이 더 높습니다.

torch==2.9.1 및 ultralytics==8.4.19을 사용하여 VRAM 96GB의 NVIDIA RTX PRO 6000에서 테스트를 실행했습니다. 이 테스트를 재현하려면 다음을 수행하세요.

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM 프로파일링
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s 프로파일링
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO 모델 프로파일링
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS 없는 헤드; YOLOv8/YOLO11에서는 작동하지 않음

평가 지표#

SAM 3는 PCS 작업을 위해 새 지표를 도입했으며, 익숙한 F1 점수, 정밀도, 재현율과 같은 지표를 보완합니다.

분류 게이트 F1(CGF1)#

위치 지정과 분류를 결합하는 기본 지표입니다.

CGF1 = 100 × pmF1 × IL_MCC

항목은 다음과 같습니다.

• pmF1(Positive Macro F1): 양성 예제에 대한 위치 지정 품질을 측정합니다.
• IL_MCC(Image-Level Matthews 상관계수): 이진 분류 정확도("해당 개념이 있는가?")를 측정합니다.

이러한 지표를 사용하는 이유#

기존 AP 지표는 보정 상태를 고려하지 않으므로 실제 사용 시 모델을 활용하기 어렵습니다. 0.5를 초과하는 신뢰도의 예측만 평가함으로써 SAM 3의 지표는 우수한 보정을 요구하고, 대화형 예측 및 추적 루프의 실제 사용 패턴을 모방합니다.

주요 어블레이션 및 인사이트#

존재 헤드의 영향#

존재 헤드는 인식과 위치 지정을 분리하여 상당한 성능 향상을 제공합니다.

존재 헤드는 CGF1을 +5.7 향상(+9.9%)시키며, 주로 인식 능력을 개선합니다(IL_MCC +6.5%).

하드 네거티브의 효과#

하드 네거티브는 개방형 어휘 인식에 매우 중요하며, IL_MCC를 54.5% 향상시킵니다(0.44 → 0.68).

학습 데이터 규모 확장#

고품질 인적 주석은 합성 데이터 또는 외부 데이터만 사용하는 경우보다 큰 성능 향상을 제공합니다. 데이터 품질 관리 방법은 데이터 수집 및 주석을 참조하세요.

응용 분야#

SAM 3의 개념 세그멘테이션 기능은 새로운 활용 사례를 가능하게 합니다.

• 콘텐츠 관리: 미디어 라이브러리에서 특정 콘텐츠 유형의 모든 인스턴스를 찾습니다.
• 전자상거래: 카탈로그 이미지에서 특정 유형의 모든 제품을 세그먼트화하여 자동 주석을 지원합니다.
• 의료 영상: 특정 조직 유형이나 이상 소견이 나타나는 모든 위치를 식별합니다.
• 자율 시스템: 교통 표지판, 보행자 또는 차량의 모든 인스턴스를 범주별로 추적합니다.
• 비디오 분석: 특정 복장을 착용하거나 특정 행동을 하는 모든 사람을 세고 추적합니다.
• 데이터셋 주석: 희귀 객체 범주의 모든 인스턴스에 빠르게 주석을 추가합니다.
• 과학 연구: 특정 기준에 부합하는 모든 표본을 정량화하고 분석합니다.

SAM 3 Agent: 확장된 언어 추론#

SAM 3는 추론이 필요한 복잡한 쿼리를 처리하도록 멀티모달 대규모 언어 모델(MLLM)과 결합할 수 있으며, OWLv2 및 T-Rex와 같은 개방형 어휘 시스템과 유사한 접근 방식입니다.

추론 작업 성능#

복잡한 쿼리 예시#

SAM 3 Agent는 추론이 필요한 쿼리를 처리할 수 있습니다.

• "선물 상자를 손에 들고 있지 않은 채 앉아 있는 사람들"
• "목걸이를 착용하지 않은 개 중 카메라와 가장 가까운 개"
• "사람의 손보다 큰 빨간색 물체"

MLLM은 SAM 3에 간단한 명사구 쿼리를 제안하고, 반환된 마스크를 분석하며, 만족스러운 결과를 얻을 때까지 반복합니다.

제한 사항#

SAM 3는 크게 발전했지만, 몇 가지 제한 사항이 있습니다.

• 구문의 복잡성: 간단한 명사구에 가장 적합하며, 긴 참조 표현이나 복잡한 추론에는 MLLM 통합이 필요할 수 있습니다.
• 모호성 처리: 일부 개념은 본질적으로 모호합니다(예: "작은 창문", "아늑한 방").
• 연산 요구 사항: YOLO와 같은 특화된 감지 모델보다 크기가 크고 속도가 느립니다.
• 어휘 범위: 원자적 시각 개념에 초점을 맞추며, MLLM의 지원 없이는 조합적 추론이 제한됩니다.
• 희귀 개념: 학습 데이터에 충분히 나타나지 않은 매우 희귀하거나 세분화된 개념에서는 성능이 저하될 수 있습니다.

인용#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

자주 묻는 질문#