SAM 3：基于概念的万物分割

SAM 3 is available now in ultralytics: run pip install -U ultralytics and see this page for usage. The sam3.pt weights must be requested from Meta first.

Appreciate the effort, and can't wait for your implementation. It's resource heavy already but I'm sure your optimisation will make a difference. Best of luck.

Thanks for the kind words—most of the credit goes to the Meta SAM team and the Ultralytics community. SAM 3 is now available in ultralytics, and this page covers exactly those trade-offs, so you can balance its open-vocabulary power against lighter options like YOLO26 or SAM 2 on your hardware.

目前 ultralytics 里 SAM 3 只支持 predict/track 推理，还没有提供把 sam3.pt 导出 ONNX 的官方流程（yolo export 主要面向 YOLO 等可部署导出管线的模型）；建议先按 SAM 3 使用文档 用 PyTorch 方式部署推理。

如果你的目标是 ONNX 部署分割（固定类别/已知类别），更推荐直接用可导出的 YOLO26 分割 并参考 Export 模式；若你这边是“必须 SAM3→ONNX”的需求，麻烦在 Ultralytics 新建 Issue 说明场景并附上 yolo checks 和最小复现脚本，方便我们评估支持路径。

SAM 3.1 is supported for image prediction: load sam3.1_multiplex.pt wherever the image examples use sam3.pt (SAM("sam3.1_multiplex.pt") for point and box prompts, SAM3SemanticPredictor for text and exemplar prompts). Object Multiplex video tracking is not supported yet, so use sam3.pt with SAM3VideoPredictor or SAM3VideoSemanticPredictor. For stable identities across frames, run a video predictor on the full video rather than image inference frame-by-frame, since per-frame inference assigns fresh IDs each time. See the SAM 3 docs and the SAM predictor reference, and if you’re already doing that please drop a minimal repro plus yolo checks output here so the team can take a closer look.

这种情况更像是 SAM("sam3.pt") 的视觉提示分割问题而不是概念分割本身：单点或粗掩码在细长边界、低对比度或稀疏纹理目标上更容易出现碎片和空洞，通常可通过增加正负点、改用更紧的框提示，或直接用 SAM3SemanticPredictor 做文本/示例提示来改善，相关用法见 SAM 3 文档；如果你愿意，也欢迎把一张示例图和最小复现代码直接发在这个讨论里，我们可以按你的具体 case 看看。

其实我也想把示例和代码文件展示出来，但是可能我太蠢了不知道怎么发在这个讨论中，我已急哭😭

没关系，直接发在这里就可以：图片可直接拖到评论框上传，代码按 GitHub Markdown 写法 用代码块贴出；如果文件太大，就先发一个最小复现示例，只保留 model 初始化、输入图像、提示词和实际输出即可，例如：

from ultralytics import SAM

model = SAM("sam3.pt")
results = model.predict("test.jpg", points=[900, 370], labels=[1])
print(results[0].masks.data.shape if results[0].masks is not None else None)

如果暂时不方便传图，也可以先把异常现象和文字版输出贴出来，我们继续帮你看。

一、单点分割 import numpy as np import torch from PIL import Image from sam3.model_builder import build_sam3_image_model from sam3.model.sam3_image_processor import Sam3Processor

device = "cuda" if torch.cuda.is_available() else "cpu" sam3_pt_path = "sam3_model/sam3.pt"

model = build_sam3_image_model( bpe_path=None, checkpoint_path=sam3_pt_path, device=device, enable_inst_interactivity=True, load_from_HF=False, ) processor = Sam3Processor(model) model.eval()

pil_image = Image.open("test.jpg").convert("RGB") inference_state = processor.set_image(pil_image)

正样本(1) + 负样本(0)，点数与标签一一对应

point_coords = np.array([ [900.0, 370.0], # 前景点：点在目标上 [800.0, 400.0], # 背景点：点在要排除的区域 ]) point_labels = np.array([1, 0])

masks, scores, logits = model.predict_inst( inference_state, point_coords=point_coords, point_labels=point_labels, multimask_output=True, ) best = masks[int(np.argmax(scores))] mask_np = best.cpu().numpy() if isinstance(best, torch.Tensor) else np.asarray(best) print(mask_np.shape)

二、交互式细化 import numpy as np import torch from PIL import Image from sam3.model_builder import build_sam3_image_model from sam3.model.sam3_image_processor import Sam3Processor

device = "cuda" if torch.cuda.is_available() else "cpu" sam3_pt_path = "sam3_model/sam3.pt"

model = build_sam3_image_model( bpe_path=None, checkpoint_path=sam3_pt_path, device=device, enable_inst_interactivity=True, load_from_HF=False, ) processor = Sam3Processor(model) model.eval()

pil_image = Image.open("test.jpg").convert("RGB") inference_state = processor.set_image(pil_image)

若需要文本提示（与 demo 一致）:

inference_state = processor.set_text_prompt(state=inference_state, prompt="your english prompt")

init_x = 900.0 init_y = 370.0 refinement_points = [[910.0, 380.0], [920.0, 360.0]] refinement_labels = [1, 0]

all_points = [[init_x, init_y]] + refinement_points all_labels = [1] + refinement_labels

masks, scores, logits = model.predict_inst( inference_state, point_coords=np.array(all_points), point_labels=np.array(all_labels), multimask_output=True, ) best = masks[int(np.argmax(scores))] mask_np = best.cpu().numpy() if isinstance(best, torch.Tensor) else np.asarray(best) print(mask_np.shape)

测试使用的是同一张图片，分割的内容是图中汽车，在单点分割和交互式细化中正负样本点结合使用会出现分割车辆边缘出现参差不齐零碎现象

感谢把代码贴出来，这更像是交互式点提示的行为而不是“汽车”这个类别本身：车窗反光、轮胎空隙和细长边界会让负点一旦靠近车身就容易把掩码边缘切碎或挖空，而且 multimask_output=True 返回的最高分候选也不一定是最平滑的那个；建议先把负点移到目标外更远的位置、在断裂边缘补几个正点，或直接改用框/示例提示，如果你的目标是稳定分割整辆车，SAM3SemanticPredictor 的文本/示例提示通常比稀疏点提示更稳，相关接口可参考 SAM 3 文档里的视觉提示与概念分割说明。

感谢您的回答，我还有一个问题，就是文本提示分割时，文本提示词可以对多张图片起作用，能做输入一个文本可以对所有图片进行分割，这一个功能已经实现。 但是有一个我实在是难以实现，就是比如有多张图片A、B、C、D...,在纯框选示例提示分割下，能不能做到只在A图上进行框选，然后进行纯框选示例提示分割时可以对A、B、C、D...多张图片进行分割呢。也就是实现一批图片中，只在一张图片上进行框选就能进行所有图片的分割，类似于图片搜索一样，在一批图片中随机挑一张图片，在这张挑选的图片中框选出汽车然后所有图片中的汽车都能被分割出来（类似在一批图片中框选后搜索出有汽车的图片进行分割）。我不知道这个功能是否能做到。 目前我使用的方法是在框选时将框选的目标进行切块，然后拼接在每一张待搜索图片上，最后根据拼接图片中的小目标切块进行示例提示分割，来实现一张图中框选能对所有图片进行分割，不过这种方法的效果有些一般，有时候分割不到东西或者是遗漏一些需要分割的目标。 还有一种方法是评论区向我提供的思路，将几何特征缓存下来，然后再另一张图片上应用这个几何特征，参考https://github.com/leon0514/trt-sam3，但是这位先生也提到了效果不好，目前我也正在尝试实现这种方法。 或者是理解在单图时框选示例提示分割到底在做什么，然后将这个行为重复作用于其他图片，这样是否也能实现呢？

目前原生 SAM3SemanticPredictor 还不支持“在 A 图框一次，然后直接对 B/C/D 这类独立图片做纯示例检索+分割”；bboxes 示例提示是作用在当前 set_image() 的那张图上，而文档里的 inference_features() 也是复用同一张图的特征、不是跨图迁移，所以更可靠的做法还是先用文本提示或检索/检测筛出候选图，再逐张做 SAM 3 分割，接口细节可参考 SAM3SemanticPredictor 参考。

好的，谢谢您的回复

在SAM3中

目前公开接口里，SAM 3 支持用 SAM3SemanticPredictor 的 bboxes 做 exemplar 式视觉提示，也支持用 inference_features() 复用已提取特征，但文档里的用法主要是对当前图像做特征复用，不是直接把“另一张图像”的特征当作 prompt 传入；你可以先参考 SAM 3 文档 和 predictor API，如果你的目标是跨图像 exemplar prompting，欢迎把最小复现流程贴在这里，团队会继续看。

想知道，sam3是否能导成ONNX等格式

欢迎直接把环境信息贴在这里，团队会看到；按目前公开信息，SAM 3 自 ultralytics>=8.3.237 起已集成，而 ultralytics 的基础要求是 Python >=3.8、PyTorch >=1.8，所以 SAM 3 目前至少按这组版本起步，参考 SAM 3 文档 和 Ultralytics PyPI 安装说明。 (docs.ultralytics.com)

运行代码如下所示： import cv2 import numpy as np from ultralytics.models.sam import SAM3Predictor

predictor = SAM3Predictor(overrides=dict(task="segment", mode="predict", model="sam/sam3.pt")) img_path = "测试图片/测试图片1/Out.jpg" rough = cv2.imread("测试图片/测试图片1/rough.jpg", cv2.IMREAD_GRAYSCALE) rough = (rough > 0).astype(np.uint8)

results = predictor(source=img_path, masks=[rough]) for result in results: annotated_img = result.plot() cv2.imshow("SAM with Mask Prompt", annotated_img) cv2.waitKey(0) cv2.destroyAllWindows()

图片Out.jpg，rough.jpg是大小为4024*3036，位深度为8的灰度图片

感谢补充代码，这个报错看起来不是图片分辨率本身的问题，而是 SAM3Predictor 走 masks= 提示时出现了特征尺寸不匹配；按 SAM 3 文档 当前概念分割应使用 SAM3SemanticPredictor 配合 text 或示例 bboxes，而 SAM("sam3.pt")/SAM3Predictor 主要是单对象视觉提示流程。若你在最新版本下仍需要 masks 提示，请新开一个 issue 并附上 yolo checks 输出、完整文本回溯和最小可复现脚本，方便我们确认这是否是 SAM 3 的一个 bug。

Thanks for raising it here — exact parity with facebookresearch/sam3 isn’t expected, because the Ultralytics integration uses its own SAM 3 predictor path for resizing/preprocessing and postprocessing, so matching imgsz, half, conf, and prompts alone won’t guarantee identical masks; see the SAM 3 docs and the predictor reference. If you’d like us to check whether this is a bug rather than an implementation difference, please open a new issue with a minimal reproducible example, confirm both runs use the same sam3.pt, and include yolo checks plus the full text outputs from both scripts.