---
title: ComfyUI 视频分割系统 - 界面搭建操作指南
date: 2026-04-22
tags:
  - comfyUI
  - 操作指南
  - SAM2
  - 工作流搭建
---

# ComfyUI 视频分割系统 - 界面搭建操作指南

> 前置假设：你已安装以下节点包。如未安装，请先通过 ComfyUI Manager 安装：
> - `ComfyUI-Manager`（管理器本身）
> - `ComfyUI-VideoHelperSuite`（视频加载/保存）
> - `ComfyUl-segment-anything-2`（SAM2 分割，推荐 kijai 版）
> - `ComfyUI-Impact-Pack`（Grounding DINO / 检测器）
> - `rgthree-comfy`（Fast Muter / Bypass 节点）
> - `cg-use-everywhere`（CG Use Everywhere，无线广播连线）

---

## 第一步：打开节点添加菜单

在画布空白处 **双击鼠标左键**，或 **右键单击空白处** → 选择 `添加节点`。

你会看到一个分类菜单（如 `image`, `video`, `SAM2`, `rgthree` 等）。

---

## 第二步：搭建视频输入端

### 2.1 加载视频

1. 右键/双击空白处打开节点菜单
2. 在第二级菜单中找到 **Video Helper Suite**（带有紫色摄像机图标的那一项）
3. 在右侧弹出的第三级菜单中，根据你的需求选择以下任意一个节点：
   - **Load Video (Upload)**：如果你想从电脑本地上传一个视频文件
   - **Load Video (Path)**：如果你想通过输入电脑上的文件夹路径来读取视频
4. 点击创建节点
5. 节点出现在画布上，把它拖到左上角区域

### 2.2 提取第一帧（关键帧选择器）

1. 回到 **Video Helper Suite**（紫色摄像机图标）的第三级菜单
2. 找到 `图像` 分类下的 **`Select Images`**：
   - 在较新版本的 Video Helper Suite 中，它取代了旧版的 `VHS_SelectFrames` 名称，功能完全一致，都是通过索引（Index）从视频流中挑选特定帧
3. （可选抽帧）如果你不想逐帧处理，也可以使用它上方的 **`Select Every Nth Image`**，每隔几帧取一张
4. 连接：`Load Video` 的 `IMAGE` 输出 → `Select Images` 的 `image` 输入
5. 设置参数：`index = 0`（表示取第一帧）

> **操作技巧**：ComfyUI 中，鼠标从一个节点的**圆形输出端**拖拽到另一个节点的**圆形输入端**即可完成连线。

---

## 第三步：放置 SAM2 模型加载器

这是整个系统的核心引擎。

1. 右键/双击空白处
2. 找到分类：`SAM2` ，别选 `segment_anything2 `
3. 选择节点：`(Down)Load SAM2Model`（名称可能为 `SAM2ModelLoader` 或 `SAM2::Model Loader`）
4. 参数设置：
   - `model_name`: 选择 `sam2.1 hiera_base_plus.safetensors`（精度与速度平衡）
   - `device`: `cuda`（若显存不足可选 `cpu`，但极慢）
   - `precision`: `fp16`（推荐，省显存）

将这个节点放在画布**中上部**，作为公共模型源。

---

## 第四步：SAM2 节点功能总览与选型

`comfyui-segment-anything-2` 提供了 6 个核心节点。以下是它们的功能定位：

### 4.1 核心加载类

**`(Down)Load SAM2Model`**
- **功能**：从本地加载或从服务器下载指定的 SAM2 模型文件
- **关键参数**：
  - `model`: 如 `sam2.1_hiera_base_plus.safetensors`
  - `segmentor`: 可选择单图或视频模式
  - `device`: `cuda` 或 `cpu`
  - `precision`: `fp16`（推荐）、`bf16`、`fp32`

### 4.2 静态图像分割类

**`Sam2Segmentation`**
- **功能**：标准单帧分割器。根据输入的正向/负向点坐标、检测框或初始遮罩生成分割结果
- **关键输入**：`coordinates_positive`（正选点）、`coordinates_negative`（反选点）、`bboxes`

**`Sam2AutoSegmentation`**
- **功能**："分割一切"模式。无需手动点击，通过全图布设点阵（`points_per_side`）自动识别所有可能的物体
- **适用**：全自动抠出图中所有物体

### 4.3 视频追踪与交互类

**`Sam2VideoSegmentationAddPoints`**
- **功能**：视频工作流的"交互站"。允许你在特定帧（`frame_index`）添加点标注，并将标注注入到视频推理状态（`inference_state`）中
- **关键作用**：
  - 初始化视频追踪状态
  - 通过 `prev_inference_state` 链式追加多帧标注（实现人工纠正）
- **关键输入**：`image`（视频批次或关键帧）、`coordinates_positive`、`coordinates_negative`、`frame_index`

**`Sam2VideoSegmentation`**
- **功能**：视频推理的核心引擎。接收模型和带有标注信息的 `inference_state`，执行跨帧自动追踪
- **输出**：`mask`（完整视频的分割结果批次）

### 4.4 辅助与坐标转换类

**`Florence2 Coordinates`**
- **功能**：桥接节点。将 Florence-2 视觉模型输出的检测数据转换为 SAM2 可识别的坐标格式（中心点 `center_coordinates` 或检测框 `boxes`）
- **用途**：实现"文字搜图并抠图"的全自动流程

### 4.5 快速选型建议

| 任务场景 | 核心节点组合 |
|:---|:---|
| **全自动抠出图中所有物体** | `(Down)Load SAM2Model` + `Sam2AutoSegmentation` |
| **手动点击抠出视频第一帧** | `(Down)Load SAM2Model` + `Sam2Segmentation` |
| **将第一帧的效果推广到全视频** | `Sam2VideoSegmentationAddPoints` + `Sam2VideoSegmentation` |
| **全自动语义分割（如：抠出手柄）** | `Florence-2` 相关节点 + `Florence2 Coordinates` + `Sam2Segmentation` |

---

## 第五步：单帧分割测试（确认第一帧标注）

在接入视频追踪前，建议先用单帧节点快速验证标注位置是否准确。

### 5.1 手动点/框标注（Sam2Segmentation）

1. 添加节点：`SAM2` → `Sam2Segmentation`
2. 连线：
   - `Select Images`（第一帧）的图像输出 → `Sam2Segmentation` 的 `image`
   - `(Down)Load SAM2Model` 的模型输出 → `Sam2Segmentation` 的 `sam2_model`

3. 选择以下**任意一种**提示方式填入：

   **方式 A：手绘 Mask（最直观，强烈推荐）**
   - 将 `Select Images` 的图像先连到一个 `Preview Image` 节点
   - 在预览图上**右键** → `Open in Mask Editor`
   - 用画笔在目标区域涂抹（不需要很精确，覆盖目标大致轮廓即可），点击 **Save to node**
   - 将得到的 `mask` 连到 `Sam2Segmentation` 的 `mask` 输入
   - 这样无需计算精确坐标，手绘的粗略区域即可引导 SAM2 生成分割

   **方式 B：点坐标（适合精确控制）**
   - `coordinates_positive`: 填入正选点坐标（如 `[[0.45, 0.52]]`）
   - `coordinates_negative`: 填入反选点坐标（如 `[[0.55, 0.48]]`），如无则留空
   - > **坐标获取技巧**：`Sam2Segmentation` 节点本身不带图像点击界面。你可以：
   >   - 先用 `Sam2AutoSegmentation`（见 5.2）跑一次，从它输出的 `bbox` 列表中估算目标中心坐标
   >   - 或将第一帧保存到本地，在图像编辑软件（如画图、Photoshop）中查看鼠标位置的像素坐标，再归一化（除以图像宽高）后填入

   **方式 C：检测框（适合规则形状物体）**
   - `bboxes`: 填入边界框坐标 `[x1, y1, x2, y2]`
   - 可通过 `Florence2 Coordinates` 或 `Grounding DINO` 节点自动生成（见第六、七章）

4. 参数：
   - `keep_model_loaded`: 可开启（若后续继续用同一模型）
   - `individual_objects`: 根据需求选择（多目标时开启）
5. 输出连到 `image` → `Preview Image` 查看效果

> **多次迭代的技巧**：SAM2 的分割结果对提示位置敏感。如果第一次效果不佳，**不需要重新连线**：
> - 若用 **方式 A（Mask）**：重新打开 Mask Editor，调整手绘区域，再次 Save，然后直接点击「运行」
> - 若用 **方式 B（坐标）**：直接修改 `coordinates_positive` 的数值，再次点击「运行」
>
> 建议先用 **方式 A 手绘 mask** 快速确认目标能被正确分割，然后再根据效果决定视频追踪时使用的精确坐标。

### 5.2 自动分割一切（Sam2AutoSegmentation）

如果你不想手动标注，可以使用全自动模式：
1. 添加节点：`SAM2` → `Sam2AutoSegmentation`
2. 连线：`Select Images` → `image`，`(Down)Load SAM2Model` → `sam2_model`
3. 参数调整（可选）：
   - `points_per_side`: 网格密度（默认 32，越大越精细但越慢）
   - `pred_iou_thresh`: IOU 阈值过滤低质量 mask
   - `stability_score_thresh`: 稳定性阈值（默认 0.95）

**医疗/低对比度场景调优建议**

在处理医疗手术图像等低对比度、边界模糊场景时，Auto Segmentation 容易因过滤过严而产生"角落碎块"（只保留高对比度杂色，漏掉目标器官）。遇到此现象时请重点调整以下两个参数：

| 参数 | 当前问题 | 建议修改 |
|:---|:---|:---|
| `stability_score_thresh` | 默认 0.95 要求过高。手术灯光反光、组织颜色接近，AI 很难在全图点阵下获得 95% 稳定性的遮罩，导致宁缺毋滥、滤掉模糊器官 | **降至 0.85 ~ 0.90** |
| `points_per_side` | 默认 16 意味着全图只撒了 256 个探测点。对于 2560×1440 等高分辨率医疗画面，点阵空隙太大，容易漏掉细小器械或解剖结构 | **提高至 32 或 64** |

4. 输出：`mask`、`segmented_image`、`bbox`

**此时你可以先点击「运行」测试单帧分割效果。**

---

## 第六步：视频追踪核心链路

`comfyui-segment-anything-2` 的视频追踪由两个节点配合完成：`Sam2VideoSegmentationAddPoints`（注入提示）+ `Sam2VideoSegmentation`（执行追踪）。

### 6.1 Sam2VideoSegmentationAddPoints（视频交互注入）

1. 添加节点：`SAM2` → `Sam2VideoSegmentationAddPoints`
2. 连线：
   - `(Down)Load SAM2Model` → `sam2_model`
   - `Load Video` 的完整图像批次 → `image`（视频源）
   - `coordinates_positive`: 填入第一帧的正选点坐标
   - `coordinates_negative`: 填入反选点坐标（可选）
3. 参数：
   - `frame_index`: `0`（表示在第 0 帧添加这些点标注）
   - `object_index`: `0`（单目标保持默认，多目标时递增）
   - `prev_inference_state`: **首次追踪时留空**；链式追加关键帧时接入上一步的 `inference_state`
4. 输出：`inference_state`（携带了视频帧信息和标注状态）

### 6.2 Sam2VideoSegmentation（视频推理引擎）

1. 添加节点：`SAM2` → `Sam2VideoSegmentation`
2. 连线：
   - `(Down)Load SAM2Model` → `sam2_model`
   - `Sam2VideoSegmentationAddPoints` 的 `inference_state` → `inference_state`
3. 参数：
   - `keep_model_loaded`: 推荐开启（避免重复加载模型）
4. 输出：`mask`（完整视频的分割结果，批次形式）

### 6.3 标准视频工作流连线示意

```
[Load Video] ───────────────────────┐
      │                              │
      ↓                              ↓
[Sam2VideoSegmentationAddPoints] ──→ [Sam2VideoSegmentation] ──→ [Preview / Save]
      ↑                                   ↑
[(Down)Load SAM2Model]                  [(Down)Load SAM2Model]
      ↑
[coordinates_positive / coordinates_negative]
```

---

## 第七步：人工纠正与多关键帧（Fast Muter 应用）

`Sam2VideoSegmentationAddPoints` 的 `prev_inference_state` 输入天然支持**链式追加**多帧标注。这是实现"第一帧标注 + 中途修正"的核心机制。

### 7.1 多关键帧链式结构（无修正时的标准链路）

如果你只想用第一帧推广到全视频，链路如下：

```
[Sam2VideoSegmentationAddPoints(第0帧标注)]
    ↓ inference_state
[Sam2VideoSegmentation]
    ↓ mask
[Preview / Save]
```

### 7.2 中途人工纠正链路

当视频较长、目标发生遮挡/形变导致追踪漂移时，可在中间帧追加标注：

```
[Sam2VideoSegmentationAddPoints(第0帧)]
    ↓ inference_state
[Sam2VideoSegmentationAddPoints(第45帧修正, prev_inference_state接入)]
    ↓ inference_state
[Sam2VideoSegmentation]
    ↓ mask
[Preview / Save]
```

**操作方式**：
1. 第一个 `AddPoints` 节点保持第一帧的标注不变
2. 新建第二个 `AddPoints` 节点：
   - `image`: 接入 `Load Video` 的完整批次（与第一个相同）
   - `prev_inference_state`: 接入第一个 `AddPoints` 的 `inference_state`
   - `frame_index`: 修正帧号（如 `45`）
   - `coordinates_positive`: 修正后的点坐标
3. 第二个 `AddPoints` 的 `inference_state` → `Sam2VideoSegmentation`
4. 重新运行，系统会以第 0 帧和第 45 帧为锚点，综合追踪整个视频

---

## 第八步：输出与可视化

### 8.1 预览 Mask

1. 添加节点：`image` → `MaskToImage`（将 mask 转为可视图像）
2. 再添加：`image` → `Preview Image`
3. 连接追踪输出的 mask → `MaskToImage` → `Preview Image`

### 8.2 合成视频（原图 + Mask 叠加）

1. 添加节点：`video` → `VHS_VideoCombine`（VideoHelperSuite）
2. 或：`image` → `Composite Mask` / `ImageCompositeMasked`
3. 参数：
   - `color`: `#FF0000`（Mask 颜色）
   - `alpha`: `0.6`（透明度）

### 8.3 保存 Mask 序列

1. 添加节点：`image` → `Save Image`（批量保存时每个 mask 会存为独立文件）
2. 或使用 `VHS_SaveImageSequence`
3. 建议设置 `filename_prefix`: `mask_segment`

---

## 第九步：用 Fast Muter 优化纠正 Workflow

在 `comfyui-segment-anything-2` 中，纠正本质上是通过 `prev_inference_state` 链式追加 `Sam2VideoSegmentationAddPoints`。`Fast Muter` 的作用是让你**提前建好纠正节点但默认不执行**，避免每次运行都走一遍修正链路。

### 9.1 创建 Fast Muter 节点

1. 右键/双击空白处
2. 找到：`rgthree` → `Fast Muter`（或 `Fast Muter/Bypasser`）
3. 该节点有一个开关按钮，点击可在 **启用（绿色）** 和 **跳过/静音（红色）** 之间切换

### 9.2 搭建纠正分支（推荐方案）

**核心思路**：将修正用的 `Sam2VideoSegmentationAddPoints` 节点插入到主链路的 `prev_inference_state` 路径上，默认通过 **Fast Muter / Bypass** 跳过它。

#### 具体步骤：

1. **主链路保持不变**：
   - `Sam2VideoSegmentationAddPoints(第0帧)` → `Sam2VideoSegmentation`

2. **插入修正节点**：
   - 新建第二个 `Sam2VideoSegmentationAddPoints`，命名为 "Fix_AddPoints"
   - `prev_inference_state`：接入主链路第一个 AddPoints 的 `inference_state`
   - `image`: 接入 `Load Video` 的完整批次（与主链路相同）
   - `frame_index`: `45`（示例问题帧）
   - `coordinates_positive`: 填入修正后的点坐标
   - 该节点的 `inference_state` → `Sam2VideoSegmentation`

3. **使用 Fast Muter 控制**：
   - **方案 A（Mute 节点输入）**：在 "Fix_AddPoints" 的 `coordinates_positive` 输入前放置 `Fast Muter`，默认红色（阻断）。需要纠正时变绿，坐标流入，修正生效。
   - **方案 B（原生 Bypass）**：直接对 "Fix_AddPoints" 节点右键 → `Bypass`。被 Bypass 时，ComfyUI 会跳过该节点，数据直接从上游流到下游（相当于无修正）。需要纠正时取消 Bypass。

### 9.3 实际操作流程

```
第一次运行：
  1. Fix_AddPoints 被 Bypass / Fast Muter 关闭
  2. 运行完整工作流（仅第 0 帧标注）
  3. 检查 Preview Image / 输出视频

发现问题（如第 45 帧漂移）：
  1. 修改 "Fix_AddPoints" 的 frame_index = 45
  2. 修改 "Fix_AddPoints" 的 coordinates_positive 为正确坐标
  3. 取消 Bypass / Fast Muter 变绿（启用）
  4. 重新点击「运行」
  5. 系统以第 0 帧 + 第 45 帧为锚点，综合追踪整个视频

确认修复后：
  1. 恢复 Bypass / Fast Muter 关闭
  2. 保存最终工作流
```

---

## 第十步：工作流连线总览

按以下逻辑检查你的连线是否完整：

```
[Load Video] ───────────────────────┬───────────────────────────────────────────┐
      │                             │                                           │
      ↓                             ↓                                           │
[Select Images]                [Sam2VideoSegmentationAddPoints]                 │
      │ (index=0)                     ↑                                       │
      │                     [(Down)Load SAM2Model]                              │
      │                             ↑                                           │
      │                   [coordinates_positive]                                │
      ↓                             │                                           │
[Sam2Segmentation] ←───────────────┘ (可选：单帧预览测试)                        │
      │                                                                       │
      ↓                                                                       ↓
[Preview Image]                                            [Sam2VideoSegmentation]
                                                                                │
      ┌─────────────────────────────────────────────────────────────────────────┘
      │
      ├──→ [MaskToImage] ──→ [Preview Image]
      └──→ [Save Image] / [VHS_VideoCombine]

纠正分支（可选，默认关闭）：
[Sam2VideoSegmentationAddPoints(第0帧)] ──→ [Fix_AddPoints(第N帧)] ──→ [Sam2VideoSegmentation]
                                                ↑
                                        [coordinates_positive(修正坐标)]
                                        [Fast Muter / Bypass (控制开关)]
```

---

## 运行前检查清单

- [ ] SAM2 模型文件已下载到 `ComfyUI/models/sam2/` 目录
- [ ] Florence-2 / Grounding DINO 模型已下载（如使用语义提示）
- [ ] `Load Video` 已选择有效视频路径
- [ ] `Select Images` 的 `index=0` 正确提取了第一帧
- [ ] `coordinates_positive` 的坐标格式与节点要求一致（归一化 0~1 或像素坐标）
- [ ] `Sam2VideoSegmentationAddPoints` 的 `image` 接入的是**完整视频批次**，而非单帧
- [ ] `Sam2VideoSegmentationAddPoints` 的 `frame_index` 指向了正确的标注帧
- [ ] `Fast Muter` / 修正节点 Bypass 状态符合预期（首次运行应为关闭）
- [ ] 输出节点的保存路径可写

---

## 常见问题速查

| 问题 | 排查方向 |
|------|---------|
| 节点呈红色/无法创建 | 节点包未安装或加载失败，检查 ComfyUI 启动日志 |
| SAM2 节点报错显存不足 | 换 `sam2.1_hiera_tiny.safetensors`，或降低视频分辨率，或启用 fp16 |
| 追踪结果全黑/全白 | 检查 `coordinates_positive` 是否正确传入；检查坐标格式（0~1 vs 像素）；确认 `frame_index` 与标注帧一致 |
| Florence-2 / Grounding DINO 无检测结果 | 降低 `threshold`，或简化 prompt（如只写 `"person"`） |
| 修正后重新追踪无变化 | 确认修正节点已取消 Bypass / Fast Muter 已启用；确认修正节点的 `prev_inference_state` 正确接入上游 |
| 视频输出帧率不对 | 在 `Load Video` 和 `VideoCombine` 中统一设置 fps 参数 |

---

## 下一步建议

1. **先跑通单帧分割**：不连视频追踪链路，只用 `Sam2Segmentation` + `Preview Image` 确认第一帧分割正确
2. **再接入视频追踪**：确认单帧无误后，再连 `Sam2VideoSegmentationAddPoints` + `Sam2VideoSegmentation`
3. **最后添加纠正分支**：等标准流程跑通后再加入 RGThree Fast Muter 机制
4. **保存工作流模板**：`Workflow` → `Save`（或 Ctrl+S），命名为 `VideoSeg_Template.json`