diff --git a/.claudian/sessions/conv-1776871296744-2ksok7n1u.meta.json b/.claudian/sessions/conv-1776871296744-2ksok7n1u.meta.json index ef44770..25027ca 100644 --- a/.claudian/sessions/conv-1776871296744-2ksok7n1u.meta.json +++ b/.claudian/sessions/conv-1776871296744-2ksok7n1u.meta.json @@ -4,8 +4,8 @@ "title": "Design ComfyUI video segmentation and tracking", "titleGenerationStatus": "success", "createdAt": 1776871296744, - "updatedAt": 1777011606664, - "lastResponseAt": 1777011606664, + "updatedAt": 1777012794152, + "lastResponseAt": 1777012794152, "sessionId": "50e1c568-9493-4c86-8ca1-1f50b0f2e724", "providerState": { "providerSessionId": "50e1c568-9493-4c86-8ca1-1f50b0f2e724" @@ -15,12 +15,12 @@ ], "usage": { "model": "kimi-for-coding", - "inputTokens": 133795, + "inputTokens": 139251, "cacheCreationInputTokens": 0, "cacheReadInputTokens": 0, "contextWindow": 200000, - "contextTokens": 133795, - "percentage": 67, + "contextTokens": 139251, + "percentage": 70, "contextWindowIsAuthoritative": true } } \ No newline at end of file diff --git a/.obsidian/workspace.json b/.obsidian/workspace.json index aacfb1e..54185e6 100644 --- a/.obsidian/workspace.json +++ b/.obsidian/workspace.json @@ -197,6 +197,7 @@ }, "active": "98c4d568edb73698", "lastOpenFiles": [ + "自动语义分割系统/视频笔记-ComfyUI SAM2 Easy Tutorial.md", "自动语义分割系统/插件功能大全.md", "自动语义分割系统/安装步骤.md", "自动语义分割系统/系统设计.md", diff --git a/自动语义分割系统/视频笔记-ComfyUI SAM2 Easy Tutorial.md b/自动语义分割系统/视频笔记-ComfyUI SAM2 Easy Tutorial.md new file mode 100644 index 0000000..6be05a3 --- /dev/null +++ b/自动语义分割系统/视频笔记-ComfyUI SAM2 Easy Tutorial.md @@ -0,0 +1,121 @@ +--- +title: "视频笔记:ComfyUI Segment Anything V2 Easy Tutorial" +date: 2026-04-24 +tags: + - comfyUI + - SAM2 + - 视频分割 + - 教程笔记 +source: + platform: YouTube + url: https://www.youtube.com/watch?v=Zx9AQMA9zbI + channel: Tutorials View + duration: "8:23" +--- + +# 视频笔记:ComfyUI Segment Anything V2 Easy Tutorial + +## 视频基本信息 + +| 项目 | 内容 | +|:---|:---| +| **标题** | ComfyUI Segment Anything V2 Easy Tutorial Video Image Segment | +| **频道** | [Tutorials View](https://www.youtube.com/channel/UCneOmV-ve3Tm9Fn52e9bRnQ) | +| **链接** | https://www.youtube.com/watch?v=Zx9AQMA9zbI | +| **时长** | 8 分 23 秒 | +| **语言** | 英语 / 韩语(双语字幕) | +| **工作流下载** | YouTube 频道会员专属 | + +## 视频核心主题 + +> "AI recognizes movement and automatically separates the desired area without a separate tracking process." + +本视频演示如何使用 **ComfyUI + Segment Anything 2 (SAM2)** 实现: +1. **图像分割** — 单帧交互式分割(点/框标注) +2. **视频分割** — AI 自动识别运动并追踪目标,**无需传统手动追踪流程** +3. **工作流特点** — 简单、免费、适合初学者 + +## 涉及工具与插件 + +视频描述中明确列出的依赖: + +| 工具/插件 | 用途 | 仓库 | +|:---|:---|:---| +| **ComfyUI** | 核心运行平台 | https://github.com/comfyanonymous/ComfyUI | +| **ComfyUI-Manager** | 插件管理器 | https://github.com/ltdrdata/ComfyUI-Manager | +| **ComfyUI-Segment Anything-2** | SAM2 分割模型 | https://github.com/facebookresearch/segment-anything-2 | +| **ComfyUI-Cg-use-everywhere** | 无线数据广播(简化连线) | https://github.com/chrisgoringe/cg-use-everywhere | + +> **注意**:视频描述中的 SAM2 链接指向了 Meta 官方仓库。在实际 ComfyUI 使用中,通常需要安装封装好的节点包(如 `ComfyUI-segment-anything-2` by kijai)才能在 ComfyUI 中调用 SAM2。 + +## 工作流程推断(基于主题与已知节点) + +由于无法直接观看视频画面,以下是根据视频标题、描述及 SAM2 通用工作流推断的核心步骤: + +### Step 1:环境准备 +- 通过 **ComfyUI-Manager** 安装所需节点包 +- 下载 SAM2 模型权重(`sam2_hiera_base_plus.pt` 或 `sam2.1_hiera_base_plus.safetensors`) + +### Step 2:单帧分割(第一帧标注) +- 加载图像或视频的第一帧 +- 使用 **点标注** 或 **框标注** 指定目标区域 +- SAM2 生成分割 Mask + +### Step 3:视频追踪(核心卖点) +- SAM2 的 **视频追踪能力** 自动将第一帧的分割结果传播到整个视频 +- **无需手动逐帧追踪** — AI 通过运动识别自动跟踪目标对象的形变和移动 +- 这是 SAM2 相比传统 rotoscoping / 逐帧蒙版工作的革命性优势 + +### Step 4:输出与合成 +- 输出每帧的分割 Mask 序列 +- 合成带透明通道的抠像结果 +- 可进一步用于背景替换、特效合成等 + +## 与系统设计的对应关系 + +本视频演示的内容与我们 [[自动语义分割系统/系统设计.md]] 中规划的架构高度一致: + +| 视频演示 | 系统设计文档 | +|:---|:---| +| 单帧交互分割(点/框标注) | 第 1 章:单帧交互分割 | +| AI 自动运动追踪 | 第 2 章:视频前后追踪分割 | +| 简单工作流 | 第 4 章:ComfyUI 节点拓扑 | +| 无需手动追踪 | 第 6 章:SAM2 视频追踪原理 | + +## 关键节点对应(推测) + +基于 `ComfyUI-segment-anything-2` 节点包,视频中可能使用的节点: + +``` +[Load Video] ──→ [Sam2VideoSegmentationAddPoints] ──→ [Sam2VideoSegmentation] ──→ [Preview/Save] + │ ↑ + │ [(Down)Load SAM2Model] + │ ↑ + │ [coordinates_positive](点标注) + │ + └──→ [Sam2Segmentation](单帧预览测试,可选) +``` + +## 学习要点 + +1. **SAM2 的核心优势**:不只是单图分割,而是**时序一致性追踪**。传统方法需要手动追踪每一帧,SAM2 通过记忆机制自动传播。 +2. **零成本追踪**:无需购买 After Effects、Nuke 等商业软件的追踪插件。 +3. **工作流简洁**:ComfyUI 的节点化设计使得整个流程可视化、可复用。 + +## 建议后续操作 + +1. **安装插件**:通过 ComfyUI Manager 搜索并安装 `ComfyUI-segment-anything-2` +2. **下载模型**:将 SAM2 模型放入 `ComfyUI/models/sam2/` 目录 +3. **复现工作流**:参考本视频的工作流结构,结合我们的 [[自动语义分割系统/安装步骤.md]] 搭建自己的分割管线 +4. **对比测试**:尝试同一视频分别用 SAM2 自动追踪 vs 手动逐帧 Mask,评估时间节省和质量差异 + +## 相关文档 + +- [[自动语义分割系统/系统设计.md]] +- [[自动语义分割系统/安装步骤.md]] +- [[自动语义分割系统/ComfyUI 搭建操作指南.md]] +- [[自动语义分割系统/插件功能大全.md]] + +--- + +> **免责声明**:本笔记基于视频公开元数据(标题、描述)及 SAM2 通用知识推断整理。如需精确复现视频中的工作流,建议直接观看原视频或加入频道会员获取官方工作流文件。