vault backup: 2026-04-24 14:49:34
This commit is contained in:
@@ -4,8 +4,8 @@
|
|||||||
"title": "Design ComfyUI video segmentation and tracking",
|
"title": "Design ComfyUI video segmentation and tracking",
|
||||||
"titleGenerationStatus": "success",
|
"titleGenerationStatus": "success",
|
||||||
"createdAt": 1776871296744,
|
"createdAt": 1776871296744,
|
||||||
"updatedAt": 1777011606664,
|
"updatedAt": 1777012794152,
|
||||||
"lastResponseAt": 1777011606664,
|
"lastResponseAt": 1777012794152,
|
||||||
"sessionId": "50e1c568-9493-4c86-8ca1-1f50b0f2e724",
|
"sessionId": "50e1c568-9493-4c86-8ca1-1f50b0f2e724",
|
||||||
"providerState": {
|
"providerState": {
|
||||||
"providerSessionId": "50e1c568-9493-4c86-8ca1-1f50b0f2e724"
|
"providerSessionId": "50e1c568-9493-4c86-8ca1-1f50b0f2e724"
|
||||||
@@ -15,12 +15,12 @@
|
|||||||
],
|
],
|
||||||
"usage": {
|
"usage": {
|
||||||
"model": "kimi-for-coding",
|
"model": "kimi-for-coding",
|
||||||
"inputTokens": 133795,
|
"inputTokens": 139251,
|
||||||
"cacheCreationInputTokens": 0,
|
"cacheCreationInputTokens": 0,
|
||||||
"cacheReadInputTokens": 0,
|
"cacheReadInputTokens": 0,
|
||||||
"contextWindow": 200000,
|
"contextWindow": 200000,
|
||||||
"contextTokens": 133795,
|
"contextTokens": 139251,
|
||||||
"percentage": 67,
|
"percentage": 70,
|
||||||
"contextWindowIsAuthoritative": true
|
"contextWindowIsAuthoritative": true
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
1
.obsidian/workspace.json
vendored
1
.obsidian/workspace.json
vendored
@@ -197,6 +197,7 @@
|
|||||||
},
|
},
|
||||||
"active": "98c4d568edb73698",
|
"active": "98c4d568edb73698",
|
||||||
"lastOpenFiles": [
|
"lastOpenFiles": [
|
||||||
|
"自动语义分割系统/视频笔记-ComfyUI SAM2 Easy Tutorial.md",
|
||||||
"自动语义分割系统/插件功能大全.md",
|
"自动语义分割系统/插件功能大全.md",
|
||||||
"自动语义分割系统/安装步骤.md",
|
"自动语义分割系统/安装步骤.md",
|
||||||
"自动语义分割系统/系统设计.md",
|
"自动语义分割系统/系统设计.md",
|
||||||
|
|||||||
121
自动语义分割系统/视频笔记-ComfyUI SAM2 Easy Tutorial.md
Normal file
121
自动语义分割系统/视频笔记-ComfyUI SAM2 Easy Tutorial.md
Normal file
@@ -0,0 +1,121 @@
|
|||||||
|
---
|
||||||
|
title: "视频笔记:ComfyUI Segment Anything V2 Easy Tutorial"
|
||||||
|
date: 2026-04-24
|
||||||
|
tags:
|
||||||
|
- comfyUI
|
||||||
|
- SAM2
|
||||||
|
- 视频分割
|
||||||
|
- 教程笔记
|
||||||
|
source:
|
||||||
|
platform: YouTube
|
||||||
|
url: https://www.youtube.com/watch?v=Zx9AQMA9zbI
|
||||||
|
channel: Tutorials View
|
||||||
|
duration: "8:23"
|
||||||
|
---
|
||||||
|
|
||||||
|
# 视频笔记:ComfyUI Segment Anything V2 Easy Tutorial
|
||||||
|
|
||||||
|
## 视频基本信息
|
||||||
|
|
||||||
|
| 项目 | 内容 |
|
||||||
|
|:---|:---|
|
||||||
|
| **标题** | ComfyUI Segment Anything V2 Easy Tutorial Video Image Segment |
|
||||||
|
| **频道** | [Tutorials View](https://www.youtube.com/channel/UCneOmV-ve3Tm9Fn52e9bRnQ) |
|
||||||
|
| **链接** | https://www.youtube.com/watch?v=Zx9AQMA9zbI |
|
||||||
|
| **时长** | 8 分 23 秒 |
|
||||||
|
| **语言** | 英语 / 韩语(双语字幕) |
|
||||||
|
| **工作流下载** | YouTube 频道会员专属 |
|
||||||
|
|
||||||
|
## 视频核心主题
|
||||||
|
|
||||||
|
> "AI recognizes movement and automatically separates the desired area without a separate tracking process."
|
||||||
|
|
||||||
|
本视频演示如何使用 **ComfyUI + Segment Anything 2 (SAM2)** 实现:
|
||||||
|
1. **图像分割** — 单帧交互式分割(点/框标注)
|
||||||
|
2. **视频分割** — AI 自动识别运动并追踪目标,**无需传统手动追踪流程**
|
||||||
|
3. **工作流特点** — 简单、免费、适合初学者
|
||||||
|
|
||||||
|
## 涉及工具与插件
|
||||||
|
|
||||||
|
视频描述中明确列出的依赖:
|
||||||
|
|
||||||
|
| 工具/插件 | 用途 | 仓库 |
|
||||||
|
|:---|:---|:---|
|
||||||
|
| **ComfyUI** | 核心运行平台 | https://github.com/comfyanonymous/ComfyUI |
|
||||||
|
| **ComfyUI-Manager** | 插件管理器 | https://github.com/ltdrdata/ComfyUI-Manager |
|
||||||
|
| **ComfyUI-Segment Anything-2** | SAM2 分割模型 | https://github.com/facebookresearch/segment-anything-2 |
|
||||||
|
| **ComfyUI-Cg-use-everywhere** | 无线数据广播(简化连线) | https://github.com/chrisgoringe/cg-use-everywhere |
|
||||||
|
|
||||||
|
> **注意**:视频描述中的 SAM2 链接指向了 Meta 官方仓库。在实际 ComfyUI 使用中,通常需要安装封装好的节点包(如 `ComfyUI-segment-anything-2` by kijai)才能在 ComfyUI 中调用 SAM2。
|
||||||
|
|
||||||
|
## 工作流程推断(基于主题与已知节点)
|
||||||
|
|
||||||
|
由于无法直接观看视频画面,以下是根据视频标题、描述及 SAM2 通用工作流推断的核心步骤:
|
||||||
|
|
||||||
|
### Step 1:环境准备
|
||||||
|
- 通过 **ComfyUI-Manager** 安装所需节点包
|
||||||
|
- 下载 SAM2 模型权重(`sam2_hiera_base_plus.pt` 或 `sam2.1_hiera_base_plus.safetensors`)
|
||||||
|
|
||||||
|
### Step 2:单帧分割(第一帧标注)
|
||||||
|
- 加载图像或视频的第一帧
|
||||||
|
- 使用 **点标注** 或 **框标注** 指定目标区域
|
||||||
|
- SAM2 生成分割 Mask
|
||||||
|
|
||||||
|
### Step 3:视频追踪(核心卖点)
|
||||||
|
- SAM2 的 **视频追踪能力** 自动将第一帧的分割结果传播到整个视频
|
||||||
|
- **无需手动逐帧追踪** — AI 通过运动识别自动跟踪目标对象的形变和移动
|
||||||
|
- 这是 SAM2 相比传统 rotoscoping / 逐帧蒙版工作的革命性优势
|
||||||
|
|
||||||
|
### Step 4:输出与合成
|
||||||
|
- 输出每帧的分割 Mask 序列
|
||||||
|
- 合成带透明通道的抠像结果
|
||||||
|
- 可进一步用于背景替换、特效合成等
|
||||||
|
|
||||||
|
## 与系统设计的对应关系
|
||||||
|
|
||||||
|
本视频演示的内容与我们 [[自动语义分割系统/系统设计.md]] 中规划的架构高度一致:
|
||||||
|
|
||||||
|
| 视频演示 | 系统设计文档 |
|
||||||
|
|:---|:---|
|
||||||
|
| 单帧交互分割(点/框标注) | 第 1 章:单帧交互分割 |
|
||||||
|
| AI 自动运动追踪 | 第 2 章:视频前后追踪分割 |
|
||||||
|
| 简单工作流 | 第 4 章:ComfyUI 节点拓扑 |
|
||||||
|
| 无需手动追踪 | 第 6 章:SAM2 视频追踪原理 |
|
||||||
|
|
||||||
|
## 关键节点对应(推测)
|
||||||
|
|
||||||
|
基于 `ComfyUI-segment-anything-2` 节点包,视频中可能使用的节点:
|
||||||
|
|
||||||
|
```
|
||||||
|
[Load Video] ──→ [Sam2VideoSegmentationAddPoints] ──→ [Sam2VideoSegmentation] ──→ [Preview/Save]
|
||||||
|
│ ↑
|
||||||
|
│ [(Down)Load SAM2Model]
|
||||||
|
│ ↑
|
||||||
|
│ [coordinates_positive](点标注)
|
||||||
|
│
|
||||||
|
└──→ [Sam2Segmentation](单帧预览测试,可选)
|
||||||
|
```
|
||||||
|
|
||||||
|
## 学习要点
|
||||||
|
|
||||||
|
1. **SAM2 的核心优势**:不只是单图分割,而是**时序一致性追踪**。传统方法需要手动追踪每一帧,SAM2 通过记忆机制自动传播。
|
||||||
|
2. **零成本追踪**:无需购买 After Effects、Nuke 等商业软件的追踪插件。
|
||||||
|
3. **工作流简洁**:ComfyUI 的节点化设计使得整个流程可视化、可复用。
|
||||||
|
|
||||||
|
## 建议后续操作
|
||||||
|
|
||||||
|
1. **安装插件**:通过 ComfyUI Manager 搜索并安装 `ComfyUI-segment-anything-2`
|
||||||
|
2. **下载模型**:将 SAM2 模型放入 `ComfyUI/models/sam2/` 目录
|
||||||
|
3. **复现工作流**:参考本视频的工作流结构,结合我们的 [[自动语义分割系统/安装步骤.md]] 搭建自己的分割管线
|
||||||
|
4. **对比测试**:尝试同一视频分别用 SAM2 自动追踪 vs 手动逐帧 Mask,评估时间节省和质量差异
|
||||||
|
|
||||||
|
## 相关文档
|
||||||
|
|
||||||
|
- [[自动语义分割系统/系统设计.md]]
|
||||||
|
- [[自动语义分割系统/安装步骤.md]]
|
||||||
|
- [[自动语义分割系统/ComfyUI 搭建操作指南.md]]
|
||||||
|
- [[自动语义分割系统/插件功能大全.md]]
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
> **免责声明**:本笔记基于视频公开元数据(标题、描述)及 SAM2 通用知识推断整理。如需精确复现视频中的工作流,建议直接观看原视频或加入频道会员获取官方工作流文件。
|
||||||
Reference in New Issue
Block a user