admin
5ab4602535
- 接入 SAM2 视频传播能力：新增 /api/ai/propagate，支持用当前帧 mask/polygon/bbox 作为 seed，通过 SAM2 video predictor 向前、向后或双向传播，并可保存为真实 annotation。 - 接入 SAM3 video tracker：通过独立 Python 3.12 external worker 调用 SAM3 video predictor/tracker，使用本地 checkpoint 与 bbox seed 执行视频级跟踪，并在模型状态中标记 video_track 能力。 - 完善 SAM 模型分发：sam_registry 按 model_id 明确区分 sam2 propagation 与 sam3 video_track，避免两个模型链路混用。 - 打通前端“传播片段”：VideoWorkspace 使用当前选中 mask 和当前 AI 模型调用后端传播接口，传播结果回写并刷新工作区已保存标注。 - 增强 SAM3 本地 checkpoint 配置：新增 sam3_checkpoint_path 配置和 .env.example 示例，状态检查改为基于本地 checkpoint/独立环境/模型包可用性。 - 完善视频拆帧参数：/api/media/parse 支持 parse_fps、max_frames、target_width，后端任务保存帧时间戳、源帧号和 frame_sequence 元数据。 - 增加运行时 schema 兼容处理：启动时为旧 frames 表补充 timestamp_ms 和 source_frame_number 列，避免旧库升级后缺字段。 - 强化 Canvas 标注编辑：补齐多边形闭合、点工具、顶点拖拽、边中点插入、Delete/Backspace 删除、区域合并和重叠去除等交互。 - 增强语义分类联动：选中 mask 后可通过右侧语义分类树更新标签、颜色和 class metadata，并同步到保存/导出链路。 - 增加关键帧时间轴体验：FrameTimeline 显示具体时间信息，并支持键盘左右方向键切换关键帧。 - 完善 AI 交互分割参数：前端保留正向点、反向点、框选和 interactive prompt 的调用状态，支持 SAM2 细化候选区域与 SAM3 bbox 入口。 - 扩展后端/前端 API 类型：新增 propagateMasks、传播请求/响应 schema，并补齐 annotation、导出、模型状态和任务接口的测试覆盖。 - 更新项目文档：同步 README、AGENTS、接口契约、需求冻结、设计冻结、前端元素审计、实施计划和测试计划，标明真实功能边界与剩余风险。 - 增加测试覆盖：补充 SAM2/SAM3 传播、SAM3 状态、媒体拆帧参数、Canvas 编辑、语义标签切换、时间轴、工作区传播和 API 合约测试。 - 加强仓库安全边界：将 sam3权重/ 加入 .gitignore，避免本地模型权重被误提交。 验证：npm run test:run；pytest backend/tests；npm run lint；npm run build；python -m py_compile；git diff --check。
12 KiB
12 KiB
前端逐元素审计
状态说明：
- 真实可用：接真实状态或后端接口，可以完成主要动作。
- 部分可用：能展示或完成一部分，但存在关键缺口。
- Mock / UI-only：只有展示或本地状态变化，没有真实业务效果。
- 接口不通：前端调用与后端接口不一致，按当前代码大概率失败。
App 与导航
| 元素 | 位置 | 状态 | 说明 |
|---|---|---|---|
| 登录拦截 | App.tsx |
真实可用 | 未登录显示 Login，登录后显示主界面 |
| 模块切换 | Sidebar.tsx + App.tsx |
真实可用 | 切换 dashboard/projects/workspace/ai/templates |
| Logo | Sidebar.tsx |
真实可用 | 使用 /logo.png，文件存在于 public/logo.png |
| GPU 状态圆标 | Sidebar.tsx |
真实可用 | 通过 GET /api/ai/models/status 显示 GPU/CPU 和当前模型可用性 |
登录页
| 元素 | 状态 | 说明 |
|---|---|---|
| 用户名/密码输入 | 真实可用 | 默认填入 admin / 123456 |
| 安全登录按钮 | 真实可用 | 调用 POST /api/auth/login |
| 错误提示 | 真实可用 | 捕获后端错误并显示 |
| 安全审计说明文字 | Mock / UI-only | UI 文案，没有真实审计功能 |
Dashboard 系统概况
| 元素 | 状态 | 说明 |
|---|---|---|
| WebSocket 连接状态 | 真实可用 | 前端通过 src/lib/config.ts 推导或读取 VITE_WS_PROGRESS_URL，后端有 /ws/progress |
| 解析队列任务 | 真实可用 | 初始数据来自 GET /api/dashboard/overview，按 processing_tasks queued/running/failed/cancelled 任务生成 |
| 任务取消 | 真实可用 | queued/running 任务显示取消按钮，调用 POST /api/tasks/{task_id}/cancel |
| 任务重试 | 真实可用 | failed/cancelled 任务显示重试按钮，调用 POST /api/tasks/{task_id}/retry 创建新任务 |
| 失败详情 | 真实可用 | 任务详情按钮调用 GET /api/tasks/{task_id}，弹窗展示 error、payload、result、Celery ID 和时间 |
| WebSocket 更新任务 | 真实可用 | Celery worker 更新 processing_tasks 后发布 Redis seg:progress，FastAPI 广播 progress/complete/error/cancelled |
| 项目、任务、标注、系统负载统计 | 真实可用 | 初始数据来自 GET /api/dashboard/overview，系统负载按主机 load average 估算 |
| 近期实时流转记录 | 真实可用 | 初始数据来自任务、项目、标注和模板记录；WebSocket status/complete/error 会继续追加 |
项目库 ProjectLibrary
| 元素 | 状态 | 说明 |
|---|---|---|
| 项目列表 | 真实可用 | 调用 GET /api/projects |
| 项目卡片缩略图 | 真实可用 | 后端返回 MinIO 预签名 thumbnail_url 时显示 |
| 点击项目进入工作区 | 真实可用 | 设置 currentProject 后切到 workspace |
| 新建项目 | 真实可用 | 调用 POST /api/projects |
| 导入视频文件 | 真实可用 | 创建项目、上传文件、触发拆帧、刷新项目列表 |
| 解析 FPS 滑块 | 真实可用 | 值传入 createProject({ parse_fps }) |
| 导入 DICOM 序列 | 部分可用 | 可上传 .dcm 并触发解析；体验和错误反馈较粗 |
| 项目状态徽标 | 真实可用 | 项目状态统一为 pending/parsing/ready/error，前端兼容归一化旧状态值 |
| 更多按钮 | Mock / UI-only | 有图标，没有菜单或事件 |
| alert 成功/失败提示 | 真实可用但粗糙 | 使用浏览器 alert |
工作区 VideoWorkspace
| 元素 | 状态 | 说明 |
|---|---|---|
| 当前项目名 | 真实可用 | 读取 currentProject.name |
| 自动加载项目帧 | 真实可用 | 调用 GET /api/projects/{id}/frames |
| 无帧时触发解析 | 真实可用 | 如果 video_path 存在会调用 parseMedia() 创建异步任务，并轮询 GET /api/tasks/{id} 等待完成 |
| SAM 模型状态徽标 | 真实可用 | 调用 GET /api/ai/models/status，显示当前选择的 SAM 2/SAM 3 是否可用 |
| 已保存标注回显 | 真实可用 | 加载工作区帧后调用 GET /api/ai/annotations 并渲染已保存 mask |
| “导出 JSON 标注集”按钮 | 真实可用 | 导出前会保存未归档 mask，然后调用 exportCoco() 下载 JSON |
| “导出 PNG Mask ZIP”按钮 | 真实可用 | 导出前会保存未归档 mask，然后调用 GET /api/export/{project_id}/masks 下载 ZIP；后端同时包含单标注 mask、每帧语义融合 mask 和 semantic_classes.json |
| “导入 GT Mask”按钮 | 真实可用 | 选择图片后调用 POST /api/ai/import-gt-mask，后端按非零像素值和连通域生成 polygon 标注与距离变换 seed point，再回显到工作区 |
| “传播片段”按钮 | 真实可用 | 使用当前选中 mask 或当前帧第一个 mask 作为 seed，调用 POST /api/ai/propagate；SAM 2 走 video predictor，SAM 3 走 external video tracker，完成后刷新已保存标注 |
| “结构化归档保存”按钮 | 真实可用 | 未保存 mask 写入 POST /api/ai/annotate；dirty mask 写入 PATCH /api/ai/annotations/{id} |
CanvasArea 画布
| 元素 | 状态 | 说明 |
|---|---|---|
| 当前帧底图显示 | 真实可用 | useImage(frameUrl) 加载当前帧 URL |
| 滚轮缩放 | 真实可用 | 改变 Konva Stage scale |
| 拖拽平移 | 真实可用 | activeTool 为 move 时 Stage draggable |
| 光标坐标显示 | 真实可用 | 根据 pointer position 计算 |
| 正向/反向选点 | 真实可用 | UI 能加点，并按当前帧 frame.id 调用 /api/ai/predict；结果需点击归档保存才持久化 |
| 框选 | 真实可用 | UI 能画框，并把框坐标归一化后调用后端推理；结果需点击归档保存才持久化 |
| AI 推理中提示 | 真实可用 | 请求期间会显示 |
| 手工多边形/矩形/圆/点/线 | 真实可用 | 多边形点击取点后可按 Enter 完成，也可在三点后点击首节点闭合；矩形/圆/线拖拽生成 polygon；点工具生成小区域；绘制工具可在已有 mask 上继续落点；均写入 Mask.segmentation，可归档保存 |
| Mask 渲染 | 真实可用 | 前端会把推理、手工绘制、GT 导入和已保存标注转成 Konva pathData 渲染 |
| Polygon 逐点编辑 / 删除 | 真实可用 | 点击 mask 后显示 polygon 顶点；拖动顶点会重算 pathData/segmentation/bbox/area，已保存 mask 标为 dirty；选中顶点后 Delete/Backspace 可删点但保留至少三点；选中 mask 但未选中顶点时 Delete/Backspace 删除整个 mask，已保存 mask 会同步调用后端删除 |
| GT seed point 回显/编辑 | 真实可用 | 已保存标注的 points 会显示为黄色 seed 点；拖动后标记为 dirty，归档保存会更新后端 |
| 应用分类 | 真实可用 | Canvas 右下角按钮可将当前选择的模板分类应用到本帧 mask；右侧语义分类树点击分类时会优先改当前已选 mask；已保存 mask 会标为 dirty，归档保存时更新后端 |
| 清空遮罩 | 真实可用 | 工作区中会删除当前帧已保存标注并清空当前帧本地 mask |
| 保存状态计数 | 真实可用 | 底部显示已保存、未保存、待更新数量 |
| 当前图层树文字 | Mock / UI-only | 固定显示 OBJECT_VEHICLE_01 |
ToolsPalette 工具栏
| 元素 | 状态 | 说明 |
|---|---|---|
| 拖拽/选择 | 真实可用 | 控制 Canvas 是否可拖拽 |
| 多边形/矩形/圆/点/线 | 真实可用 | 切换 activeTool 后由 CanvasArea 生成可保存的 polygon mask |
| 区域合并/去除 | 真实可用 | 选择工具后点击多个 mask，右下角显示已选数量和操作按钮；合并/去除模式会隐藏 polygon 编辑手柄，避免手柄抢占多选点击；使用 polygon-clipping 做 union / difference；合并会保留主 mask 并移除被合并 mask，去除会从主 mask 扣除后续选中 mask；内含扣除会保留 hole ring 并用 even-odd 规则渲染 |
| 正向选点/反向选点/框选 | 部分可用 | 会影响 Canvas 交互，并能触发已对齐的 AI 推理接口 |
| 魔法棒 SAM 触发 | 部分可用 | 切到 AI 页面；不是直接执行推理 |
| 撤销/重做 | 真实可用 | 绑定 Zustand maskHistory/maskFuture，支持工具栏按钮、AI 页按钮和 Canvas Ctrl+Z/Ctrl+Y |
FrameTimeline 时间轴
| 元素 | 状态 | 说明 |
|---|---|---|
| 帧缩略图 | 真实可用 | 使用 frames[].url |
| 点击缩略图跳帧 | 真实可用 | 调用 setCurrentFrame(idx) |
| 顶部 range 拖动 | 真实可用 | 改变当前帧 |
| 具体时间显示 | 真实可用 | 根据项目 parse_fps/original_fps 显示当前时间和总时长，格式为 mm:ss.cc |
| 播放/暂停 | 真实可用 | 当前代码按 parse_fps/original_fps 推进帧，最多 30fps |
| 方向键切帧 | 真实可用 | 全局监听左右方向键切到上一帧/下一帧；焦点在 input、textarea、select 或 contentEditable 内时不会拦截 |
OntologyInspector 本体面板
| 元素 | 状态 | 说明 |
|---|---|---|
| 模板选择 | 部分可用 | 读取全局 templates，可切换 activeTemplateId |
| 分类树展示 / 换标签 | 真实可用 | 显示模板 classes 和本地 customClasses；点击分类会设为后续新 mask 的 activeClass，如果 Canvas 已选 mask，则同步更新已选 mask 的标签、颜色和 class 元数据 |
| 添加自定义分类 | 部分可用 | 只存在组件本地状态，不保存到后端 |
| 置信度条 | Mock / UI-only | 固定 0.9412 |
| 拓扑锚点数量 | Mock / UI-only | 固定 12 节点 |
| 重新提取骨架按钮 | Mock / UI-only | 无事件 |
AISegmentation 独立 AI 页
| 元素 | 状态 | 说明 |
|---|---|---|
| 模型选择 SAM2/SAM3 | 真实可用 | 选择写入 Zustand，predictMask() 会把 model 传给后端 SAM registry |
| 正向/反向点 | 真实可用 | 可在当前项目帧上加点并调用 AI 推理接口；SAM 2 框选后会携带原始框和累计正/反点细化同一个候选 mask；SAM 3 选择后会提示点交互需切回 SAM 2 |
| SAM 3 框选 | 真实可用 | 工作区选择 SAM 3 后可使用框选工具；后端通过官方 add_geometric_prompt() 正框执行 SAM 3 几何提示推理 |
| 语义文本输入 | 部分可用 | 纯文本会以 semantic prompt 调用后端；选择 SAM 3 且独立 Python 3.12 环境、CUDA、官方包和本地 checkpoint 均满足时走 SAM 3 文本语义推理，否则状态接口会标明不可用；空文本、失败和 0 mask 返回会显示前端反馈 |
| 参数开关 | 真实可用 | cropMode 会随 /api/ai/predict 发送 crop_to_prompt，后端对点/框 prompt 裁剪推理区域并回映射 polygon；autoDeleteBg 会发送 auto_filter_background 和 min_score，后端过滤低分结果和覆盖负向点的结果 |
| 执行高精度语义分割 | 部分可用 | 使用当前项目帧调用 /api/ai/predict；没有当前帧时按钮禁用 |
| 上传替换底图 | Mock / UI-only | 按钮无事件 |
| 撤销/重做 | 真实可用 | 绑定全局 mask 历史栈 |
| 清空全体锚点 | 部分可用 | 清空前端 points 和 masks |
| 退档推送至工作区重组 | 部分可用 | 只切回工作区，共用 masks store，但没有保存/确认流程 |
| 背景图 | 部分可用 | 优先显示当前项目帧；没有项目帧时仍回退到 Unsplash 演示图 |
TemplateRegistry 模板库
| 元素 | 状态 | 说明 |
|---|---|---|
| 模板列表 | 真实可用 | 调用 GET /api/templates |
| 新建方案 | 真实可用 | 调用 POST /api/templates |
| 编辑模板 | 真实可用 | 调用 PATCH /api/templates/{id} |
| 删除模板 | 真实可用 | 调用 DELETE /api/templates/{id} |
| 添加/删除分类 | 真实可用 | 保存在模板 mapping_rules.classes |
| 拖拽排序 | 真实可用 | 重算 zIndex，保存时写后端 |
| JSON 批量导入 | 部分可用 | 前端解析 JSON 并加入编辑态，保存后才落库 |
| 载入腹腔镜 35 分类 | 真实可用 | 前端内置数据；后端也 seed 默认模板 |
| mapping rules | 部分可用 | 可存 rules，但无实际映射执行引擎 |
总体结论
当前前端真实可用的主链路是：登录、Dashboard 后端概览、项目列表、新建项目、上传视频/DICOM、拆帧、浏览帧、播放帧、工作区手工绘制、点/框 AI 推理、视频片段传播、GT mask 导入、标注保存/回显、COCO 导出、PNG mask ZIP 导出、模板 CRUD。
当前最主要的 Mock 或未打通链路是：polygon 插点/边编辑增强、真正的文本语义分割、骨架/HDBSCAN 级别的 mask 降维增强、任务历史筛选、项目更多菜单和若干检查面板指标。