Files

admin f020ff3b4f feat: 打通全栈标注闭环、异步拆帧与模型状态

后端能力：

- 新增 Celery app、worker task、ProcessingTask 模型、/api/tasks 查询接口和 media_task_runner，将 /api/media/parse 改为创建后台任务并由 worker 执行 FFmpeg/OpenCV/pydicom 拆帧。

- 新增 Redis 进度事件模块和 FastAPI Redis pub/sub 订阅，将 worker 任务进度广播到 /ws/progress；Dashboard 后端概览接口改为聚合 projects/frames/annotations/templates/processing_tasks。

- 统一项目状态为 pending/parsing/ready/error，新增共享 status 常量，并让前端兼容归一化旧状态值。

- 扩展 AI 后端：新增 SAM registry、SAM2 真实运行状态、SAM3 状态检测与文本语义推理适配入口，以及 /api/ai/models/status GPU/模型状态接口。

- 补齐标注保存/更新/删除、COCO/PNG mask 导出相关后端契约和模板 mapping_rules 打包/解包行为。

前端能力：

- 新增运行时 API/WS 地址推导配置，前端 API 封装对齐 FastAPI 路由、字段映射、任务轮询、标注归档、导出下载和 AI 预测响应转换。

- Dashboard 改为读取 /api/dashboard/overview，并订阅 WebSocket progress/complete/error/status 更新解析队列和实时流转记录。

- 项目库导入视频/DICOM 后创建项目、上传媒体、触发异步解析并刷新真实项目列表。

- 工作区加载真实帧、无帧时触发解析任务、回显已保存标注、保存未归档 mask、更新 dirty mask、清空当前帧后端标注、导出 COCO JSON。

- Canvas 支持当前帧点/框提示调用后端 AI、渲染推理/已保存 mask、应用模板分类并维护保存状态计数；时间轴按项目 fps 播放。

- AI 页面新增 SAM2/SAM3 模型选择，预测请求携带 model；侧边栏和工作区新增真实 GPU/SAM 状态徽标。

- 模板库和本体面板接入真实模板 CRUD、分类编辑、拖拽排序、JSON 导入、默认腹腔镜分类和本地自定义分类选择。

测试与文档：

- 新增 Vitest 配置、前端测试 setup、API/config/websocket/store/组件测试，覆盖登录、项目库、Dashboard、Canvas、工作区、模型状态、时间轴、本体和模板库。

- 新增 pytest 后端测试夹具和 auth/projects/templates/media/AI/export/dashboard/tasks/progress 测试，使用 SQLite、fake MinIO、fake SAM registry 和 Redis monkeypatch 隔离外部服务。

- 新增 doc/ 文档结构，冻结当前需求、设计、接口契约、测试计划、前端逐元素审计、实现地图和后续实施计划，并同步更新 README 与 AGENTS。

验证：

- conda run -n seg_server pytest backend/tests：27 passed。

- npm run test:run：54 passed。

- npm run lint、npm run build、compileall、git diff --check 均通过；Vite 仅提示大 chunk 警告。

2026-05-01 13:29:14 +08:00

8.8 KiB

Raw Blame History

前端逐元素审计

状态说明：

真实可用：接真实状态或后端接口，可以完成主要动作。
部分可用：能展示或完成一部分，但存在关键缺口。
Mock / UI-only：只有展示或本地状态变化，没有真实业务效果。
接口不通：前端调用与后端接口不一致，按当前代码大概率失败。

App 与导航

元素	位置	状态	说明
登录拦截	`App.tsx`	真实可用	未登录显示 `Login`，登录后显示主界面
模块切换	`Sidebar.tsx` + `App.tsx`	真实可用	切换 `dashboard/projects/workspace/ai/templates`
Logo	`Sidebar.tsx`	真实可用	使用 `/logo.png`，文件存在于 `public/logo.png`
GPU 状态圆标	`Sidebar.tsx`	真实可用	通过 `GET /api/ai/models/status` 显示 GPU/CPU 和当前模型可用性

登录页

元素	状态	说明
用户名/密码输入	真实可用	默认填入 `admin / 123456`
安全登录按钮	真实可用	调用 `POST /api/auth/login`
错误提示	真实可用	捕获后端错误并显示
安全审计说明文字	Mock / UI-only	UI 文案，没有真实审计功能

Dashboard 系统概况

元素	状态	说明
WebSocket 连接状态	真实可用	前端通过 `src/lib/config.ts` 推导或读取 `VITE_WS_PROGRESS_URL`，后端有 `/ws/progress`
解析队列任务	真实可用	初始数据来自 `GET /api/dashboard/overview`，按 `processing_tasks` queued/running 任务生成
WebSocket 更新任务	真实可用	Celery worker 更新 `processing_tasks` 后发布 Redis `seg:progress`，FastAPI 广播 progress/complete/error
项目、任务、标注、系统负载统计	真实可用	初始数据来自 `GET /api/dashboard/overview`，系统负载按主机 load average 估算
近期实时流转记录	真实可用	初始数据来自任务、项目、标注和模板记录；WebSocket status/complete/error 会继续追加

项目库 ProjectLibrary

元素	状态	说明
项目列表	真实可用	调用 `GET /api/projects`
项目卡片缩略图	真实可用	后端返回 MinIO 预签名 `thumbnail_url` 时显示
点击项目进入工作区	真实可用	设置 `currentProject` 后切到 `workspace`
新建项目	真实可用	调用 `POST /api/projects`
导入视频文件	真实可用	创建项目、上传文件、触发拆帧、刷新项目列表
解析 FPS 滑块	真实可用	值传入 `createProject({ parse_fps })`
导入 DICOM 序列	部分可用	可上传 `.dcm` 并触发解析；体验和错误反馈较粗
项目状态徽标	真实可用	项目状态统一为 `pending/parsing/ready/error`，前端兼容归一化旧状态值
更多按钮	Mock / UI-only	有图标，没有菜单或事件
alert 成功/失败提示	真实可用但粗糙	使用浏览器 `alert`

工作区 VideoWorkspace

元素	状态	说明
当前项目名	真实可用	读取 `currentProject.name`
自动加载项目帧	真实可用	调用 `GET /api/projects/{id}/frames`
无帧时触发解析	真实可用	如果 `video_path` 存在会调用 `parseMedia()` 创建异步任务，并轮询 `GET /api/tasks/{id}` 等待完成
SAM 模型状态徽标	真实可用	调用 `GET /api/ai/models/status`，显示当前选择的 SAM 2/SAM 3 是否可用
已保存标注回显	真实可用	加载工作区帧后调用 `GET /api/ai/annotations` 并渲染已保存 mask
“导出 JSON 标注集”按钮	真实可用	导出前会保存未归档 mask，然后调用 `exportCoco()` 下载 JSON
“结构化归档保存”按钮	真实可用	未保存 mask 写入 `POST /api/ai/annotate`；dirty mask 写入 `PATCH /api/ai/annotations/{id}`

CanvasArea 画布

元素	状态	说明
当前帧底图显示	真实可用	`useImage(frameUrl)` 加载当前帧 URL
滚轮缩放	真实可用	改变 Konva Stage scale
拖拽平移	真实可用	activeTool 为 `move` 时 Stage draggable
光标坐标显示	真实可用	根据 pointer position 计算
正向/反向选点	部分可用	UI 能加点，并按当前帧 `frame.id` 调用 `/api/ai/predict`；需点击归档保存才持久化
框选	部分可用	UI 能画框，并把框坐标归一化后调用后端推理；需点击归档保存才持久化
AI 推理中提示	真实可用	请求期间会显示
Mask 渲染	部分可用	前端会把推理/已保存标注转成 Konva `pathData` 渲染
应用分类	真实可用	将当前选择的模板分类应用到本帧 mask；已保存 mask 会标为 dirty，归档保存时更新后端
清空遮罩	真实可用	工作区中会删除当前帧已保存标注并清空当前帧本地 mask
保存状态计数	真实可用	底部显示已保存、未保存、待更新数量
当前图层树文字	Mock / UI-only	固定显示 `OBJECT_VEHICLE_01`

ToolsPalette 工具栏

元素	状态	说明
拖拽/选择	真实可用	控制 Canvas 是否可拖拽
多边形/矩形/圆/点/线	Mock / UI-only	只切换 activeTool，没有对应绘制逻辑
区域合并/去除	Mock / UI-only	只切换 activeTool，没有后端或前端算法
正向选点/反向选点/框选	部分可用	会影响 Canvas 交互，并能触发已对齐的 AI 推理接口
魔法棒 SAM 触发	部分可用	切到 AI 页面；不是直接执行推理
撤销/重做	Mock / UI-only	按钮无事件

FrameTimeline 时间轴

元素	状态	说明
帧缩略图	真实可用	使用 `frames[].url`
点击缩略图跳帧	真实可用	调用 `setCurrentFrame(idx)`
顶部 range 拖动	真实可用	改变当前帧
播放/暂停	真实可用	当前代码按 `parse_fps/original_fps` 推进帧，最多 30fps
方向键切帧	Mock / UI-only	Word 提到，但当前没有键盘监听

OntologyInspector 本体面板

元素	状态	说明
模板选择	部分可用	读取全局 templates，可切换 activeTemplateId
分类树展示	真实可用	显示模板 classes 和本地 customClasses
添加自定义分类	部分可用	只存在组件本地状态，不保存到后端
置信度条	Mock / UI-only	固定 `0.9412`
拓扑锚点数量	Mock / UI-only	固定 `12 节点`
重新提取骨架按钮	Mock / UI-only	无事件

AISegmentation 独立 AI 页

元素	状态	说明
模型选择 SAM2/SAM3	真实可用	选择写入 Zustand，`predictMask()` 会把 `model` 传给后端 SAM registry
正向/反向点	部分可用	可在当前项目帧上加点，并可调用 AI 推理接口
语义文本输入	部分可用	纯文本会以 `semantic` prompt 调用后端；选择 SAM 3 且运行环境满足官方依赖时走 SAM 3 文本语义推理，否则状态接口会标明不可用
参数开关	Mock / UI-only	`cropMode`、`autoDeleteBg` 只改本地状态
执行高精度语义分割	部分可用	使用当前项目帧调用 `/api/ai/predict`；没有当前帧时按钮禁用
上传替换底图	Mock / UI-only	按钮无事件
清空全体锚点	部分可用	清空前端 points 和 masks
退档推送至工作区重组	部分可用	只切回工作区，共用 masks store，但没有保存/确认流程
背景图	部分可用	优先显示当前项目帧；没有项目帧时仍回退到 Unsplash 演示图

TemplateRegistry 模板库

元素	状态	说明
模板列表	真实可用	调用 `GET /api/templates`
新建方案	真实可用	调用 `POST /api/templates`
编辑模板	真实可用	调用 `PATCH /api/templates/{id}`
删除模板	真实可用	调用 `DELETE /api/templates/{id}`
添加/删除分类	真实可用	保存在模板 `mapping_rules.classes`
拖拽排序	真实可用	重算 zIndex，保存时写后端
JSON 批量导入	部分可用	前端解析 JSON 并加入编辑态，保存后才落库
载入腹腔镜 35 分类	真实可用	前端内置数据；后端也 seed 默认模板
mapping rules	部分可用	可存 `rules`，但无实际映射执行引擎

总体结论

当前前端真实可用的主链路是：登录、Dashboard 后端概览、项目列表、新建项目、上传视频/DICOM、拆帧、浏览帧、播放帧、工作区点/框 AI 推理、标注保存/回显、COCO 导出、模板 CRUD。

当前最主要的 Mock 或未打通链路是：撤销重做、手工几何绘制、GT 导入、mask 降维点区域、真正的文本语义分割和语义优先级融合。

8.8 KiB Raw Blame History Unescape Escape