admin
f020ff3b4f
后端能力： - 新增 Celery app、worker task、ProcessingTask 模型、/api/tasks 查询接口和 media_task_runner，将 /api/media/parse 改为创建后台任务并由 worker 执行 FFmpeg/OpenCV/pydicom 拆帧。 - 新增 Redis 进度事件模块和 FastAPI Redis pub/sub 订阅，将 worker 任务进度广播到 /ws/progress；Dashboard 后端概览接口改为聚合 projects/frames/annotations/templates/processing_tasks。 - 统一项目状态为 pending/parsing/ready/error，新增共享 status 常量，并让前端兼容归一化旧状态值。 - 扩展 AI 后端：新增 SAM registry、SAM2 真实运行状态、SAM3 状态检测与文本语义推理适配入口，以及 /api/ai/models/status GPU/模型状态接口。 - 补齐标注保存/更新/删除、COCO/PNG mask 导出相关后端契约和模板 mapping_rules 打包/解包行为。 前端能力： - 新增运行时 API/WS 地址推导配置，前端 API 封装对齐 FastAPI 路由、字段映射、任务轮询、标注归档、导出下载和 AI 预测响应转换。 - Dashboard 改为读取 /api/dashboard/overview，并订阅 WebSocket progress/complete/error/status 更新解析队列和实时流转记录。 - 项目库导入视频/DICOM 后创建项目、上传媒体、触发异步解析并刷新真实项目列表。 - 工作区加载真实帧、无帧时触发解析任务、回显已保存标注、保存未归档 mask、更新 dirty mask、清空当前帧后端标注、导出 COCO JSON。 - Canvas 支持当前帧点/框提示调用后端 AI、渲染推理/已保存 mask、应用模板分类并维护保存状态计数；时间轴按项目 fps 播放。 - AI 页面新增 SAM2/SAM3 模型选择，预测请求携带 model；侧边栏和工作区新增真实 GPU/SAM 状态徽标。 - 模板库和本体面板接入真实模板 CRUD、分类编辑、拖拽排序、JSON 导入、默认腹腔镜分类和本地自定义分类选择。 测试与文档： - 新增 Vitest 配置、前端测试 setup、API/config/websocket/store/组件测试，覆盖登录、项目库、Dashboard、Canvas、工作区、模型状态、时间轴、本体和模板库。 - 新增 pytest 后端测试夹具和 auth/projects/templates/media/AI/export/dashboard/tasks/progress 测试，使用 SQLite、fake MinIO、fake SAM registry 和 Redis monkeypatch 隔离外部服务。 - 新增 doc/ 文档结构，冻结当前需求、设计、接口契约、测试计划、前端逐元素审计、实现地图和后续实施计划，并同步更新 README 与 AGENTS。 验证： - conda run -n seg_server pytest backend/tests：27 passed。 - npm run test:run：54 passed。 - npm run lint、npm run build、compileall、git diff --check 均通过；Vite 仅提示大 chunk 警告。
4.5 KiB
4.5 KiB
后续实施建议
目标是把当前“能看、能上传、能拆帧”的系统推进到“能真实完成标注闭环”的系统。
阶段 1：先修接口契约（已完成基础对齐）
优先级最高。AI 点/框推理和 COCO 导出的基础契约已经按当前代码完成对齐。
已完成：
src/lib/api.ts的updateProject()已改为PATCH。exportCoco()路径已改为/api/export/{projectId}/coco。- Canvas 调 AI 时已使用当前帧真实
frame.id作为image_id。 - Canvas 点/框坐标已转成后端需要的归一化坐标。
- 后端
polygons已转成前端可渲染的 Konva path。
剩余边界：
- SAM 3 真实推理需要独立满足官方 Python 3.12+、PyTorch 2.7+、CUDA 12.6+ 环境。
- 标注删除/更新接口已打通基础能力；逐点几何编辑器尚未实现。
阶段 2：打通标注保存（已完成基础闭环）
当前工作区可将未保存 mask 写入后端标注表，并在加载项目帧后回显。
已完成：
- 前端根据
Mask.segmentation构造后端需要的 normalizedmask_data.polygons。 - 用户点击“结构化归档保存”后，未保存 mask 调用
POST /api/ai/annotate，dirty mask 调用PATCH /api/ai/annotations/{annotation_id}。 - 后端保存或更新
project_id、frame_id、template_id、mask_data、bbox；具体分类写入mask_data.class。 - 工作区加载帧后调用
GET /api/ai/annotations回显已保存标注。 - 工作区“清空遮罩”调用
DELETE /api/ai/annotations/{annotation_id}删除当前帧已保存标注。
剩余建议：
- 加入保存冲突处理和批量保存错误提示。
- 增加逐点几何编辑器，让已保存 mask 的 polygon 本身可以被修改后 PATCH。
阶段 3：接入导出按钮（已完成 COCO JSON）
当前工作区“导出 JSON 标注集”会先保存未归档 mask，再调用 COCO 导出接口。
建议：
- 增加“导出 PNG Mask ZIP”按钮，调用
/api/export/{projectId}/masks。 - 无标注时给出更明确的空导出提示。
阶段 4：替换 Dashboard mock
当前 Dashboard 已通过 GET /api/dashboard/overview 读取后端聚合快照，不再使用硬编码初始统计、队列或活动日志。
已完成：
- 聚合项目、帧、标注、模板数量和主机 load average。
- 按
processing_tasksqueued/running 任务生成解析队列。 - 按最近任务、项目、标注、模板记录生成活动流。
剩余建议：
- 为任务增加取消、重试和失败详情 UI。
- 为 Dashboard 增加任务历史筛选和失败详情入口。
阶段 5：异步拆帧和进度
Word 方案中提到 Celery + Redis。当前已经有 Celery app、worker task 和 processing_tasks 表。
已完成：
- 新建 Celery app。
POST /api/media/parse只创建任务并立即返回 task id。- worker 执行 FFmpeg/OpenCV/pydicom。
- worker 写 PostgreSQL 任务进度。
- worker 发布 Redis
seg:progress，FastAPI 广播到/ws/progress。
剩余建议：
- 为任务增加取消、重试和失败详情接口。
- 前端 Dashboard 保留轮询兜底，并补充失败详情 UI。
Dashboard 的解析队列现在已经从“项目状态派生”升级为任务表驱动，实时推送也已通过 Redis/WebSocket 打通；剩余重点是任务控制。
阶段 6：GT 导入与点区域
这是 Word 方案中最复杂的部分，当前完全未实现。
建议拆成小步：
- 先支持上传二值/多类别 mask。
- 后端按类别提取 connected components。
- 用 OpenCV distance transform 找正向点。
- 暂时不做骨架/HDBSCAN，先生成最小可用点集。
- 前端以可拖拽点显示并保存。
- 后续再做骨架和聚类增强。
阶段 7：模板优先级融合
当前模板有 z-index，但没有真正用于语义冲突裁决。
建议：
- 标注保存时记录 template class id / name / zIndex。
- 导出 mask 时按 zIndex 从低到高覆盖。
- 同类 mask 做 union。
- 跨类重叠由高 zIndex 覆盖低 zIndex。
这一步完成后，系统才真正符合“语义分割一个像素一个类别”的目标。
阶段 8：清理 UI 文案与 Mock
建议统一这些文案和真实能力：
- SAM/GPU 状态已改为
GET /api/ai/models/status驱动。 - 撤销/重做按钮接历史栈，否则隐藏。
- “重新提取内侧中轴树骨架”接真实接口，否则标为未实现。
- AI 独立页不要固定 Unsplash 图，应从当前项目帧或上传文件进入。