- 打通工作区真实标注闭环:支持手工多边形、矩形、圆形、点区域和线段生成 mask,并可保存、回显、更新和删除后端 annotation。 - 增强 polygon 编辑器:支持顶点拖动、顶点删除、边中点插入、多 polygon 子区域选择编辑,以及区域合并和区域去除。 - 接入 GT mask 导入:后端支持二值/多类别 mask 拆分、contour 转 polygon、distance transform seed point,前端支持导入、回显和 seed point 拖动编辑。 - 完善导出能力:COCO JSON 导出对齐前端,PNG mask ZIP 同时包含单标注 mask、按 zIndex 融合的 semantic_frame 和 semantic_classes.json。 - 打通异步任务管理:新增任务取消、重试、失败详情接口与 Dashboard 控件,worker 支持取消状态检查并通过 Redis/WebSocket 推送 cancelled 事件。 - 对接 Dashboard 后端数据:概览统计、解析队列和实时流转记录从 FastAPI 聚合接口与 WebSocket 更新。 - 增强 AI 推理参数:前端发送 crop_to_prompt、auto_filter_background 和 min_score,后端支持点/框 prompt 局部裁剪推理、结果回映射和负向点/低分过滤。 - 接入 SAM3 基础设施:新增独立 Python 3.12 sam3 环境安装脚本、外部 worker helper、后端桥接和真实 Python/CUDA/包/HF checkpoint access 状态检测。 - 保留 SAM3 授权边界:当前官方 facebook/sam3 gated 权重未授权时状态接口会返回不可用,不伪装成可推理。 - 增强前端状态管理:新增 mask undo/redo 历史栈、AI 模型选择状态、保存状态 dirty/draft/saved 流转和项目状态归一化。 - 更新前端 API 封装:补充 annotation CRUD、GT mask import、mask ZIP export、task cancel/retry/detail、AI runtime status 和 prediction options。 - 更新 UI 控件:ToolsPalette、AISegmentation、VideoWorkspace 和 CanvasArea 接入真实操作、导入导出、撤销重做、任务控制和模型状态。 - 新增 polygon-clipping 依赖,用于前端区域 union/difference 几何运算。 - 完善后端 schemas/status/progress:补充 AI 模型外部状态字段、任务 cancelled 状态和进度事件 payload。 - 补充测试覆盖:新增后端任务控制、SAM3 桥接、GT mask、导出融合、AI options 测试;补充前端 Canvas、Dashboard、VideoWorkspace、ToolsPalette、API 和 store 测试。 - 更新 README、AGENTS 和 doc 文档:冻结当前需求/设计/测试计划,标注真实功能、剩余 Mock、SAM3 授权边界和后续实施顺序。
9.4 KiB
9.4 KiB
接口契约清单
前端 API 基础配置
位置:src/lib/config.ts、src/lib/api.ts
API_BASE_URL = import.meta.env.VITE_API_BASE_URL || 'http://<current-browser-host>:8000'
timeout: 30000
前端 request interceptor 会从 localStorage 读取 token,附加:
Authorization: Bearer <token>
当前后端多数接口没有鉴权依赖,所以这个 header 主要是前端侧行为。
前端封装的 API
| 函数 | 方法与路径 | 状态 | 说明 |
|---|---|---|---|
login(username, password) |
POST /api/auth/login |
对齐 | 后端返回 { token, username },前端只使用 token |
getProjects() |
GET /api/projects |
对齐 | 前端映射 frame_count、thumbnail_url 等字段 |
createProject(payload) |
POST /api/projects |
对齐 | 支持 name、description、parse_fps |
updateProject(id, payload) |
PATCH /api/projects/{id} |
对齐 | 后端是 PATCH /api/projects/{id} |
deleteProject(id) |
DELETE /api/projects/{id} |
对齐 | 当前 UI 未明显接入 |
getTemplates() |
GET /api/templates |
对齐 | 前端从 mapping_rules 取 classes/rules |
createTemplate(payload) |
POST /api/templates |
对齐 | 后端会打包 classes/rules 到 mapping_rules |
updateTemplate(id, payload) |
PATCH /api/templates/{id} |
对齐 | 模板编辑页使用 |
deleteTemplate(id) |
DELETE /api/templates/{id} |
对齐 | 模板编辑页使用 |
uploadMedia(file, projectId) |
POST /api/media/upload |
对齐 | multipart form-data |
uploadDicomBatch(files, projectId) |
POST /api/media/upload/dicom |
对齐 | multipart form-data |
parseMedia(projectId) |
POST /api/media/parse?project_id=... |
对齐 | 创建异步拆帧任务并返回 task |
getTask(taskId) |
GET /api/tasks/{task_id} |
对齐 | 查询异步任务状态 |
cancelTask(taskId) |
POST /api/tasks/{task_id}/cancel |
对齐 | 取消 queued/running 任务,后端写 cancelled 并尝试 revoke Celery |
retryTask(taskId) |
POST /api/tasks/{task_id}/retry |
对齐 | 对 failed/cancelled 任务创建新的 queued 重试任务 |
getProjectFrames(projectId) |
GET /api/projects/{id}/frames |
对齐 | 后端返回预签名 image_url |
predictMask(payload) |
POST /api/ai/predict |
对齐 | 前端发送 image_id/prompt_type/prompt_data/model,并把后端 polygons 转为 masks[].pathData |
getAiModelStatus(selectedModel?) |
GET /api/ai/models/status |
对齐 | 返回 GPU、SAM 2、SAM 3 的真实运行状态 |
getProjectAnnotations(projectId, frameId?) |
GET /api/ai/annotations |
对齐 | 前端加载工作区时用于回显已保存标注 |
saveAnnotation(payload) |
POST /api/ai/annotate |
对齐 | 工作区归档保存当前项目未保存 mask |
updateAnnotation(annotationId, payload) |
PATCH /api/ai/annotations/{annotation_id} |
对齐 | 工作区归档保存 dirty mask |
deleteAnnotation(annotationId) |
DELETE /api/ai/annotations/{annotation_id} |
对齐 | 工作区清空当前帧已保存标注 |
importGtMask(file, projectId, frameId, templateId?) |
POST /api/ai/import-gt-mask |
对齐 | multipart 上传 GT mask,后端按非零像素值/连通域生成 polygon 标注和 seed point |
getDashboardOverview() |
GET /api/dashboard/overview |
对齐 | Dashboard 初始统计、队列和活动日志 |
exportCoco(projectId) |
GET /api/export/{projectId}/coco |
对齐 | 后端实际是 GET /api/export/{project_id}/coco |
exportMasks(projectId) |
GET /api/export/{projectId}/masks |
对齐 | 下载单标注 mask、语义融合 mask 和类别映射 ZIP |
后端 FastAPI 接口
以下列表来自当前运行的 OpenAPI:
| 方法 | 路径 | 用途 |
|---|---|---|
| POST | /api/auth/login |
登录 |
| POST | /api/projects |
创建项目 |
| GET | /api/projects |
项目列表 |
| GET | /api/projects/{project_id} |
项目详情 |
| PATCH | /api/projects/{project_id} |
更新项目 |
| DELETE | /api/projects/{project_id} |
删除项目 |
| POST | /api/projects/{project_id}/frames |
添加帧记录 |
| GET | /api/projects/{project_id}/frames |
项目帧列表 |
| GET | /api/projects/{project_id}/frames/{frame_id} |
单帧详情 |
| POST | /api/templates |
创建模板 |
| GET | /api/templates |
模板列表 |
| GET | /api/templates/{template_id} |
模板详情 |
| PATCH | /api/templates/{template_id} |
更新模板 |
| DELETE | /api/templates/{template_id} |
删除模板 |
| POST | /api/media/upload |
上传视频/图片/DICOM 单文件 |
| POST | /api/media/upload/dicom |
批量上传 DICOM |
| POST | /api/media/parse |
创建 Celery 拆帧任务 |
| GET | /api/tasks |
查询后台任务列表 |
| GET | /api/tasks/{task_id} |
查询单个后台任务 |
| POST | /api/tasks/{task_id}/cancel |
取消后台任务 |
| POST | /api/tasks/{task_id}/retry |
重试失败或取消的后台任务 |
| POST | /api/ai/predict |
SAM 2 / SAM 3 可选推理 |
| GET | /api/ai/models/status |
GPU 和 SAM 模型状态 |
| POST | /api/ai/auto |
自动分割 |
| POST | /api/ai/annotate |
保存 AI 标注 |
| POST | /api/ai/import-gt-mask |
导入 GT mask 并生成标注/seed point |
| GET | /api/ai/annotations |
查询项目标注,可选按帧过滤 |
| PATCH | /api/ai/annotations/{annotation_id} |
更新已保存标注 |
| DELETE | /api/ai/annotations/{annotation_id} |
删除已保存标注 |
| GET | /api/dashboard/overview |
Dashboard 聚合快照 |
| GET | /api/export/{project_id}/coco |
导出 COCO JSON |
| GET | /api/export/{project_id}/masks |
导出 PNG mask ZIP |
| GET | /health |
健康检查 |
| WS | /ws/progress |
WebSocket 进度通道,未出现在 OpenAPI paths 中 |
关键请求体
登录
{
"username": "admin",
"password": "123456"
}
创建项目
{
"name": "example.mp4",
"description": "导入说明",
"parse_fps": 30
}
创建/更新模板
{
"name": "腹腔镜胆囊切除术",
"color": "#06b6d4",
"z_index": 0,
"classes": [
{
"id": "cls-1",
"name": "胆囊",
"color": "#ffae00",
"zIndex": 280,
"category": "腹腔镜胆囊切除术"
}
],
"rules": []
}
AI 推理请求体
前端 predictMask() 当前已适配后端 PredictRequest:
{
"image_id": 123,
"model": "sam2",
"prompt_type": "point",
"prompt_data": {
"points": [[0.5, 0.5]],
"labels": [1]
}
}
prompt_type 支持:
pointboxsemantic,选择sam3时进入 SAM 3 文本语义推理;选择sam2时仍回退到 auto segmentation。SAM 3 真实可用性由/api/ai/models/status中的外部环境和 checkpoint access 状态决定。
可选 options 字段:
crop_to_prompt:对 point/box prompt 按锚点或框附近区域裁剪后推理,再把 polygon 回映射到原图坐标。auto_filter_background:过滤低分结果,并移除包含负向点的 polygon。min_score:配合auto_filter_background使用的最低置信度阈值。
后端响应:
{
"polygons": [
[[0.25, 0.25], [0.75, 0.25], [0.75, 0.75], [0.25, 0.75]]
],
"scores": [0.5]
}
前端会把上面的 polygons 转成:
{
"masks": [
{
"pathData": "M 160 90 L 480 90 L 480 270 L 160 270 Z",
"segmentation": [[160, 90, 480, 90, 480, 270, 160, 270]],
"bbox": [160, 90, 320, 180]
}
]
}
已完成的接口对齐
updateProject()已从PUT改为PATCH。exportCoco()已从/api/export/coco/{projectId}改为/api/export/{projectId}/coco。- Canvas 已使用真实
frame.id作为image_id。 - 点和框坐标已转成后端需要的归一化坐标。
- 后端
polygons已在前端转成 Konva 可渲染的 path。 saveAnnotation()已接入POST /api/ai/annotate。getProjectAnnotations()已接入GET /api/ai/annotations。updateAnnotation()已接入PATCH /api/ai/annotations/{annotationId}。deleteAnnotation()已接入DELETE /api/ai/annotations/{annotationId}。importGtMask()已接入POST /api/ai/import-gt-mask,导入后端生成的 polygon 标注、原始gt_label_value和 seed point。exportMasks()已接入GET /api/export/{projectId}/masks。parseMedia()已改为创建 Celery 后台任务,并返回ProcessingTask。getTask()已接入GET /api/tasks/{taskId}。cancelTask()已接入POST /api/tasks/{taskId}/cancel。retryTask()已接入POST /api/tasks/{taskId}/retry。getDashboardOverview()已从processing_tasks聚合解析队列。- Dashboard 任务列表已展示 queued/running/failed/cancelled 任务,并可通过
getTask()查看失败详情。 - 工作区导出按钮已调用
exportCoco()/exportMasks(),并会先保存未归档 mask。 - PNG mask ZIP 已包含每帧
semantic_frame_*.png和semantic_classes.json,重叠区域按 zIndex 裁决。
仍需处理的接口问题
- WebSocket 地址已从
VITE_WS_PROGRESS_URL读取,未配置时从API_BASE_URL推导;部署时仍要确认浏览器能访问该地址。 - Celery worker 进度会写 PostgreSQL 任务表,同时发布到 Redis
seg:progress;FastAPI 订阅后广播到/ws/progress。 - 已保存标注目前支持分类级更新、polygon 顶点拖动、顶点删除、边中点插入、多 polygon 子区域选择编辑后的 PATCH 更新和整帧清空删除;复杂洞结构的专业编辑仍未实现。