Files
Pre_Seg_Server/doc/04-api-contracts.md
admin 689a9ba283 feat: 建立 SAM2 标注闭环基线
- 打通工作区真实标注闭环:支持手工多边形、矩形、圆形、点区域和线段生成 mask,并可保存、回显、更新和删除后端 annotation。

- 增强 polygon 编辑器:支持顶点拖动、顶点删除、边中点插入、多 polygon 子区域选择编辑,以及区域合并和区域去除。

- 接入 GT mask 导入:后端支持二值/多类别 mask 拆分、contour 转 polygon、distance transform seed point,前端支持导入、回显和 seed point 拖动编辑。

- 完善导出能力:COCO JSON 导出对齐前端,PNG mask ZIP 同时包含单标注 mask、按 zIndex 融合的 semantic_frame 和 semantic_classes.json。

- 打通异步任务管理:新增任务取消、重试、失败详情接口与 Dashboard 控件,worker 支持取消状态检查并通过 Redis/WebSocket 推送 cancelled 事件。

- 对接 Dashboard 后端数据:概览统计、解析队列和实时流转记录从 FastAPI 聚合接口与 WebSocket 更新。

- 增强 AI 推理参数:前端发送 crop_to_prompt、auto_filter_background 和 min_score,后端支持点/框 prompt 局部裁剪推理、结果回映射和负向点/低分过滤。

- 接入 SAM3 基础设施:新增独立 Python 3.12 sam3 环境安装脚本、外部 worker helper、后端桥接和真实 Python/CUDA/包/HF checkpoint access 状态检测。

- 保留 SAM3 授权边界:当前官方 facebook/sam3 gated 权重未授权时状态接口会返回不可用,不伪装成可推理。

- 增强前端状态管理:新增 mask undo/redo 历史栈、AI 模型选择状态、保存状态 dirty/draft/saved 流转和项目状态归一化。

- 更新前端 API 封装:补充 annotation CRUD、GT mask import、mask ZIP export、task cancel/retry/detail、AI runtime status 和 prediction options。

- 更新 UI 控件:ToolsPalette、AISegmentation、VideoWorkspace 和 CanvasArea 接入真实操作、导入导出、撤销重做、任务控制和模型状态。

- 新增 polygon-clipping 依赖,用于前端区域 union/difference 几何运算。

- 完善后端 schemas/status/progress:补充 AI 模型外部状态字段、任务 cancelled 状态和进度事件 payload。

- 补充测试覆盖:新增后端任务控制、SAM3 桥接、GT mask、导出融合、AI options 测试;补充前端 Canvas、Dashboard、VideoWorkspace、ToolsPalette、API 和 store 测试。

- 更新 README、AGENTS 和 doc 文档:冻结当前需求/设计/测试计划,标注真实功能、剩余 Mock、SAM3 授权边界和后续实施顺序。
2026-05-01 15:26:25 +08:00

9.4 KiB
Raw Blame History

接口契约清单

前端 API 基础配置

位置:src/lib/config.tssrc/lib/api.ts

API_BASE_URL = import.meta.env.VITE_API_BASE_URL || 'http://<current-browser-host>:8000'
timeout: 30000

前端 request interceptor 会从 localStorage 读取 token,附加:

Authorization: Bearer <token>

当前后端多数接口没有鉴权依赖,所以这个 header 主要是前端侧行为。

前端封装的 API

函数 方法与路径 状态 说明
login(username, password) POST /api/auth/login 对齐 后端返回 { token, username },前端只使用 token
getProjects() GET /api/projects 对齐 前端映射 frame_countthumbnail_url 等字段
createProject(payload) POST /api/projects 对齐 支持 namedescriptionparse_fps
updateProject(id, payload) PATCH /api/projects/{id} 对齐 后端是 PATCH /api/projects/{id}
deleteProject(id) DELETE /api/projects/{id} 对齐 当前 UI 未明显接入
getTemplates() GET /api/templates 对齐 前端从 mapping_rules 取 classes/rules
createTemplate(payload) POST /api/templates 对齐 后端会打包 classes/rules 到 mapping_rules
updateTemplate(id, payload) PATCH /api/templates/{id} 对齐 模板编辑页使用
deleteTemplate(id) DELETE /api/templates/{id} 对齐 模板编辑页使用
uploadMedia(file, projectId) POST /api/media/upload 对齐 multipart form-data
uploadDicomBatch(files, projectId) POST /api/media/upload/dicom 对齐 multipart form-data
parseMedia(projectId) POST /api/media/parse?project_id=... 对齐 创建异步拆帧任务并返回 task
getTask(taskId) GET /api/tasks/{task_id} 对齐 查询异步任务状态
cancelTask(taskId) POST /api/tasks/{task_id}/cancel 对齐 取消 queued/running 任务,后端写 cancelled 并尝试 revoke Celery
retryTask(taskId) POST /api/tasks/{task_id}/retry 对齐 对 failed/cancelled 任务创建新的 queued 重试任务
getProjectFrames(projectId) GET /api/projects/{id}/frames 对齐 后端返回预签名 image_url
predictMask(payload) POST /api/ai/predict 对齐 前端发送 image_id/prompt_type/prompt_data/model,并把后端 polygons 转为 masks[].pathData
getAiModelStatus(selectedModel?) GET /api/ai/models/status 对齐 返回 GPU、SAM 2、SAM 3 的真实运行状态
getProjectAnnotations(projectId, frameId?) GET /api/ai/annotations 对齐 前端加载工作区时用于回显已保存标注
saveAnnotation(payload) POST /api/ai/annotate 对齐 工作区归档保存当前项目未保存 mask
updateAnnotation(annotationId, payload) PATCH /api/ai/annotations/{annotation_id} 对齐 工作区归档保存 dirty mask
deleteAnnotation(annotationId) DELETE /api/ai/annotations/{annotation_id} 对齐 工作区清空当前帧已保存标注
importGtMask(file, projectId, frameId, templateId?) POST /api/ai/import-gt-mask 对齐 multipart 上传 GT mask后端按非零像素值/连通域生成 polygon 标注和 seed point
getDashboardOverview() GET /api/dashboard/overview 对齐 Dashboard 初始统计、队列和活动日志
exportCoco(projectId) GET /api/export/{projectId}/coco 对齐 后端实际是 GET /api/export/{project_id}/coco
exportMasks(projectId) GET /api/export/{projectId}/masks 对齐 下载单标注 mask、语义融合 mask 和类别映射 ZIP

后端 FastAPI 接口

以下列表来自当前运行的 OpenAPI

方法 路径 用途
POST /api/auth/login 登录
POST /api/projects 创建项目
GET /api/projects 项目列表
GET /api/projects/{project_id} 项目详情
PATCH /api/projects/{project_id} 更新项目
DELETE /api/projects/{project_id} 删除项目
POST /api/projects/{project_id}/frames 添加帧记录
GET /api/projects/{project_id}/frames 项目帧列表
GET /api/projects/{project_id}/frames/{frame_id} 单帧详情
POST /api/templates 创建模板
GET /api/templates 模板列表
GET /api/templates/{template_id} 模板详情
PATCH /api/templates/{template_id} 更新模板
DELETE /api/templates/{template_id} 删除模板
POST /api/media/upload 上传视频/图片/DICOM 单文件
POST /api/media/upload/dicom 批量上传 DICOM
POST /api/media/parse 创建 Celery 拆帧任务
GET /api/tasks 查询后台任务列表
GET /api/tasks/{task_id} 查询单个后台任务
POST /api/tasks/{task_id}/cancel 取消后台任务
POST /api/tasks/{task_id}/retry 重试失败或取消的后台任务
POST /api/ai/predict SAM 2 / SAM 3 可选推理
GET /api/ai/models/status GPU 和 SAM 模型状态
POST /api/ai/auto 自动分割
POST /api/ai/annotate 保存 AI 标注
POST /api/ai/import-gt-mask 导入 GT mask 并生成标注/seed point
GET /api/ai/annotations 查询项目标注,可选按帧过滤
PATCH /api/ai/annotations/{annotation_id} 更新已保存标注
DELETE /api/ai/annotations/{annotation_id} 删除已保存标注
GET /api/dashboard/overview Dashboard 聚合快照
GET /api/export/{project_id}/coco 导出 COCO JSON
GET /api/export/{project_id}/masks 导出 PNG mask ZIP
GET /health 健康检查
WS /ws/progress WebSocket 进度通道,未出现在 OpenAPI paths 中

关键请求体

登录

{
  "username": "admin",
  "password": "123456"
}

创建项目

{
  "name": "example.mp4",
  "description": "导入说明",
  "parse_fps": 30
}

创建/更新模板

{
  "name": "腹腔镜胆囊切除术",
  "color": "#06b6d4",
  "z_index": 0,
  "classes": [
    {
      "id": "cls-1",
      "name": "胆囊",
      "color": "#ffae00",
      "zIndex": 280,
      "category": "腹腔镜胆囊切除术"
    }
  ],
  "rules": []
}

AI 推理请求体

前端 predictMask() 当前已适配后端 PredictRequest

{
  "image_id": 123,
  "model": "sam2",
  "prompt_type": "point",
  "prompt_data": {
    "points": [[0.5, 0.5]],
    "labels": [1]
  }
}

prompt_type 支持:

  • point
  • box
  • semantic,选择 sam3 时进入 SAM 3 文本语义推理;选择 sam2 时仍回退到 auto segmentation。SAM 3 真实可用性由 /api/ai/models/status 中的外部环境和 checkpoint access 状态决定。

可选 options 字段:

  • crop_to_prompt:对 point/box prompt 按锚点或框附近区域裁剪后推理,再把 polygon 回映射到原图坐标。
  • auto_filter_background:过滤低分结果,并移除包含负向点的 polygon。
  • min_score:配合 auto_filter_background 使用的最低置信度阈值。

后端响应:

{
  "polygons": [
    [[0.25, 0.25], [0.75, 0.25], [0.75, 0.75], [0.25, 0.75]]
  ],
  "scores": [0.5]
}

前端会把上面的 polygons 转成:

{
  "masks": [
    {
      "pathData": "M 160 90 L 480 90 L 480 270 L 160 270 Z",
      "segmentation": [[160, 90, 480, 90, 480, 270, 160, 270]],
      "bbox": [160, 90, 320, 180]
    }
  ]
}

已完成的接口对齐

  • updateProject() 已从 PUT 改为 PATCH
  • exportCoco() 已从 /api/export/coco/{projectId} 改为 /api/export/{projectId}/coco
  • Canvas 已使用真实 frame.id 作为 image_id
  • 点和框坐标已转成后端需要的归一化坐标。
  • 后端 polygons 已在前端转成 Konva 可渲染的 path。
  • saveAnnotation() 已接入 POST /api/ai/annotate
  • getProjectAnnotations() 已接入 GET /api/ai/annotations
  • updateAnnotation() 已接入 PATCH /api/ai/annotations/{annotationId}
  • deleteAnnotation() 已接入 DELETE /api/ai/annotations/{annotationId}
  • importGtMask() 已接入 POST /api/ai/import-gt-mask,导入后端生成的 polygon 标注、原始 gt_label_value 和 seed point。
  • exportMasks() 已接入 GET /api/export/{projectId}/masks
  • parseMedia() 已改为创建 Celery 后台任务,并返回 ProcessingTask
  • getTask() 已接入 GET /api/tasks/{taskId}
  • cancelTask() 已接入 POST /api/tasks/{taskId}/cancel
  • retryTask() 已接入 POST /api/tasks/{taskId}/retry
  • getDashboardOverview() 已从 processing_tasks 聚合解析队列。
  • Dashboard 任务列表已展示 queued/running/failed/cancelled 任务,并可通过 getTask() 查看失败详情。
  • 工作区导出按钮已调用 exportCoco() / exportMasks(),并会先保存未归档 mask。
  • PNG mask ZIP 已包含每帧 semantic_frame_*.pngsemantic_classes.json,重叠区域按 zIndex 裁决。

仍需处理的接口问题

  • WebSocket 地址已从 VITE_WS_PROGRESS_URL 读取,未配置时从 API_BASE_URL 推导;部署时仍要确认浏览器能访问该地址。
  • Celery worker 进度会写 PostgreSQL 任务表,同时发布到 Redis seg:progressFastAPI 订阅后广播到 /ws/progress
  • 已保存标注目前支持分类级更新、polygon 顶点拖动、顶点删除、边中点插入、多 polygon 子区域选择编辑后的 PATCH 更新和整帧清空删除;复杂洞结构的专业编辑仍未实现。