feat: 打通全栈标注闭环、异步拆帧与模型状态

后端能力： - 新增 Celery app、worker task、ProcessingTask 模型、/api/tasks 查询接口和 media_task_runner，将 /api/media/parse 改为创建后台任务并由 worker 执行 FFmpeg/OpenCV/pydicom 拆帧。 - 新增 Redis 进度事件模块和 FastAPI Redis pub/sub 订阅，将 worker 任务进度广播到 /ws/progress；Dashboard 后端概览接口改为聚合 projects/frames/annotations/templates/processing_tasks。 - 统一项目状态为 pending/parsing/ready/error，新增共享 status 常量，并让前端兼容归一化旧状态值。 - 扩展 AI 后端：新增 SAM registry、SAM2 真实运行状态、SAM3 状态检测与文本语义推理适配入口，以及 /api/ai/models/status GPU/模型状态接口。 - 补齐标注保存/更新/删除、COCO/PNG mask 导出相关后端契约和模板 mapping_rules 打包/解包行为。前端能力： - 新增运行时 API/WS 地址推导配置，前端 API 封装对齐 FastAPI 路由、字段映射、任务轮询、标注归档、导出下载和 AI 预测响应转换。 - Dashboard 改为读取 /api/dashboard/overview，并订阅 WebSocket progress/complete/error/status 更新解析队列和实时流转记录。 - 项目库导入视频/DICOM 后创建项目、上传媒体、触发异步解析并刷新真实项目列表。 - 工作区加载真实帧、无帧时触发解析任务、回显已保存标注、保存未归档 mask、更新 dirty mask、清空当前帧后端标注、导出 COCO JSON。 - Canvas 支持当前帧点/框提示调用后端 AI、渲染推理/已保存 mask、应用模板分类并维护保存状态计数；时间轴按项目 fps 播放。 - AI 页面新增 SAM2/SAM3 模型选择，预测请求携带 model；侧边栏和工作区新增真实 GPU/SAM 状态徽标。 - 模板库和本体面板接入真实模板 CRUD、分类编辑、拖拽排序、JSON 导入、默认腹腔镜分类和本地自定义分类选择。测试与文档： - 新增 Vitest 配置、前端测试 setup、API/config/websocket/store/组件测试，覆盖登录、项目库、Dashboard、Canvas、工作区、模型状态、时间轴、本体和模板库。 - 新增 pytest 后端测试夹具和 auth/projects/templates/media/AI/export/dashboard/tasks/progress 测试，使用 SQLite、fake MinIO、fake SAM registry 和 Redis monkeypatch 隔离外部服务。 - 新增 doc/ 文档结构，冻结当前需求、设计、接口契约、测试计划、前端逐元素审计、实现地图和后续实施计划，并同步更新 README 与 AGENTS。验证： - conda run -n seg_server pytest backend/tests：27 passed。 - npm run test:run：54 passed。 - npm run lint、npm run build、compileall、git diff --check 均通过；Vite 仅提示大 chunk 警告。
2026-05-01 13:29:14 +08:00
parent 4d65c37c73
commit f020ff3b4f
78 changed files with 7089 additions and 456 deletions
--- a/backend/services/sam_registry.py
+++ b/backend/services/sam_registry.py
@@ -0,0 +1,80 @@
+"""Model registry for SAM runtimes and GPU status."""
+
+from __future__ import annotations
+
+from typing import Any
+
+from config import settings
+from services.sam2_engine import TORCH_AVAILABLE, sam_engine as sam2_engine
+from services.sam3_engine import sam3_engine
+
+try:
+    import torch
+except Exception:  # noqa: BLE001
+    torch = None  # type: ignore[assignment]
+
+
+class ModelUnavailableError(RuntimeError):
+    """Raised when a selected model cannot run in this environment."""
+
+
+class SAMRegistry:
+    """Dispatch predictions to the selected SAM backend."""
+
+    def __init__(self) -> None:
+        self._engines = {
+            "sam2": sam2_engine,
+            "sam3": sam3_engine,
+        }
+
+    def normalize_model_id(self, model_id: str | None) -> str:
+        selected = (model_id or settings.sam_default_model or "sam2").lower()
+        if selected not in self._engines:
+            raise ValueError(f"Unsupported model: {model_id}")
+        return selected
+
+    def runtime_status(self, selected_model: str | None = None) -> dict[str, Any]:
+        return {
+            "selected_model": self.normalize_model_id(selected_model),
+            "gpu": self.gpu_status(),
+            "models": [engine.status() for engine in self._engines.values()],
+        }
+
+    def gpu_status(self) -> dict[str, Any]:
+        cuda_available = bool(TORCH_AVAILABLE and torch is not None and torch.cuda.is_available())
+        return {
+            "available": cuda_available,
+            "device": "cuda" if cuda_available else "cpu",
+            "name": torch.cuda.get_device_name(0) if cuda_available else None,
+            "torch_available": bool(TORCH_AVAILABLE),
+            "torch_version": getattr(torch, "__version__", None) if torch is not None else None,
+            "cuda_version": getattr(torch.version, "cuda", None) if torch is not None else None,
+        }
+
+    def _engine(self, model_id: str | None) -> Any:
+        return self._engines[self.normalize_model_id(model_id)]
+
+    def _ensure_available(self, model_id: str | None) -> Any:
+        engine = self._engine(model_id)
+        status = engine.status()
+        if not status["available"]:
+            raise ModelUnavailableError(status["message"])
+        return engine
+
+    def predict_points(self, model_id: str | None, image: Any, points: list[list[float]], labels: list[int]):
+        return self._ensure_available(model_id).predict_points(image, points, labels)
+
+    def predict_box(self, model_id: str | None, image: Any, box: list[float]):
+        return self._ensure_available(model_id).predict_box(image, box)
+
+    def predict_auto(self, model_id: str | None, image: Any):
+        return self._ensure_available(model_id).predict_auto(image)
+
+    def predict_semantic(self, model_id: str | None, image: Any, text: str):
+        model = self.normalize_model_id(model_id)
+        if model == "sam3":
+            return self._ensure_available(model).predict_semantic(image, text)
+        return self._ensure_available(model).predict_auto(image)
+
+
+sam_registry = SAMRegistry()