admin
079ae0d012
- 在软著说明书中补充DICOM影像序列可进入分割工作区处理、切片浏览和标注导出的说明。 - 新增DICOM工作区和切换切片高清截图。 - 补充右侧语义分类树可查看分类、控制显示、调整选中遮罩分类的功能介绍。 - 新增语义分类树调整遮罩类别前后截图。 - 更新功能验证与素材清单，并扩展核心素材录制脚本覆盖DICOM与语义分类调整。
209 lines
16 KiB
Markdown
209 lines
16 KiB
Markdown
# 多模态影像及视频智能语义分割与标注系统说明书
|
||
|
||
# 1.系统注册
|
||
|
||
本系统采用受控账号准入方式。普通标注人员账号由管理员在“用户管理”界面统一创建，用户首次使用系统前，应由管理员完成账号注册与初始密码分配。管理员登录系统后，单击左侧导航栏中的“用户管理”按钮，进入用户与权限管理界面。在新增用户区域中，依次填写用户名、初始密码等信息，系统默认将新增账号设置为标注员角色。填写完成后，单击“新增用户”按钮，系统完成账号创建，并在用户列表中显示该账号信息。
|
||
|
||
|
||
|
||
若需调整账号状态，管理员可在用户列表中查看当前用户的启用状态，并根据实际管理需要对用户执行启用、停用、修改密码或删除操作。系统仅保留唯一管理员账号，其余业务使用人员均作为标注员参与项目管理和分割标注工作。
|
||
|
||
|
||
|
||
# 2.系统登录
|
||
|
||
打开系统后，系统自动显示登录界面。用户在登录界面中依次输入账号和密码，确认信息无误后，单击“安全登录”按钮。系统验证通过后，将进入系统主界面，并默认显示“总体概况”页面。若账号或密码填写错误，系统将在登录表单区域显示错误提示，用户可重新填写后再次登录。
|
||
|
||
|
||
|
||
登录成功后，左侧显示系统功能导航栏，包括“总体概况”“项目库”“分割工作区”“AI智能分割”“模板库”等功能入口。管理员账号还可看到“用户管理”入口。用户可根据业务需求单击相应按钮进入对应功能页面。
|
||
|
||
|
||
|
||
|
||
# 3.系统核心管理界面
|
||
|
||
系统主界面采用左侧功能导航与右侧业务工作区布局。左侧导航用于切换系统模块，右侧区域根据当前选择显示项目数据、分割工作区、模型状态、模板分类或用户管理内容。系统左下角显示当前模型运行状态，底部用户按钮可用于退出登录。
|
||
|
||
|
||
|
||
## 3.1 总体概况
|
||
|
||
用户登录后，系统默认进入“总体概况”页面。该页面用于查看系统全局数据监控情况，包括项目总数、处理任务数量、已保存标注数量、系统负载等摘要信息。页面中还展示后台任务列表与活动记录，用户可了解视频解析、DICOM 解析、自动推理等任务的处理进度。
|
||
|
||
|
||
|
||
在任务列表中，用户可查看任务名称、处理进度、当前状态和更新时间。对于正在执行的任务，可根据系统提供的操作按钮进行取消处理；对于失败或已取消的任务，可根据需要重新执行。任务执行过程中，系统会在界面中持续更新进度提示，便于用户掌握当前处理状态。
|
||
|
||
## 3.2 项目库管理
|
||
|
||
单击左侧“项目库”按钮后，系统进入视频与连续帧项目库页面。该页面用于管理多媒体项目，支持导入视频文件、DICOM 序列文件，并对已有项目进行查看、重命名、复制、删除和进入工作区等操作。
|
||
|
||
|
||
|
||
用户单击“导入多媒体资源”按钮后，系统显示导入选项。选择“导入视频”时，用户在本地选择目标视频文件，系统显示视频导入配置界面。用户确认后，系统开始上传视频并显示导入进度。上传完成后，项目卡片会出现在项目库中。
|
||
|
||
|
||
|
||
视频项目导入完成后，若项目尚未生成帧序列，用户可单击项目卡片中的“生成帧”按钮。系统弹出帧生成配置界面，用户可选择抽帧帧率。确认后，系统开始生成帧，并在项目库与任务列表中显示处理进度。帧生成完成后，项目封面与帧数量会自动更新。
|
||
|
||
|
||
|
||
选择“导入DICOM序列”时，用户可批量选择 DICOM 文件。系统会按照文件名自然顺序读取序列，避免切片顺序错位。上传及解析过程中，项目库会显示导入进度、文件数量和处理状态。解析完成后，DICOM 项目可与普通帧序列项目一样进入分割工作区进行标注。系统会将 DICOM 序列转换为连续帧节点，后续可按帧浏览、标注、AI 辅助分割、导入 GT Mask 和导出分割结果。项目库中会同时显示视频项目与 DICOM 项目的封面、帧数量和就绪状态。
|
||
|
||
|
||
|
||
项目卡片中提供项目名称编辑入口。用户单击编辑按钮后，可修改项目名称，确认后系统更新项目列表中的显示名称。项目卡片旁还提供复制功能，用户可选择“新项目重置”或“全内容复制”；前者复制项目媒体和帧序列但不复制标注，后者复制项目内容及已有标注信息。删除项目时，系统会弹出确认提示，用户确认后系统移除该项目。
|
||
|
||
|
||
|
||
|
||
## 3.3 分割工作区
|
||
|
||
在项目库中选择项目后，系统进入“分割工作区”。分割工作区中部为影像或视频帧显示区域，左侧为标注工具栏，右侧为语义分类树，底部为帧序列时间轴。用户可在此完成帧浏览、手工标注、AI 自动推理、GT Mask 导入、标注保存与结果导出等工作。
|
||
|
||
|
||
|
||
用户可通过底部时间轴切换当前帧，也可使用播放控制按钮浏览连续帧。右下角显示当前帧序号及总帧数。若某一帧已经存在人工标注、AI 标注或自动传播结果，时间轴会用不同颜色进行提示，便于用户快速定位已处理帧。
|
||
|
||
|
||
|
||
对于 DICOM 影像序列项目，系统同样在分割工作区中显示当前切片、底部切片时间轴和右侧语义分类树。用户可像处理视频帧一样浏览 DICOM 切片并执行标注。
|
||
|
||
|
||
|
||
用户单击底部 DICOM 切片缩略图后，系统切换到对应切片并更新当前帧序号。不同切片可分别保存人工标注、AI 结果和导出数据。
|
||
|
||
|
||
|
||
左侧工具栏提供多边形、矩形、圆形、画笔、橡皮擦、区域合并、重叠区域去除、删除遮罩、清空遮罩、导入 GT Mask 和 AI 智能分割等工具。用户在右侧语义分类树中选择分类后，可使用绘制工具在当前图像上创建新的标注区域；若当前已有选中遮罩，绘制内容可并入当前选中区域。各工具按钮按绘制、修正、范围处理和导入推理类别分组显示，便于用户快速选择。
|
||
|
||
|
||
|
||
使用“创建多边形”工具时，用户可依次单击图像边界点形成标注轮廓。系统会在图像上显示已放置顶点和临时边界线，帮助用户确认轮廓位置。
|
||
|
||
|
||
|
||
多边形闭合后，系统生成遮罩并自动选中该遮罩，界面显示可编辑边界点。用户可继续拖动顶点微调区域，也可切换语义分类树修改该遮罩所属类别。
|
||
|
||
|
||
|
||
用户选择矩形工具后，可在图像上按住鼠标并拖拽形成矩形遮罩。矩形遮罩创建后同样进入可编辑状态，便于用户调整边界或修改分类。
|
||
|
||
|
||
|
||
用户选择画笔工具后，可调节画笔大小并在图像中连续涂画。若已有选中遮罩，涂画内容会并入当前遮罩；若未选中遮罩，系统会按照当前语义分类创建新的遮罩。
|
||
|
||
|
||
|
||
|
||
当需要处理多个相邻或相关区域时，用户可选择“区域合并”功能，将多个遮罩合并为同一区域；选择“重叠区域去除”功能，可对重叠遮罩进行裁决处理。对于传播产生的连续帧遮罩，系统会提示用户选择操作范围，包括当前帧、指定范围帧或所有传播帧。
|
||
|
||
用户可通过“DEL”按钮或键盘删除选中遮罩，也可通过“清空遮罩”按钮清除当前帧或传播范围内的遮罩。若选择的范围包含人工标注帧，系统会提示用户确认是否同步处理人工标注内容，避免误删重要数据。
|
||
|
||
右侧“语义分类树”用于管理当前项目的标注类别。用户可查看每个分类的颜色、名称和 maskid，也可通过分类右侧的显示按钮控制该类遮罩的显示状态。没有选中任何遮罩时，单击分类仅改变后续新建遮罩的默认分类。
|
||
|
||
|
||
|
||
当图像中已有选中遮罩时，用户单击右侧语义分类树中的其他分类，系统会将该遮罩调整为新的语义类别，并同步更新遮罩颜色和右侧当前选中分类状态。
|
||
|
||
|
||
|
||
## 3.4 AI 自动推理
|
||
|
||
在分割工作区中，用户可单击左侧工具栏的“AI自动推理”按钮。系统进入传播范围选择状态，并在顶部显示传播权重、起始帧、结束帧、向前传播帧数和向后传播帧数。用户可在时间轴上拖拽选择范围，也可直接填写帧号。
|
||
|
||
|
||
|
||
确认范围后，用户单击“开始传播”按钮。系统以当前帧已有遮罩为参考，在指定范围内自动生成连续帧分割结果。传播期间，界面顶部显示当前处理状态，用户可继续观察时间轴与当前帧区域。
|
||
|
||
|
||
|
||
传播完成后，系统会保存生成结果，并在底部时间轴中用自动传播颜色标识相关帧段。用户可切换到传播后的帧检查遮罩位置，必要时继续使用多边形调整、画笔、橡皮擦或语义分类树进行修正。
|
||
|
||
|
||
|
||
用户单击自动推理生成的目标帧后，系统会显示该帧的传播结果。用户可继续单击遮罩查看当前区域效果，并根据实际需要进行后续修正或保存。
|
||
|
||
|
||
|
||
## 3.5 AI 智能分割
|
||
|
||
单击左侧导航栏中的“AI智能分割”按钮，系统进入模型端推理可视化界面。用户可选择 SAM 2.1 Tiny、Small、Base+、Large 等模型权重。系统会显示当前模型是否可用以及设备状态，若模型不可用，对应选项将不可执行。
|
||
|
||
|
||
|
||
AI 智能分割界面提供正向选点、反向选点、边界框选和视口控制等交互式提示工具。用户可先选择提示方式，再在图像区域中添加对应提示。
|
||
|
||
|
||
|
||
用户可在图像中添加正向点、反向点或边界框提示，系统根据提示生成候选分割结果。添加正向点时，用户应单击目标区域内部；添加反向点时，用户应单击希望排除的区域。提示点会显示在图像上，用户可根据需要删除提示点后重新选择。
|
||
|
||
|
||
|
||
切换到“反向选点”后，用户可在不希望纳入结果的区域添加反向提示点。正向点与反向点会同时显示在图像上，系统据此细化目标区域与排除区域之间的边界。
|
||
|
||
|
||
|
||
单击“执行高精度语义分割”后，系统生成候选遮罩并叠加显示在图像上。仅使用正向点时，系统会围绕目标点生成候选区域，用户可判断该结果是否符合预期。
|
||
|
||
|
||
|
||
正向点与反向点共同使用时，系统会结合包含区域和排除区域重新细化候选遮罩。用户可查看候选遮罩边界，并可继续添加提示点进行细化。确认结果后，用户可将分割结果推送至分割工作区，并在工作区中继续进行语义分类、顶点调整和保存。
|
||
|
||
|
||
|
||
用户也可选择“边界框选”方式，在图像中拖拽形成矩形提示框。系统会以框选范围作为主要参考区域进行分割。
|
||
|
||
|
||
|
||
执行分割后，系统在框选范围内生成候选遮罩，用户可根据遮罩覆盖情况决定是否继续细化或推送至分割工作区。
|
||
|
||
|
||
|
||
|
||
## 3.6 GT Mask 导入与结果预览
|
||
|
||
在分割工作区中，用户可单击“导入 GT Mask”按钮，选择本地 GT Mask 图片。系统会检查图片是否符合要求：GT 图片应为灰度图，或 RGB 三通道像素值一致的图像，像素值代表对应 maskid，0 代表背景。若图片尺寸与当前帧不同，系统会自动按当前帧尺寸适配。
|
||
|
||
|
||
|
||
导入后，系统显示导入结果预览。若图片中存在当前模板未定义的类别，系统会提示用户选择处理方式：可舍弃未知类别，也可将其作为“待分类”遮罩导入，后续再重新命名。若图片不符合要求或没有非背景区域，系统会显示错误提示并拒绝导入。
|
||
|
||
## 3.7 分割结果导出
|
||
|
||
完成标注后，用户可在分割工作区单击“分割结果导出”按钮。系统弹出导出配置界面，用户可选择导出范围，包括当前图片、特定范围帧或整体视频。系统默认导出当前帧结果，用户也可在时间轴上拖拽选择导出范围。
|
||
|
||
|
||
|
||
导出内容可包括分开二值 mask、GT_label 黑白图、Pro_label 彩色图、Mix_label 原图叠加图及标注数据文件。用户确认后，系统生成压缩包并下载到本地。导出的 GT_label 文件中，像素值与语义分类的 maskid 对应；“待分类”与背景均以 0 值表示。
|
||
|
||
## 3.8 模板库管理
|
||
|
||
单击左侧“模板库”按钮，系统进入生效中模板架构清单页面。模板库用于管理语义分类模板，系统内置腹腔镜胆囊切除术、头颈部 CT 分割等默认模板。用户可查看模板名称、描述和分类树，并可复制模板形成新的可编辑模板。
|
||
|
||
|
||
|
||
进入模板详情后，用户可查看“语义分类树（拖拽调层级）”。用户可单击“编辑模板”按钮新增或修改分类，也可通过拖拽调整分类层级。每个分类包含名称、颜色和 maskid 信息，其中“待分类”分类固定为 maskid 0，不可删除，且始终位于分类树最后。
|
||
|
||
|
||
|
||
系统支持批量导入分类。用户可在批量导入区域粘贴颜色和名称数据，系统预览分类数量、颜色和 maskid 分配结果。确认后，分类将加入模板并可在分割工作区中使用。
|
||
|
||
|
||
|
||
|
||
## 3.9 用户管理与审计
|
||
|
||
管理员可单击左侧“用户管理”进入用户管理后台。该页面显示当前用户列表、用户角色、启用状态和操作按钮。管理员可创建标注员账号、修改用户密码、停用或启用用户，也可删除不再使用的账号。
|
||
|
||
用户管理页面还显示安全审计日志。管理员可查看登录、用户管理、恢复演示环境等操作记录，用于追踪系统使用情况。若需要恢复演示环境，管理员可单击“恢复演示出厂设置”，并按界面提示输入确认文本。系统完成恢复后，仅保留默认管理员、演示视频项目、演示 DICOM 项目和默认模板数据。
|
||
|
||
|
||
|
||
## 3.10 退出系统
|
||
|
||
用户完成工作后，可单击左下角当前用户图标旁的退出按钮。系统清除当前登录状态并返回登录界面。再次使用时，用户需重新输入账号和密码登录系统。
|
||
|
||
|