# 西安交通大学基本科研业务费

# 申 请 书

项目名称： 磁定位辅助多模态融合微创手术组织自动配准系统

项目申请人： 王志博 出生年月： 2001-11

人员编号： 4122198033 手机号码： 13946112059

所在单位： 未来技术学院

电子邮箱： 572701190@qq.com

执行期限： 2024 年 1 月 至 2025 年 12 月

西安交通大学科研院

# 一、基本信息

<table><tr><td rowspan="5">项目基本信息</td><td>项目名称</td><td colspan="6">磁定位辅助多模态融合微创手术组织自动配准系统</td></tr><tr><td>主要一级学科</td><td colspan="6">临床医学</td></tr><tr><td>科技活动类型</td><td colspan="6">应用研究</td></tr><tr><td>所在研究基地类型</td><td colspan="6">国家(重点)实验室</td></tr><tr><td>所在研究基地名称</td><td colspan="6">精准外科与再生医学国家地方联合工程研究中心</td></tr><tr><td rowspan="8">申请人基本信息</td><td>姓名</td><td>王志博</td><td>性别</td><td>男</td><td>出生年月</td><td colspan="2">2001-11</td></tr><tr><td>手机号码</td><td>13946112059</td><td>学号</td><td colspan="4">4122198033</td></tr><tr><td>所在单位</td><td colspan="6">未来技术学院</td></tr><tr><td>所在院系</td><td colspan="6">医工学</td></tr><tr><td>行政职务</td><td colspan="6">无</td></tr><tr><td>职称</td><td colspan="6">其他</td></tr><tr><td>学位</td><td colspan="6">学士</td></tr><tr><td>支持对象</td><td colspan="6">博士生</td></tr><tr><td rowspan="2">导师信息</td><td>导师姓名</td><td>导师人员编号</td><td colspan="2">导师所在学院</td><td>所属一级学科</td><td colspan="2">手机号码</td></tr><tr><td>吴荣谦</td><td>1100003336</td><td colspan="2">第一附属医院</td><td>临床医学</td><td colspan="2">18629053941</td></tr><tr><td rowspan="6">参与人</td><td>姓名</td><td>出生年月</td><td>所在学院</td><td>职称</td><td>已取得最高学位</td><td>所属一级学科</td><td>手机号码</td></tr><tr><td>吕毅</td><td>1963-04</td><td>第一附属医院</td><td>正高级</td><td>博士</td><td>临床医学</td><td>13991200581</td></tr><tr><td>吴荣谦</td><td>1971-12</td><td>第一附属医院</td><td>正高级</td><td>博士</td><td>临床医学</td><td>18629053941</td></tr><tr><td>夏灿</td><td>2000-12</td><td>未来技术学院</td><td>其他</td><td>学士</td><td>工程与技术科学基础学科</td><td>18796135096</td></tr><tr><td>郁乐</td><td>2001-11</td><td>未来技术学院</td><td>其他</td><td>学士</td><td>工程与技术科学基础学科</td><td>18821691663</td></tr><tr><td>彭薇</td><td>2002-09</td><td>未来技术学院</td><td>其他</td><td>学士</td><td>信息与系统科学相关工程与</td><td>17700249573</td></tr><tr><td rowspan="2"></td><td></td><td></td><td></td><td></td><td></td><td>技术</td><td></td></tr><tr><td colspan="7">共计:6人。其中高级职称2人;中级职称0人。</td></tr><tr><td>项目摘要500字内</td><td colspan="7">在响应健康中国和制造强国战略部署的背景下,《“十四五”医疗装备产业发展规划》明确强调了医工协同的重要性,提倡开展医疗装备临床应用的创新研究,以提升微创治疗和术中精准成像等医疗装备的性能水平,并推动医疗装备向智能化、精准化方向发展。特别是在微创外科领域,外科医生常因内窥镜视野有限而面临挑战,尤其在定位神经、血管等关键解剖结构时,风险较高,可能会增加误伤组织结构的风险,甚至遗留恶性组织。现行的导航技术通常要求医生在手术关键时刻手动进行配准,然而在忙碌的临床手术环境中,医生往往难以分出大量时间来手动进行这一过程。为了解决这些挑战,我们的项目采用了磁辅助定位技术与多模态影像融合技术,并创新自动配准算法,显著提高了外科医生在手术环境中的感知能力。通过高效融合术前三维影像与术中二维影像,并在腹腔镜视频中实现肿瘤、血管等关键解剖结构的精确配准,这一方法不仅大幅提升了手术的精确性和安全性,降低了误伤风险,同时提高手术成功率。此外,本项目在精确导航、疗效评估、辅助医疗诊断等多方面展现出显著的应用潜力,有效提升了手术患者的远期生存率和生活质量,为微创手术自动导航配准提供有效解决方案。</td></tr></table>

# 二、科研信息

<table><tr><td rowspan="6">5篇(以内)代表性论文(须为第一作者或通讯作者)</td><td colspan="2">论文名</td><td colspan="2">期刊名(全称)</td><td>影响因子</td><td colspan="2">WOS被引次数</td></tr><tr><td colspan="2">Intelligent Surgery Enters the Blind Spot of Lumpectomy Liver Resection</td><td colspan="2">China Medical Artificial Intelligence Conference</td><td>0</td><td colspan="2">0</td></tr><tr><td colspan="2">Intelligent digital fogging technology shows great potential in laparoscopic hepatectomy surgery</td><td colspan="2">China Medical Artificial Intelligence Conference</td><td>0</td><td colspan="2">0</td></tr><tr><td colspan="2">Intelligent Surgical Confidential Assistant Helps Precise Magnetic Assisted Vascular Anastomosis</td><td colspan="2">2023 American College of Surgeons Clinical Congress</td><td>0</td><td colspan="2">0</td></tr><tr><td colspan="2"></td><td colspan="2"></td><td></td><td colspan="2"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td></td><td colspan="2"></td></tr><tr><td rowspan="2">近5年SCI论文数</td><td>总数</td><td>0</td><td rowspan="2">近5年ESI论文数</td><td colspan="3">总数</td><td>0</td></tr><tr><td>第一或通讯作者数</td><td>0</td><td colspan="3">第一或通讯作者数</td><td>0</td></tr><tr><td rowspan="6">5项(以内)代表性科研项目(须为项目负责人,国家级项目可扩展至课题负责人)</td><td colspan="2">项目名称</td><td colspan="2">项目级别</td><td>项目状态</td><td colspan="2">直接经费(万元)</td></tr><tr><td colspan="2"></td><td colspan="2"></td><td></td><td colspan="2"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td></td><td colspan="2"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td></td><td colspan="2"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td></td><td colspan="2"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td></td><td colspan="2"></td></tr><tr><td rowspan="6">5个(以内)代表性科研获奖</td><td>成果名称</td><td colspan="3">授奖级别</td><td>授奖年度</td><td colspan="2">第几完成人</td></tr><tr><td>2023产业融合发展——新工科创新大赛一等奖</td><td colspan="3">国家级</td><td>2023</td><td colspan="2">1</td></tr><tr><td>第二届中国研究生“双碳”创新与创意大赛二等奖</td><td colspan="3">国家级</td><td>2023</td><td colspan="2">1</td></tr><tr><td>第十三届“挑战杯”中国大学生创业计划竞赛国赛三等奖</td><td colspan="3">国家级</td><td>2023</td><td colspan="2">1</td></tr><tr><td>第六届智慧医疗创新大赛全国总决赛应用创新赛道二等奖</td><td colspan="3">国家级</td><td>2023</td><td colspan="2">2</td></tr><tr><td>第九届互联网+创新创业大赛陕西省省赛</td><td colspan="3">省部级</td><td>2023</td><td colspan="2">2</td></tr><tr><td colspan="2">申请发明专利数</td><td colspan="3">6</td><td>授权发明专利数</td><td colspan="2">0</td></tr><tr><td rowspan="6">5个(以内)重要学术组织任职</td><td colspan="2">学术组织名称</td><td colspan="2">职位名称</td><td colspan="3">组织级别</td></tr><tr><td colspan="2">中国抗癌协会</td><td colspan="2">会员</td><td colspan="3">国内级</td></tr><tr><td colspan="2">中国生物医学工程学会</td><td colspan="2">会员</td><td colspan="3">国内级</td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr><tr><td rowspan="6">5个(以内)重要期刊任职</td><td colspan="2">期刊名(全称)</td><td colspan="2">职位名称</td><td colspan="3">影响因子</td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr><tr><td colspan="2"></td><td colspan="2"></td><td colspan="3"></td></tr></table>

# 三、报告正文

（温馨提示：申请书填写时请您使用黑体 5 号字，不加粗，单倍行距，首行缩进 2字符。正文请勿出现表格或者单元格）

# 3.1 立项依据、国内外研究现状

在积极响应"健康中国"和"制造强国"战略部署的大背景下，《“十四五”医疗装备产业发展规划》中明确强调了医工协同的重要性，并提倡开展关于医疗装备临床应用的创新研究。这一策略旨在提升微创治疗和术中精准成像等医疗装备的性能水平，同时推动医疗装备朝向智能化、精准化方向发展，以及加强医院的数字化和信息化建设。《柳叶刀》全球外科委员会的估计显示,全球范围内，每年进行的外科手术次数超过 3.3亿次，然而每年仍需额外进行约 1.43 亿次外科手术来“拯救生命和预防残疾”[1]。此外，大量的可预防医疗错误发生在手术室中，全球因手术事故与术后并发症所导致的死亡人数超过 1066万，手术事故与术后并发症的整体发生率超过 15%。这些观察表明，开发有效的解决方案来提高外科手术的安全性和效率是迫切且必要的[2]。

随着人工智能和计算机视觉等技术的快速发展，人工智能技术及其算法已在医学影像、临床决策支持、病理分析等多个医疗领域得到广泛应用[3]。许多国内外顶级三甲医院已经开始试点使用智能诊疗助手和智能影像识别等人工智能技术，这些技术在提高诊断准确性和治疗效率方面显示出巨大潜力。然而，人工智能技术在临床外科辅助领域仍然处于初步探索阶段。当前，基于临床数据的获取与挖掘，以及手术术中的辅助应用，正成为临床医疗数字化发展的热点和重点。在外科手术领域，微创手术因其最小化的切口、快速的术后恢复和较低的并发症风险，正日益成为首选的治疗方式[4]。与此同时，作为手术的重要工具，光纤摄像机内窥镜不仅在手术过程中发挥着至关重要的作用，也成为了捕捉手术信息的关键传感器，为人工智能在临床医疗中的应用提供了丰富的数据平台和应用场景 [5]。目前，人工智能对微创手术影像的研究主要集中在手术内窥镜视频分析上。通过对内镜下微创手术视频的人工智能分析，不仅可以研究手术活动对患者预后的影响，还能评估质量改进措施，进而提高手术的安全性和效率。此外，基于内窥镜视频的评估正越来越多地被用于手术表现评估、形成性反馈和手术认证[6]。相关的自动化、在线内窥镜视频分析技术已能实时监测病例，预测并发症，以及干预和改善护理，预防不良事件，这在一定程度上解决了微创手术中的安全性和效率问题。

尽管在微创手术视频解析领域，人工智能技术已取得显著的发展与进步，但目前的影像识别和视频评估技术仍难以解决由于内窥镜视野限制带来的器官与脏器内部血管、神经和肿瘤位置误判等核心问题[7]。这种视野局限性也导致了在微创手术中无法准确引导横断解剖标志物，从而限制了特定复杂手术的进行。当前，三维（3D）可视化技术正成为解决这一难题的关键。这项技术通过计算机图形学和图像处理，使用户能够在屏幕上或虚拟环境中观察和交互三维空间中的物体、场景或信息。依托于三维可视化技术，外科医生可以超越传统的 CT、MRI或超声波二维图像，更直观地重建和理解复杂的解剖结构。这不仅有助于减少对三维解剖结构的误判，而且能够显著提高外科医生的决策能力，从而支持更安全的手术执行，扩大微创手术支持的术式范围。尽管高质量的三维模型和精确的手术规划对于医生理解解剖结构至关重要，但在手术过程中，术前的静态三维模型与实际的肝脏切除场景之间存在明显差异[8]，因此仍需实时自动配准。目前的挑战在于如何将术前的 3D 模型与术中的多个图像进行有效的登记和整合，以提供更准确的导航信息。将注册和集成的三维模型叠加到腹腔镜图像上，可以实现术前三维影像和术中二维腹腔镜影像的三维可视化。这种方法不仅实现了探查二维腹腔镜影像内部的三维信息，还提供了手术影像的透视功能，解决了部分由于腹腔镜视野限制而无法开展的手术难题，成为一种全新的术中影像增强方法。然而，值得注意的是，目前三维可视化技术在手术过程中的应用仍处于初步探索阶段，国内外尚缺乏成熟的应用体系。当前大部分三维可视化技术采用增强现实等技术进行手术导航，在 AR眼镜等设备中投射静态三维模型，在临床实际场景手动将静态脏器模型与腹腔镜影像中脏器进行匹配[9]。相关技术虽然可以通过生物力学建模技术，解决术前静态三维模型与肝脏切除的实际场景差异的问题。但仍然存在手术关键步骤时，需要花费一定时间人工手动或半自动将三维模型与腹腔镜影像进行配准，除了会降低手术效率外，也会造成配准过程中由于分心造成的手术安全性降低等问题[10]。亟需一种自动化配准方式，为当前手术器械位置进行精确定位，实现术前三维脏器模型与微创术中影像的多模态融合配准，实现手术术中影像三维可视化智能增强。

本研究致力于满足国家医疗装备临床应用领域的重大需求，重点发展基于磁定位技术辅助的多模融合微创手术组织自动配准技术。利用这项技术，能够在手术过程中实时且精确地确定内窥

镜的位置，并智能地识别脏器内重要的解剖标志物。随后，通过柔性生物力学仿真形变的方法，能够完成多模融合手术组织的自动精确配准，从而实现微创手术影像的三维可视化增强。这一技术的应用将解决微创手术中由于视野受限所带来的组织辨识困难和深部结构不可见的问题，显著增加复杂微创手术的成功率，同时提升手术的安全性和效率。进一步地，本项目旨在实现精准、微创理念下的术中多模融合实时智能导航平台，制定术中三维可视化导航的相关规范，并进行临床试点应用。通过这些创新，项目将数字化、信息化、智能化地赋能外科诊疗的发展，为外科手术提供更高效、更安全的解决方案，这不仅符合当前医疗技术发展的趋势，也是对现代精准外科手术理念的重要推进。  
[1] MEARA JG, LEATHER AJ, HAGANDER L, et al. Global Surgery 2030: evidence and solutions for achieving health, welfare, and economic development[J]. Int J Obstet Anesth, 2016, 25: 75-78.   
[2] MASCAGNI P, ALAPATT D, SESTINI L, et al. Computer vision in surgery: from potential to clinical value[J]. NPJ Digit Med, 2022, 5(1): 163.   
[3] WARD TM, MASCAGNI P, BAN Y, et al. Computer vision in surgery[J]. Surgery, 2021, 169(5): 1253-1256.   
[4] 司徒升, 李玉巧, 方万强, 等. 基层医院外科医生腔镜技术培训方式的探索[J]. 微创医学,2011, 6(01): 78-79.  
[5] ZHOU M, TSE S, DEREVIANKO A, et al. Effect of haptic feedback in laparoscopic surgery skill acquisition[J]. Surg Endosc, 2012, 26(4): 1128-1134.   
[6] BALVARDI S, KAMMILI A, HANSON M, et al. The association between video-based assessment of intraoperative technical performance and patient outcomes: a systematic review[J]. Surg Endosc, 2022, 36(11): 7938-7948.   
[7] PREVOST GA, EIGL B, PAOLUCCI I, et al. Efficiency, Accuracy and Clinical Applicability of a New Image-Guided Surgery System in 3D Laparoscopic Liver Surgery[J]. J Gastrointest Surg, 2020, 24(10): 2251-2258.   
[8] HOU JX, DENG Z, LIU YY, et al. A Bibliometric Analysis of the Role of 3D Technology in Liver Cancer Resection[J]. World J Surg, 2023, 47(6): 1548-1561.   
[9] ABU HILAL M, ALDRIGHETTI L, DAGHER I, et al. The Southampton Consensus Guidelines for Laparoscopic Liver Surgery: From Indication to Implementation[J]. Ann Surg, 2018, 268(1): 11-18.   
[10] TAO H, FANG C, YANG J. ASO Author Reflections: Laparoscopic Anatomical Segment 8 Resection Using Digital Intelligent Liver Surgery Technologies: The Combination of Multiple Navigation Approaches[J]. Ann Surg Oncol, 2023, 30(12): 7388-7390.

# 3.2研究内容及发展目标

微创外科手术作为现代外科领域的重要革命，由于其具有创伤小、痛感低、住院时间短等优点，受到越来越多的医生和患者青睐，微创外科手术目前也正逐渐替代传统开放手术。然而，在以微创为核心的精准外科理念下，微创外科仍面临着手术视野展现和深层次解剖结构的识别的挑战。本研究基于磁定位技术辅助实现多模融合微创手术组织自动配准，如图 1 所示，项目依托先进的磁定位系统，结合患者术前的三维组织影像，精确地定位内窥镜设备的空间位姿。利用计算机视觉算法，自动对影像中的组织解剖标记物进行高效分割和识别。随后，借助柔性生物力学仿真形变技术，更新组织的三维模型，以模拟其在手术操作中的实际形变情况。在此基础上，利用内窥镜镜头收集的精确位姿信息，以及已识别的组织解剖标记物，项目最终实现了多模融合手术组织的自动精确配准。本系统可以辅助医生自动在内窥镜视频中显示出位于影像之下的深层三维结构，如血管、神经和肿瘤等关键组织。这一功能不仅显著提高了微创手术的精确性和操作效率，而且降低了由于手术误操作可能引起的组织误伤风险，极大地增强了术中安全性和组织识别的准确度，使得医生能够为患者制定更加精细化和个性化的治疗计划。

![](images/93e8ed930f12fd5f1032fac98a385a731db0558ba08a4eb0a7b5e211cf0a17e1.jpg)  
图 1 磁定位辅助多模态融合微创手术组织自动配准系统

# 1.术前患者个性化手术规划与影像重建三维组织模型

在临床实践中，由于个体间解剖结构的差异，每位患者的手术路径和规划都具有独特性。术前，医生会基于患者的多层螺旋 CT 和磁共振成像(MRI)等影像学检查数据进行手术目标脏器的三维重建。这一过程旨在通过三维模型精确定义手术区域内的血管空间系统及其与重要血管和神经组织的空间关系。此外，利用血管流域分析，医生能够进行精确的解剖区域划分，评估脏器的面积和功能，以最大限度保留功能性组织的同时确保肿瘤的彻底切除。

同时，功能性的人工智能分析加入了影像组学技术，增强了手术策略的制定。它可以预测潜在的血管癌栓、微血管浸润、术中重要组织脏器粘连，以及腹壁侵犯转移等特殊情况的发生概率，从而为手术流程的优化提供科学依据。这些分析结果帮助医生为每位患者制定个性化、流程化的综合诊疗方案，旨在提供最佳的临床效益。同时，这些数据也为微创手术中的多模融合组织配准提供了个性化的术前三维重建数据支持，为未来的手术计划和执行奠定了坚实的基础。

# （1）三维术前影像分割模块

在临床医学诊断和治疗的过程中，及时关注并识别患者影像学检查中的病变对于癌症等重大疾病的治疗具有至关重要的意义。特别是在微创手术的准备阶段，系统地搜集患者的临床资料、血清学化验和影像学检查结果，如腹部 CT平扫与增强扫描、核磁共振成像，对于构建手术切除部位的三维重建模块是不可或缺的。这一步骤不仅为手术方案的明确和手术路径的设计提供了必要的前提，也是预测手术难度和风险的关键环节。随着计算机和图像处理技术的进步，医学影像技术有了显著的发展，这为医学图像分割带来了创新的可能。作为临床诊断系统的关键环节，医学图像分割通过对原始图像进行细致的区域划分，将感兴趣的组织、区域和器官从背景中准确提取出来，直接影响着图像配准、融合以及三维可视化的效果，进而为临床医生提供精确的组织结构和病灶认识，这对于个性化的手术规划和精准手术执行具有重大的科学和实践价值。

当前，医学图像相较于自然图像更为复杂，很少有简单的线性特征，同时，分割算法的输出受限于受到部分体积效应、强度不均匀性、异物和软组织灰度过于接近等因素，造成分割和识别困难。鉴于肝脏病变的不均匀的密度和薄弱边界带来的描绘困难，过去大部分已发表的计算机辅助检测和诊断系统研究文献中都依赖于手动分割轮廓，既耗时又依赖于操作者的水平，限制了这些系统的临床适用性。近年来提出的医学影像分割算法通常针对其中某些问题结合不同的特征信息进行改进，算法适用性仍然存在不足。如图 2 所示，为了让人更好地融入到术前医疗影像分割标注中，本研究提出了一种基于大模型交互式分割算法，以解决现有算法面临的精度不高、无法联合分析影像上下文信息等问题。

医学图像的复杂性明显高于自然图像，它们往往缺乏简单的线性特征，这增加了图像分割和识别的难度。分割算法的准确性通常受到如部分体积效应、信号强度的不均匀性、外来异物的干扰以及软组织间灰度值接近等问题的影响。尤其在肝脏病变的情况下，不均匀的密度和模糊的边界定义给图像的精确描绘带来了额外的挑战。历史上，大多数计算机辅助检测和诊断系统的研究主要依赖于手动分割轮廓，这一过程不仅耗时而且高度依赖于操作者的专业技能水平，从而限制了这些系统在临床上的广泛应用。近年来，虽然已有一些新的医学影像分割算法被提出，它们试

图通过结合不同的特征信息来针对上述问题进行改进，但这些算法在实用性方面仍有所不足。为了增强术前医疗影像分割标注的准确性并更好地利用影像的上下文信息，如图 2 所示，本研究提出了一种基于大模型的交互式分割算法。这种新算法的目标是解决现有算法在精度和影像上下文联合分析方面的不足，从而提高临床诊断的准确性和效率。

![](images/cb657887b0cf31426d12dfde00a15e3ffead06262a8408f99829a9a997e6f7e0.jpg)  
图 2 交互式术前影像分割算法

当前，Segment Anything Model （SAM）作为一项先进的大模型技术，在计算机视觉领域获得了广泛关注。SAM 通过与用户的交互，可以根据用户的指示—如点击、绘制框架或文本提示—生成高质量的分割掩模。这一特性使其非常适合于医学影像分割，尤其是在需要人工核对和校正的场景中，因为这些场景往往要求高度的精确性和个性化的输入。然而，SAM模型在处理图像序列时面临挑战，因为它缺乏处理时间连续性和语义相关性的能力，这限制了其在医学影像语义分割中的应用。如图 3 所示，考虑到 SAM 的这些优势和限制，本研究引入了 Yun-Track，一个可以处理连续影像的统一框架，它允许医生通过交互式或自动化的多模态方法对医疗影像中的目标进行跟踪和分割。Yun-Track在交互模式下使用 SAM来提取关键帧，作为参考来实现高效的多目标跟踪模式。此外，为了增强系统的语言理解能力，研究团队将 Grounding-DINO 模块集成到Yun-Track 中，这允许系统通过自然语言处理和手动选择等多种交互方式来跟踪和分割医学影像中的目标，提高了分割任务的准确性和用户交互的灵活性。这一方法将显著提升医学影像分割领域的效率和精确度，为医疗诊断和治疗提供更为强大的技术支持。

![](images/03524586e88f8128359c74b90711c84b792b0f581681b713fea27653c368ae05.jpg)  
图 3 基于大模型交互式分割算法底层框架

Yun-Track 具有精准的跟踪和分割能力，并具有两种用户友好的跟踪模式，以适应不同分割场景下的不同需求。对于交互模式，Yun-Track可以使用多模式交互方法(如点击、绘制和文本输入)跟踪和分割连续医学影像中的肿瘤或血管等组织结构。这些交互方法为用户在医疗影像的第一

帧中选择感兴趣的对象提供了灵活的选择。然而，自动模式允许 Yun-Track 跟踪连续医疗影像中出现的任何新对象，这一特性使 Yun-Track 也可以应用于医学影像全自动语义分割。结合临床实际使用需求，提出一种基于大模型的可交互式医疗影像语义分割系统，为术前精准个性化的手术规划，打下坚实基础。

# （2）三维术前影像重建模块

在接收到医疗影像二维断层切片之后，通常会通过图像分割技术对这些切片进行三维重建。随着医疗数据量的不断增长，医生仅依赖传统的基于经验的观察和治疗方法已经无法满足现代医疗诊断的复杂性，现代医疗诊断需要利用三维重建技术将多个二维切片转换成一个完整的三维模型，这不仅为医生提供了更加逼真的组织和器官视图，也显著提高了临床诊断和治疗规划的准确性。

本研究采用了比利时 Materialise 公司开发的 Mimics 软件— 种交互式医学影像处理系统。如图 4 所示，Mimics 由多个功能模块组成，这些模块涵盖了广泛的图像处理功能，可根据用户需求灵活配置，以适应各种临床应用场景。Mimics 专门针对灰度值图像提供了先进的分割模块，能够处理任意数量的图像切层，包括非标准矩形图像。其用户界面提供了多种分割和可视化工具，以优化图像处理流程。Mimics 的可视化界面包括轴向、冠状、矢状视图，以及一个三维对象视图，全面地展现了图像数据的空间关系。另外，Mimics的 STL+模块为三角片文件提供了与所有快速成型系统兼容的接口，并在生成模型文件时自动应用双线性和中值插值算法，以提高模型的精度。计算所得模型可导出为 STL格式，这对于执行后续的柔性生物力学仿真形变处理至关重要。这些功能使 Mimics 成为一个强大的工具，不仅能够辅助医生进行准确的疾病诊断，而且能够助力于手术计划和模拟研究，从而推动医疗实践向精准化和个性化发展。

![](images/23588a71e16c7ced341b0973ef1f2b19d080411e0d822697a20e11ab9e0a2717.jpg)  
图 4 Mimics 软件界面

在医学影像处理中，使用 Mimics软件进行三维重建是一个相对直接和用户友好的过程，尤其是当 CT数据中已经通过分割隔离出特定的肝脏或肿瘤组织时。重建开始于生成掩模（mask），这一步在软件的主界面通过右键点击并选择‘CreateMask’来实现。接下来，用户可以根据设定的HU 值区间自定义掩模，确保体素间连通性，这通常涉及选择‘Fill Holes’和‘Keep Largest’选项以生成连贯的体素集。随后，用户应选择所生成的掩模，右键点击并选择‘Calculate 3D’，同时设置质量参数为‘High’以确保模型精度。如果系统提示将生成多个分离的模型，可以通过使用‘Region Growing’工具并选取‘Multiple Layers’以及一种连接方式，以保证掩模的全连通性。此后，对这一全连通的掩模进行三维模型计算，生成高质量的模型。为了进一步优化模型，可选择进行后处理步骤，包括表面光滑处理以及自交检测。这些步骤主要旨在提升三维表面模型的质量，同时简化网格数量，以减少计算资源消耗和减少模型几何误差。通过一系列操作，可以在 3D 视图中观察到所生成的三维表面模型。最后，通过选择相应的 3D对象并使用 STL+功能保存，就完成了整个三维重建过程。例如，对于肝脏组织，如图 5 所示，能够得到一个精确的、重建后的 CT 三维模型，为后续的诊断、手术规划和术中导航提供了宝贵的三维模型和数据支持。

![](images/bdd0f50e1277060ede5c0d086697e33767900d28f8a72e29533884872aebf49d.jpg)  
图 5 重建后肝脏部 CT三维模型

# 2.术中微创手术影像关键组织解剖标记物识别系统

在微创手术的过程中，精确地将术前三维重建影像与术中二维影像进行融合是至关重要的，这一过程对于手术规划和导航具有决定性作用。为了实现这一目标，必须对微创手术过程中的二维影像进行高效的识别工作，从而准确地辨识出关键的解剖结构、脏器组织以及重要的解剖标记物。这些关键解剖标记物将作为参照点，不仅指导软组织的柔性生物力学仿真形变，也是后续进行多模态影像配准的基础。鉴于该过程需要实时识别解剖标志物，本研究依靠自主采集的跨多个中心的术中数据，采用了 Transformer 架构作为基础框架。Transformer在自然语言处理领域已经证明了其出色的序列到序列的转换能力，而本研究将这一架构适配于医学影像领域，以应对微创手术中影像实时分析的挑战。通过深度学习和大数据分析，Transformer能够从复杂的术中影像数据中，实时提取和学习重要解剖标记物的特征，并实现对这些标记物的精确识别和定位。此外，本研究进一步开发了相关算法，以增强系统在动态手术环境下的鲁棒性和准确性。这些算法能够处理和分析术中影像的变化，识别出由于手术操作而产生的组织形变，从而为术中决策提供及时的信息支持。这种术中微创手术影像关键组织解剖标记物识别系统的开发，为提高手术安全性和成功率，以及降低手术风险提供了一个强有力的工具。

本研究借助基于 Transformer 的大规模预训练模型，针对微创手术场景中关键解剖结构的分析和应用问题提出了新的解决方案。正如图 6 所示，研究设计了一个适用于肝胆胰、胃肠等微创手术中的关键解剖标志物 AI 识别系统。该系统以大规模的术中影像数据作为输入，通过深度学习训练，最终输出精确的语义分割结果。这种方法有效地处理了原始术中影像数据，并识别出手术过程中的重要组织和结构。与此同时，本研究克服了现有循环神经网络（RNN）模型在训练过程中无法并行计算以及对存储资源的高需求问题。Transformer网络通过其编码器-解码器架构以及自注意力机制，支持并行计算，这不仅提高了训练效率，还适应了异步式云服务器分布式训练的需求。此外，本系统采用了一种全新的基于自注意力机制的图像分类策略，具体来说，是使用了VisionTransformer（ViT）模型来替代传统的卷积操作，同时将其与卷积神经网络（CNN）相融合。这种基于 Transformer的结构为术中影像数据集的训练带来了创新，充分利用了大模型的潜力，极大地提升了图像分类和解剖结构识别的性能，为微创手术中的实时、准确诊断和决策支持提供了强大的技术支撑。。

![](images/63bc87518cd4a409663a087e85d52e207768c5c71b2d0119b2fadf7756bc3995.jpg)

![](images/224bde5153700caaf8c4e6e9f33ccccdd8722f60824532c8b2751db131ef1b71.jpg)  
图 6 基于 Transformer 的微创术中关键解刨标志物 AI识别系统

为了使 Transformer 结构能够处理图像数据，本研究采用了图像块的方法来转换图像为序列数据。具体操作是将二维图像分割成多个图像块，并将每个块展平为一维向量。之后，这些一维向量会经过线性投影变换，以适应模型的输入需求。为了保留图像块的空间信息，还引入了位置编码，确保序列中的每个元素都包含其在原始图像中的位置信息。此外，为了更好地捕获全局信息，在输入序列的前端添加了一个特别的分类标志位。Transformer 模型的一个显著优势是其预训练的能力，它通常在大型数据集上进行预训练，之后针对特定的较小任务进行微调。这种方式比传统的卷积神经网络（CNN）在效率和可扩展性上都有显著的优势。在本研究中，该分割算法采用的是编码器-解码器架构，正如图 7 所示，该架构由 6 层编码器和 6 层解码器堆叠而成。这种架构避免了循环依赖，允许模型并行处理数据。输入数据在通过编码器后，其输出将被送入解码器的每一层来计算注意力。多头注意力机制的精髓在于，在不增加参数总量的前提下，将查询（Q）、键（K）、值（V）三个参数拆分为多个组，每组参数分别在不同的高维子空间中计算注意力权重，使模型能够同时关注输入数据的不同方面。如图 8 所示，由于注意力在各个子空间中的分布各异，多头注意力机制实际上可以捕获输入数据之间多维度的关系，编码多样的关联性和微小差异。这些计算并行执行后，最终将所有子空间中的注意力信息合并在一起，根据下述公式完成计算：：

$$
\left\{ \begin{array}{c} M u l t i H e a d (Q, K, V) = C o n c a t (h e a d _ {1}, h e a d _ {2},..., h e a d _ {h}) W ^ {\sigma} \\ h e a d _ {i} = A t t e n t i o n (Q W _ {i} ^ {Q}, K W _ {i} ^ {K}, V W _ {i} ^ {V}) \end{array} \right.
$$

多头注意力赋予了 Transformer强大的结构，多个独立的头部关注不同的信息（如全局信息和局部信息），从而提取更加全面丰富的特征。

![](images/1c35f7536084a4d518b0d8670048312a67ff4d6c4d74a212a6b42ece19b04135.jpg)  
图7Transform算法中编解码器架构

![](images/fbb2b4adc30851c4efda396f85611e46bcdd0d21db5055bf629bf73dcca4860b.jpg)  
图8Multi-Head 注意力结构

以胆囊切除术为例，在本项目针对胆囊切除手术（LC）的研究中，本研究记录并筛选了 432例由 53位外科医生完成的手术案例，其中包括 27 名主治医师和 16名住院医师。对于这些手术录像，从每个腹腔镜视频中自动提取了 30帧，总计获得了 12960帧图像。通过细致的人工筛选，7893张腹腔镜视频截图（CVS图像）被注释并纳入 CVS数据集。在对这些图像的评估中，评分者间的一致性总体评分达到了 81.9%。其中，对于肝囊三角结构的识别，一致性得分为 93.1%，而对于囊管和囊板结构的识别，得分分别为 68.3%和 73.5%。采用分割网络在所有类别中得到的平均交并比（IoU）为 86.6%±1.4%，显示出高度的分割准确性。在评估术中影像语义分割模型的性能时，平均精确率（AP）和平衡精度（baACC）分别为 87.9%±6.6%和 84.4%±2.9%。平均平衡精度（bACC）对应于 80.4%的敏感性和 82.4%的特异性，显示模型具有较高的准确性和可靠性。定量的分析结果详见表 1，而图 9 和图 10 分别展示了原始的微创手术影像以及经过分割后的影像结果。这些结果不仅证明了本研究方法的有效性，也为术中微创手术影像的精确解析提供了有力证据。

![](images/af98fe1d1e8b114340b210882b0dd52c6426437728555c3d9313eeac828f3fbc.jpg)  
图9Transform算法中编解码器架构

![](images/a13a9f22c05243c063b715a81bca635e3670ddcd7cc8abf5d26db79db9d57bc7.jpg)  
图10 识别算法输出融合图

表 1.DeepCVS 的详细定量结果  

<table><tr><td colspan="3">分割(IoU+_STD%)</td></tr><tr><td>胆囊: 88.5±0.9</td><td>囊状管: 78.5±1.6</td><td>囊性动脉: 83.1±6.3</td></tr><tr><td>背景: 95.7±0.4</td><td>囊性板块: 75.5±5.7</td><td>手术用具: 90.2±1.2</td></tr><tr><td colspan="3">解剖的肝囊肿三角区: 58.6±4.0</td></tr></table>

CVS标准的预测  

<table><tr><td></td><td>AP+STD%</td><td>bACC（敏域度%）</td></tr><tr><td>两个结构（CI）</td><td>92.1±2.9</td><td>75.9 ±3.1</td></tr><tr><td>肝囊肿三角区（C2）</td><td>89.7±9.1</td><td>88.5±2.6</td></tr><tr><td>囊状板（C3）</td><td>74.1±10.8</td><td>75.8 ±4.5</td></tr></table>

在对手术影像进行精细分割的基础上，进一步进行边缘识别处理对于揭示肝脏影像的关键解剖标记物至关重要。在本研究中，已经明确辨认出肝脏影像中的三个关键区域。首先是连结到异常壁的韧带，这通常是在手术初期被切断的部分，肝脏表面的疤痕通常位于此区域，将肝脏分割成两个主要的叶。这个标志物可以通过手工标记、深度学习算法识别，或者在 CT 影像中进行标注，其显著的可见性使其成为一个极佳的参考点。其次是肝脏的下方区域，即肝脏弯曲度较高的部分，这里可以明确标注图像的底部及其边缘。在 CT影像中，这个区域通常被划分为两部分，可以建立两个不同的标记进行约束。正如图 11所示，在胆囊切除手术的术中影像分割中，能够准确识别并标注出胆囊组织的上下边缘，如图 12所示。这不仅精确地描绘了手术区域，而且，这一过程极大地提高了接下来的生物力学配准的精度与有效性，为和进一步磁辅助下三维融合可视化手术导航奠定了坚实的基础。

![](images/87cd18d47da93eef9f974e846498ac7a36098ff4beebafebe4c2bec86878384e.jpg)  
图 11 胆囊切除术术中原始原影像

![](images/64965a2d14a4fbf981acbaa44f205cf81dba0501b4ae14490c792a19a0cc91e7.jpg)  
图 12 胆囊组织上下边缘自动识别

# 3.磁定位辅助内窥镜跟踪系统

为了实现术中组织的自动配准，至关重要的一步是准确地确定内窥镜的位置和方位。这可以通过对腹腔镜视频中的内窥镜及其视野内待配准组织的位置和方位进行跟踪来实现。通过分析腹腔镜的位置和腔镜视频中观察到的组织位置之间的关系，能够进一步确定术前三维组织模型在实际手术过程中的正确配准，包括必要的旋转角度和空间位置的相对变化。为此，本研究采用定位系统来辅助跟踪内窥镜的精确位置。定位系统通过发射和接收特定的磁信号来确定内窥镜的三维位置和方位。此外，将此信息与预先建立的三维组织模型相结合，可实现对组织模型的实时空间调整，以匹配术中观察到的实际情况。这种技术不仅提高了微创手术中关键组织结构识别的精度，

而且为手术团队提供了实时、动态的导航信息，优化了多模态融合微创手术组织的自动配准过程。在术中，该系统能够实时更新内窥镜的位置和方位信息，确保手术过程中的动态调整与术前模型的高度一致性。最终，这一磁定位辅助内窥镜跟踪系统将极大地促进精准手术的实施，为医生提供有效的器械位置参考信息，同时也是微创手术多模融合自动配准的必要前提。

# （1）磁定位辅助内窥镜跟踪设备设计

在当前医学实践中，常用的器械空间定位技术依赖于 3D 光学追踪系统。如图 13 所展示的，这一系统通常涉及对现有腹腔镜镜头连接部位进行改造，以便安装光学定位靶标装置。利用图 14所示的双目相机，系统能够对改造后腹腔镜下部的光学靶标进行三维追踪定位，从而精确确定腹腔镜镜头在三维空间中的具体位置与方向。然而，当前的光学定位腹腔镜系统需要根据不同型号的内镜进行 3D 光学定位装置的定制，这一过程的安装较为复杂。此外，3D 光学空间定位相机通常置于手术台侧方，而患者在手术台上的具体位置是变动的，这导致系统无法提供一个固定的参照点，从而无法获得患者真实位置与微创腹腔镜器械相对位置的准确信息。这个限制使得在手术过程中进行有效的实时组织配准变得极为困难。为了克服这些限制并优化手术导航的准确性，未来的系统设计需要考虑到操作的简便性、设备的适应性以及能够准确反映患者与器械相对位置的技术。这些改进将有助于实现术中实时组织配准，增强手术的精准度，减少手术风险，提高治疗效果。。

![](images/05cdffe7f263948bf689c844385a90f147962b56bc9c32bda4e16bb08509a2fe.jpg)

![](images/20ae6ca0e545c4fefe44055200c655b007874e468cf84841a3b006c3bf43d742.jpg)  
图 13 3D 光学定位腹腔镜配件实物图

![](images/8bec6150529c83f6bb112c45a45845adcb103b01b821ba5fd7933e55e9f78cf3.jpg)  
图 14 3D 光学空间定位相机

当前临床实践中迫切需要一种能够便捷且定量地描述内窥镜与人体相对位置的空间定位跟踪装置。这种装置的目的是为了有效地揭示当前腹腔镜与手术中重要解剖结构之间的空间关系，从而在术中进行精确的空间配准，确认三维配准的具体位置和方向。磁定位技术，最早由 J. Kuiper于 20 世纪 70年代提出，主要通过利用磁场信息来获取目标的空间位置和姿态参数。这一技术具有众多优势，如操作简便、多维度定位、空间范围内的高精确度，已在瞄准和运动跟踪等多个领域得到广泛应用。在本研究构建了一个如图 15所展示的磁定位追踪辅助系统。在手术过程中，患者被平稳地放置在手术台上，特定位置上设有磁场发生器。同时，只需将磁定位装置安装在腹腔镜或其他手术器械上。以磁场发生器作为坐标原点和探测基准，这一系统具备 3 至 5 米的有效探测距离，定位精度可达到 0.01 厘米。通过这套磁辅助系统，可以精确地定位微创手术中腹腔镜器械的相对位置，从而极大地提高手术过程中的空间感知能力和精准性。

![](images/bcefd0074980064759345375cfd1571feffb84407375a8e8d25cb120efe851f7.jpg)  
图 15 磁定位辅助追踪系统示意图

# （2）磁定位辅助追踪系统的空间变换

在微创手术中，实现精确的多模态组织配准，关键在于理解并应用定位辅助追踪系统提供的多个局部坐标系之间的空间转换关系。如图 16所示，这些坐标系和它们之间的转换关系被清晰定义。CT 成像获得的图像坐标系 $C _ { i m a g e }$ 像完成后保持不变，此时 CT 图像分割重建得到的三维模型即定义在该坐标系下。磁辅助定位系统的坐标系定义为 $C _ { t r a c k e r }$ 在整个术中配准过程中，与磁场发生器和患者保持固定关系，确保其坐标记录的一致性和不变性。当磁辅助器械在手术过程中移动以采集定位数据时，它的坐标系 $C _ { c a m e r a }$ 对于磁辅助定位系统的坐标系 $C _ { t r a c k e r }$ 发生改变。这种相对位置的变化通过追踪系统进行实时记录，确立磁辅助器械坐标系与手术器械的精确对应关系。利用这种关系，可以对术中观察到的组织进行精确的三维空间配准，与预先重建的三维模型准确对齐，从而在手术过程中实现实时的组织导航与定位。这种技术的应用显著提高了手术的精确度和安全性，为微创手术提供了关键的空间信息支持。

![](images/22778879d06d7c743103965b98bf56e01dd0a88cff02da55ac223fec00fc6e3c.jpg)  
图 16 磁定位辅助系统各坐标系间的空间变换

在图 16中展示的系统中，坐标变换关系可以通过一系列的变换矩阵来描述。这些矩阵表示了从一个坐标系到另一个坐标系的空间关系和位置变化。在本系统中，记通常涉及以下几种坐标变换为描述 $1 . ~ T _ { i m a g e } ^ { t o o l / t r a c k e r }$ 表示从 CT图像坐标到物理空间的转换； $C _ { i m a g e }$ 定位器械坐标系 表示当磁定位工 $C _ { t o o l }$ $C _ { \mathrm { t r a c k e r } }$ 的变换矩阵。这时，其坐标系$2 . T _ { \mathrm { t o o l / t r a c k e r } } ^ { \mathrm { c a m e r a } }$ $C _ { t o o l }$ 相对于磁定位系统坐标系 $C _ { \mathrm { t r a c k e r } }$ 的变化由这个变换矩阵描述；3.?tracker表示辅械坐标系$C _ { c a m e r a }$ 到磁定位系统坐标系 $C _ { \mathrm { t r a c k e r } }$ 的变换矩阵。当器械移动时，它实时更新以反映当前的空间关系。要完成术中自动组织配准，需要综合利用这些变换矩阵来确定手术器械相对于患者体内结构的准确位置，三者的空间变换关系如下：

$$
T _ {\text {i m a g e}} ^ {\text {t o o l / t r a c k e r}} \cdot T _ {\text {t o o l / t r a c k e r}} ^ {\text {c a m e r a}} \cdot T _ {\text {c a m e r a}} ^ {\text {t r a c k e r}} = I
$$

通过以上这一系列坐标变换，可以确保手术器械与患者体内解剖结构在空间上的正确对齐，形成如图 17所示的磁定位微创手术内窥镜位姿轨迹追踪，从而进行后续的组织配准操作。

![](images/f66d34f29665a1ce60fdbf689f31ab717afe820c91ce4e771dacfbdc3f49c7de.jpg)  
图 17 磁定位微创手术内窥镜位姿轨迹追踪

# 4.磁定位辅助下基于柔性生物力学仿真形变的微创手术多模融合组织配准

在微创手术领域，外科医生面临的一个主要挑战是无法直接触摸和感知患者体内结构的确切位置。在手术室内，外科医生通过两个面向他们的内窥镜显示屏观察手术进程，同时操作腹腔镜等微创手术可视化仪器。尽管有助手协助操作腔镜，但由于腹腔镜的物理限制，外科医生不能直

接用手接触器官，这就增加了确定人体内部结构具体位置的难度。术前检查通常能够识别出需移除的肿瘤或结构，但在实际手术中，由于这些结构并不透明，内部细节的可视化受限。这是导致手术中的一些问题，如难以定位肿瘤，或在努力避免接触必须保留的结构（如血管）时不慎将其损伤。这种情况可能迫使手术团队将微创手术转换为更复杂、耗时更长的开腹手术，尤其在出现紧急情况时。因此，如何改进手术视野的展现和深层次解剖结构的识别，仍是微创外科需要克服的关键挑战。针对这一临床需求，如图 18 所示，多模融合组织配准技术的出现提供了一种解决方案。通过实现术中三维可视化，本技术可以辅助外科医生更准确地定位和识别体内结构，即便是在视觉上不直接可见的情况下。尤其是当配合磁定位技术和柔性生物力学仿真形变时，这种多模态融合可以提供更为精确的组织配准，从而显著提高手术精度，减少风险，增加手术成功率，为微创手术的发展带来创新的技术进步。

![](images/993a415b7d994253b670dbc018e6c51f94f19140b70c0608e330e6087aa4f906.jpg)  
图 18 基于磁辅助柔性生物力学仿真形变的多模融合组织配准系统

# （1）基于柔性生物力学仿真的三维组织形变研究

在外科手术中，由于人体脏器组织本身具有柔性和变形的特性，术中脏器的位置和形态可能与术前影像扫描的结果有显著差异。这种差异对于实现术前三维影像与术中微创手术的精确配准提出了挑战。为了解决这一问题，必须对术前三维影像进行柔性生物力学仿真形变的研究。具体来说，这项研究致力于开发一种高级的仿真模型，该模型可以根据内窥镜中识别出的脏器关键解剖结构来模拟脏器在手术操作过程中的形变。通过这种仿真，可以对术前的三维模型进行动态调整，以匹配术中实际观察到的组织状态。这不仅涉及到几何形状的变化，还包括组织的生物力学性质在手术操作力作用下的响应，例如拉伸、压缩和扭转等。实现这种仿真需要深入理解组织力学行为和内窥镜图像特征之间的关系。通过集成最新的影像处理技术、磁定位系统和先进的生物力学模型，本研究旨在开发一套系统，该系统能够实时更新术中脏器的三维表示，为外科医生提供准确的导航和参考。这种基于柔性生物力学仿真的三维组织形变研究将极大提高微创手术的安全性和成功率，同时减少术后恢复时间，提升患者的整体治疗效果。。

人体柔性组织具有显著的变形能力，其变形行为通常介于塑性和弹性变形之间，在受力后能在一定时间内恢复原状，但存在时间滞后。生物软组织主要由水、蛋白质、脂肪、碳水化合物和无机离子构成，它们在细胞中以溶解或悬浮的状态存在，并维持着相对稳定的代谢平衡。外力作用时，细胞和分子间的平衡会被打破，导致细胞和组织的显著形变和位移。撤去外力后，这些组织不能立即恢复原状，会有延迟，这是所谓的松弛效应。此外，由于组织和细胞间存在较大空隙和较弱的相对结合力，它们在外力作用下容易产生显著变形。因此，软组织的生物力学特性通常表现为不均匀性、各向异性、准不可压缩性以及非线性塑性粘弹性。

软组织力学模型研究在不同外力加载下组织的响应。传统上，研究者通过对软组织进行一系列力学实验来探究其特性，这些实验分为体内实验和体外实验。体内实验是在生物体内进行，其优点是测量准确度高，但操作难度大并且在实际操作中存在诸多不便。相对而言，体外实验是将研究对象从生物体内取出，在控制的外部环境中进行实验，这类实验操作简便，精度也较容易得到保障，因此大多数当前实验都采用体外实验来获取数据。为了更准确地描述软组织的力学行为，必须首先理解应力和应变的基本概念。应力是指作用在材料单位面积上的力，可以视为力与面积之比的极限值。在物体的任意面积ΔS上，取法线方向为 v，并定义 v 指向的方向为正方向。对该面施加一个力ΔF，如图 19 所示，当ΔS 趋近于零，力与面积之比（??/??）的极限即定义为应力，用? = ??/??表示。这个应力概念是力学模型中描述力作用效应的基础，对于理解和模拟生物组织在外力作用下的行为至关重要。通过这种方式，建立起一套表征软组织物理特性的完整力学模

型，为手术操作和治疗规划提供必要的生物力学支持。

![](images/aaa64cacbcaa595837ff1ee262429a114ff6ea9d61fb7817322cef5e9d11b814.jpg)

![](images/14770c2f1557f139711e363837034f017ccd873cfb8a4673cf36d0e46c7f54e8.jpg)  
图 19 生物力学仿真应力分析模型

软组织的变形行为在生物力学中显示出明显的粘弹性特征。这意味着当软组织承受恒定的应力时，它的应变会随时间逐步增加；反之，当软组织维持恒定应变时，其内部应力会随着时间的推移而逐渐减少。为准确描述这种粘弹性行为，研究者们采用了弹簧和阻尼器的组合来构建粘弹性模型，其中弹簧部分代表组织的弹性固体特性，而阻尼器则模拟了组织的粘性流体特性。通过以不同的方式组合不同数量的弹簧和阻尼器，可以近似模拟软组织的复杂粘弹性响应。这种方法使建立起一个具有非线性特性的软组织仿真系统，如图 20所示。在手术中可以利用腹腔镜视频的图像语义分割技术来识别解剖学上的标志点或标志线，从而确定软组织的形变边界。然后，这些边界可以被映射回腹腔镜视频图像中，以指导手术操作和评估组织的变形状况。这种方法不仅提高了微创手术中软组织形变控制的准确性，也为手术过程提供了重要的实时信息参考反馈，增强手术可视化效果。

![](images/c35fc043895f54473dbd2cf6679b2de1adb7267e9f2fc37df8b561334cdc2cfe.jpg)

![](images/52010da96b045c61701b55e06b32747b7691f9c8d6e2d00c31f4f3e87eb43f79.jpg)

![](images/a54c8885c49ffcc742f8a4a1141a235a0f97aa81b3f0fcefa965550cc608a45f.jpg)

![](images/3a93b9ad8ec661b8a14f7da8dfe22f22b2961abab7708f545c9482221ce4649c.jpg)  
图 20 非线性特性的软组织模拟系统

# （2）磁定位辅助手术组织配准

在微创手术中，利用柔性生物力学模拟技术预测和模拟术前影像的三维组织形变后，为了精确地调整和匹配术中观察到的实际组织状态，需借助磁定位技术对内窥镜进行精确定位。通过磁定位确定内窥镜的确切位置和方向后，可以相应地调整三维组织模型的位姿，以便它们与内窥镜在手术过程中的动态运动轨迹相匹配。如图 21所示，这种方法可以实现手术组织的实时跟踪和自动配准，解决了传统手术中医生需要固定内窥镜位置并手动匹配的繁琐问题。

同时，术中磁定位辅助手术组织配准系统为医生提供实时反馈，确保手术区域的重要解剖部位被准确标识，实现脏器边界的清晰可视化。这对于直观展示目标脏器组织的分界线以及校正脏器组织位置极为关键。如此，不仅有效减少了血管和神经的损伤风险，也避免了医源性的二次伤害。此外，磁定位辅助系统能够实时监测并提示手术是否偏离了术前规划的路径，及时进行路径矫正与实时分析，优化手术流程。这种高度集成的导航和跟踪系统，不仅提升了手术的安全性和效率，而且显著改善了患者的治疗结果，为每一位接受手术的患者带来了实际的利益。

![](images/18be9ffa50bbdae1a0e2b331ed2f10c444ec707510ee8813073fcf86a4329402.jpg)

![](images/2b6b799cbd1cd411ef939702670ef704dfa28baee8c5a58380f2200717f6ef64.jpg)  
图 21 磁定位辅助手术组织实时跟踪配准

# 3.3 该研究的前沿性和特色

本研究以临床问题导向，充分结合了西安交通大学的“强工科，大医科”特色，响应《“十四五”医疗装备产业发展规划》，旨在通过提升微创治疗及术中精准成像医疗装备的性能，推动其向智能化和精准化发展。本研究在国际上首次将磁跟踪腹腔镜器械定位技术与多模态手术影像配准技术相结合，采用自主知识产权的多模融合配准算法，实现了磁定位辅助下的微创手术组织配准。此技术集成了磁跟踪定位设备、AI脏器视觉标志物识别、以及生物力学约束软组织形变技术等多项创新，形成了一种新的微创手术术中组织多模融合配准模式。此成果不仅显著提高了手术精准度和安全性，减轻了医生术中的辨识负担，也加速了临床医生的专业培养，为微创手术领域带来革命性的进步。

专利成果与文章方面，本研究内容已申请 8 项发明专利，已在中国医疗人工智能大会、美国外科医师年会等发表并接收多篇会议论文，2023年 12 月以负责人为共同第一作者的《增强现实、虚拟现实与混合现实在腔镜肝脏外科中的应用进展》论文也已被《中华肝脏外科手术学电子杂志》编辑部接收。

竞赛及获奖方面，本研究受到未来技术学院“产教研”融合的培养模式支持，积极参各类国家级、省市级竞赛，已获得 2023产业融合发展——新工科创新大赛一等奖、第二届中国研究生“双碳”创新与创意大赛三等奖、第九届互联网+创新创业大赛陕西省省赛金奖、第十三届全国大学生电子商务三创赛省赛特等奖、第六届智慧医疗创新大赛全国总决赛应用创新赛道二等奖等一系列国家、省部级奖项；并获评陕西省第七届研究生创新成果展优秀作品。

研究影响力方面，研究受到陕西广电网络、西安市卫生健康委员会、西安交通大学团委、西安交通大学研究生院多次采访报道，并在国内与国际期刊发表多篇学术论文，受邀于中国最大的医疗器械展(CMEF)进行宣讲，于 2023年 10 月赴美国波士顿参加全球最大的外科学会（FACS）汇报交流。项目负责人由于医工交叉、产教融合领域的工作情况受到中国教育报专访，被称为“真刀真枪中锻造实战本领”。

未来，本项目的研究团队将致力于进一步优化和提升磁跟踪定位设备的精度，同时不断迭代更新多模态手术影像的实时配准算法以及在生物力学约束下的软组织形变算法。本研究的目标是构建一个更加精确、快速且高效的临床微创手术术中影像引导平台。这一平台将大幅提升外科医生在手术过程中的视野深度与透视度，使其能够清晰地观察到手术中重要组织内部的肿瘤、血管、神经等结构。通过实现这些关键结构的可视化，期望显著减少术中组织的误伤和恶性肿瘤的遗留风险，从而降低外科医生的工作强度，确保患者安全，提高手术成功率。

# 3.4年度研究计划

1.2024.01.01—2024.3.31购置先进的磁定位硬件设备，并完成腹腔镜器械的关键技术改进，以适应更精确的手术导航需求。实现手术三维重建影像软件系统的数据导入，更高效地处理和分析手术影像。建立并完善运行管理体制，完成临床前的数据收集和基础研究工作，并对软硬件平台进行全面测试，评估性能及适应性。同时，项目将完善项目的伦理申报，确保所有研究活动符合伦理标准。  
2. 2024.04.01—2024.9.30 重点推进融合磁定位系统的多模态融合微创手术组织配准系统研发工作，在动物实验和临床场景中进行应用测试。根据临床实际应用反馈，对配准系统进行迭代，优化算法提高精确性和配准速率。扩大临床应用场景和规模，特别是在无医师介入的自动微创手术可视化装备的研发与临床应用方面，取得高水平的标志性成果，进行专利申报。  
3. 2024.10.01—2024.12.31 构建基于柔性生物力学的标准化配准系统，以解决柔性组织多模影像配准的关键技术难题。积极参与学术交流，在全国范围内举办平台成果转化推广会，进一步扩大临床应用场景，为更多的医院提供规模化的服务，推动产学研融合，发表高质量文章。  
4. 2025.01.01—2025.12.31 推广相关产品，建立微创手术术中多模融合配准行业标准，带动智能化手术术中可视化产业高端化发展，完成项目考核指标，准备结题验收材料。

# 3.5 研究基础与工作条件（包括与本项目相关的研究工作积累和已取得的研究工作成绩，已具备的实验条件，尚缺少的实验条件和拟解决的途径等）

# 1. 科研基础

依托中心现有基础，平台充分利用交通大学医工交叉的优势以及与国内著名人工智能专家合作，20多年来坚持持续原始自主创新，开展机理、材料、模拟、设计、加工、实验、试用等系统化磁相关医疗器械装置的研发，形成了多项原创技术，部分成果实现了转化，2017年图文手术记录技术获得转让费 106万，2019 年磁性吻合器技术获得转让费 300万，2021 年多个磁相关技术共获得转让费 1000万。团队技术创新能力在本领域遥遥领先，科研实力雄厚。

# 2. 科研条件

# （1）科研用房

平台依托陕西省再生医学与外科工程研究中心组建，学校及医院已投入大量的经费进行建设，面积约 2300平方米，其中实验室面积约 2000 平方米，办公面积约 220平方米，资料室约 80平方米，物理空间基本可以满足平台建设的要求。

# （2）仪器设备

现有分子生物学基础实验室、动物手术室（普通手术室、杂交手术室）、磁外科研究室、生物工程研究室、医用高分子材料研究室、计算机辅助模拟室、激光研究室、人工智能与医疗机器人研究室等。科研仪器设备包括全自动快速微生物质谱检测系统、超速分选流式细胞仪、酶标测试仪、二代测序系统、染色体自动扫描分析系统、激光共聚焦显微镜、全自动核酸分离纯化及加样系统、小动物磁共振、磁场测量仪等大型仪器，能够满足校内外生命、医学、药学、化学、材料、机械等交叉学科科研需求。

# （3）配套设施

# 1）实验动物中心

西安交通大学实验动物中心是目前国内高校单体最大的综合性实验动物设施。平台可饲养啮齿类、家兔、犬、猪、山羊、绵羊、非人灵长类动物和一些特殊动物，配备动物实验所需先进仪器设备，符合国际标准的药物非临床研究质量管理规范(GLP)。建成后将申请 CMA、CNAS、AAALAC评估和认证，满足生物医学研究和教学需要，支撑西安交通大学医、工、理和文等多学科交叉融合。

# 2）分析测试中心

西安交通大学分析测试共享中心建筑面积 3400平方米，首期投入设备购置经费 7600 万元，已购置 28 套大型仪器设备，包括透射电镜、扫描电镜、核磁共振波谱仪、高分辨质谱仪、显微红外光谱仪、激光拉曼光谱仪、电感耦合等离子体质谱仪、X 射线光电子能谱仪、X 射线荧光光谱仪、X 射线衍射仪等大型分析测试设备。为开展高水平的教学科研工作及培养引进高水平的人才提供了有力支持。

# 3）高性能计算平台

西安交通大学高性能计算平台总体计算规模达 230万亿次，位居西部高校首位、全国高校前列，能够为全校师生提供专业、一体化、方便快捷的高性能计算服务。平台可提供 CPU节点、GPU节点、管理节点、登录节点、存储系统。软件操作系统为 CentOS 6.6 64bit，拥有 MATLAB、lammps、vasp、gaussian、amber16、gromacs、R、python、cp2k 等应用软件资源。可为研究中的大数据处理与分析提供可靠、充足的资源。

# 4）高端装备研究院

西安交通大学高端装备研究院依托机械工程学院组建成立，以“四个面向”为指引，大力推进学科交叉融合，聚焦航空航天、机器人与智能系统、设计科学与基础部件、医工交叉、先进制造、精密工程、装备智能诊断与控制、新能源装备与质量工程等领域开展研究，是自主研发，全力打造高端装备、智能制造领域核心技术攻关和创新人才培养高地。可为本项目的顺利实施提供强有力的技术支持。

除以上校内研究机构和平台支持外，平台还长期与校外西北有色金属研究院、西部超导材料科技股份有限公司、西安赛德欧医疗研究院有限公司等科研院所及企业保持良好的合作关系，加速成果快速转化，推进产业化进程。

# 5）平台建设其他必要配套设施

本平台所在地给排水、供电、供热、电信及通讯等公共设施社会依托条件比较完备，利用依托单位整体资源进行校内改建，能够充分满足项目建设需要。

# ① 原材料供应条件

有学校和医院招标采购部门强有力保障，拥有相对固定且长期合作的伙伴，能保证科研所用的原材料质量和快速供货。

# ② 供水排水条件

西安交通大学雁塔校区现有供水水源来自西安市自来水供水管网，学校有 DN80～DN200 的市政进水口 13个，日均供水 2 万 m3，实现了全面积覆盖供水。共有二次供水水库 17 座，累计库容13630 m3，二次供水水泵总台数 73 台，全部实现了变频恒压供水。现有供水能力有富余，可满足平台的用水需要。

学校现有排水设施齐全，实行雨、污分流制，经学校污水处理设施处理后排入附近的市政污水管网。现有排水设施能够满足本平台的需要。

# ③ 供电条件

现有供电能力有富余，可以满足平台科研工作的需要。医院为双路供电，一路停电，即可启动另一路供电系统，保障医疗和科研用电安全。

# ④ 外部协作条件

本平台所在的西安市位于陕西省中部，是陕西省委、省政府所在地，是全省政治、经济、文化中心。西安市是我国重要的科研、高等教育、国防科技工业和高新技术产业基地，是新欧亚大陆桥中国段陇海兰新地带最大的中心城市，是我国科研教育和高新技术产业的重要基地。西安的综合科技实力位居全国大城市前列，具有仅次于北京、上海的综合科技实力和智力机构。西安的大专院校、科研院所、技术开发机构和专家学者、专业人员众多，拥有一批达到国际水平的开放型实验室和国内一流的试验和检测设备，一些尖端技术在国内处于领先地位。工程建设和科研所需外部协作条件均已具备。

目前已完成部分前期工作和下一步工作计划：

1. 利用荧光成像与磁外科技术相结合，已自主研制了适用于微创化术中导航的双通道磁锚定荧光专用腹腔镜设备，已完成临床验证。该设备既能定位肿瘤病灶，又能明确病灶与周围正常组织的位置关系，便于进行荧光成像引导下的精准肝切除。之后需对该设备参数不断优化迭代，并与影像智能技术相融合，使其达到最佳导航效果，同时将其推广至多个应用场景。  
2.为每位患者定制个性化手术的入路规划。通过 AR设备在术前不断进行手术路径与切除方式规划，降低术者对于既往经验的依赖。功能性人工智能影像组学分析，明确潜在的血管癌栓、微血管浸润、术中重要组织脏器粘连和腹壁侵犯转移等特殊事件的发生，有效避免术中血管损伤等并发症。之后拟进行 AR 智能化术前分析系统推广，为更多医院进行服务。  
3. 平台利用微创手术图文报告生成系统，通过现有微创外科手术的图文影像采集设备，结合微创术后图文记录生成模块，形成体系化的微创术中影像记录与分析系统，打造定制化图文报告，有效提高医患沟通效率与信任度。未来将进一步优化软硬件系统，优化本平台设施，有效为手术患者提供个性化定制图文记录及术后随访服务；并为基层医院提供远程医疗会诊服务，实现优质

医疗资源下沉。

4.目前构建了根据术前影像先验信息的实时术中多模态语义分割模型及术中影像记录与分析加速硬件模块，利用自建的术中影像数据集并训练高精度的图像识别分割算法，术中数据分析后回传术中影像视频至手术室屏幕，实现术中重要解剖脏器的识别。未来将匹配术前建立的高精度AR模型，将术中已切除部位在 AR 内容中实时更新，利用标准化手术流程及突发状况处理流程进行术中手术路径规划导航并做到特殊事件预警。  
5. 平台通过术中影像记录系统，结合自研的强化学习和小样本监督学习的术中影像智能增强方法，可以对术中图像算法自动去雾和对于腹腔镜血污的自动视觉消除，实现自动去血雾效果，下一步将通过动物实验模型不断优化，并逐步通过临床试验迈入临床工作，在手术开展过程中实时避免血雾影响术中医生的视野，为患者救治提供有力基础保障。

6. 依托平台构建出基于影像资料的智能化多功能人才培养平台方案。建立规范化、标准化手术流程，并提供术中真实影像视频资料和本平台独有的智能化高仿真全脏器手术训练系统，帮助医学生从各维度进行基本功训练与高级技巧训练，了解目前最前沿的手术方式；辅助青年医生锻炼手术操作，缩短复杂手术的学习时间。后期需将方案落实并应用于人才培养实践中。

# 四、经费预算（单位：万元，基本业务费无需预算间接经费）

<table><tr><td>序号</td><td>预算科目名称</td><td>经费预算(单位:万元)</td></tr><tr><td>1</td><td>设备费</td><td>0.0</td></tr><tr><td>2</td><td>材料费</td><td>2.6</td></tr><tr><td>3</td><td>测试化验加工费</td><td>0.0</td></tr><tr><td>4</td><td>会议/差旅/国际合作交流费(需明确国际差旅)</td><td>0.0</td></tr><tr><td>5</td><td>出版/文献/信息传播/知识产权事务费</td><td>0.0</td></tr><tr><td>6</td><td>专家咨询费</td><td>0.0</td></tr><tr><td>7</td><td>劳务费</td><td>0.4</td></tr><tr><td>8</td><td>其他(请单独列示)</td><td>0.0</td></tr><tr><td>9</td><td>合计</td><td>3</td></tr><tr><td colspan="3">计算依据与说明:
1. 设备费:无
2. 材料费:无
3. 测试化验加工费:无
4. 会议/差旅/国际合作交流费(需明确国际差旅):无
5. 出版/文献/信息传播/知识产权事务费:无
6. 专家咨询费:无
7. 劳务费:无
8. 其他(请单独列示):无</td></tr></table>

# 五、签字和盖章页

项目申请人： 王志博

所在单位： 未来技术学院

项目名称： 磁定位辅助多模态融合微创手术组织自动配准系统

# 申请人承诺

本人庄严承诺，若违反以下事项，本人愿承担全部责任：

1.本人从未以项目负责人身份获得过学校基本科研业务费自由探索类或交叉类（包括学科交叉面上、学科交叉重点、前沿与综合交叉等）项目的资助。  
2.本人不是基本科研业务费在研项目的负责人。  
3.本项目与本人已获国家、省市计划支持、企业委托的项目不重复。  
4.如获准立项，本人将于执行期内平均每年举办 1 次以上校内学术沙龙活动，并在结题时提交相关活动证明。  
5.如获准立项，本人将遵守学校的有关规定，按计划认真开展研究工作，取得预期研究成果。所获得研究成果中英文标注为“中央高校基本科研业务费专项资金资助”（supported by“the Fundamental Research Funds for the CentralUniversities”）。  
6.如获准立项，本人将按照教育部和学校相关要求和规定执行项目经费，对于当年所拨经费，截至 9 月底执行率不低于 75%，截至年底前执行完毕（包括冲销所有暂付款），如未达到执行进度要求，同意学校将未按要求执行部分收回。  
7.本人对申请书各项内容的真实性、原创性、安全性负责，保证没有学术不端问题、泄密隐患和科学伦理问题。

签字：

日期： 年 月 日

申请者所在单位意见：

同意推荐。

所在学院负责人（签章）：

单位（公章）：

年 月 日

# 项目组主要参与者承诺

我承诺参与本项目，并保证我所提供材料的真实性、原创性、安全性，如果获得资助，我将严格遵守学校有关规定，加强合作、共享信息，认真开展工作，及时提供和整合有关材料。若我提供的信息失实，或出现学术不端、泄密、科学伦理问题，或违反其他项目执行规定，我愿承担相关责任。

<table><tr><td>序号</td><td>姓名</td><td>所在学院</td><td>参与者亲笔签字
(形式审查重要内容)</td><td>签字日期</td></tr><tr><td>1</td><td>王志博</td><td>未来技术学院</td><td></td><td></td></tr><tr><td>2</td><td>吕毅</td><td>第一附属医院</td><td></td><td></td></tr><tr><td>3</td><td>吴荣谦</td><td>第一附属医院</td><td></td><td></td></tr><tr><td>4</td><td>夏灿</td><td>未来技术学院</td><td></td><td></td></tr><tr><td>5</td><td>郇乐</td><td>未来技术学院</td><td></td><td></td></tr><tr><td>6</td><td>彭薇</td><td>未来技术学院</td><td></td><td></td></tr></table>