![](images/040742cc9652b12420882f51e4e604b001ebc2de0a318680ea97b156a89e617a.jpg)

西安交通大学

XI'AN JIAOTONG UNIVERSITY

# 欢迎各位老师莅临指导

彭 子 洋 博 士 论 文 答 辩 会

# 基于精准医疗的微创外科智能分析与手术图文报告生成系统

答辩人：彭子洋

导师：吕毅教授

西安交通大学未来技术学院

# 主要内容

![](images/6ce384e14a1e9c6ea56de9197dea4fa0fbc961ae73a51fd9606b1a364d7952d5.jpg)

![](images/ab2aa2c25c8ce8107f23a9454eeaf00951c3b71c45f473a5c01b3610e132e916.jpg)

![](images/64f32ccb170ec1d44827168b87fcd8162140bfd6a52ad196a5d219b279e79868.jpg)

![](images/9281ff09bcbb12d8438807760538c392c2e6fe169ef4bc45fdde48be1b955272.jpg)

# 研究背景

·经验传承·图文报告·人工智能

# 研究缘起：初入临床轮转想法萌芽

![](images/dcbebea37948169ab1d945a227689b19da4ca75e639086462786dbbf3bf11201.jpg)

![](images/8b9e9d6aa5906981262e66f5f1a7e299db3d85ed95dea3bc63e16b5eb8c56700.jpg)

看不懂腔镜影像 ➡ 有一个助手能帮我看懂

# 临床所见：手术记录意义及痛点

![](images/17874d237b41fbe8ac8722dc9832afee426f20c2783e0d9722c17798d34aa69e.jpg)  
1959年

西北首份 图文手术记录单

（殷培璞教授收治）

![](images/6270a3a6d3d496816238fc7dac0b64acd29a81c2c825f439df8f3df45b907542.jpg)

![](images/cab604162c7dc848d51b79341a3c2e97976ae4b3d0c4b9af6b912205c3751fb7.jpg)  
  
手术步骤、术中出现的情况及处理：  
  
  
  
手术后情况：患者麻醉恢复后安返病房

2015年、2025年数字化 手术记录对比

![](images/b3b72e9f28ee30f3ebb2e2c3f5f2af4adfb232ac4d9e51efca9a60b112b13b1e.jpg)

# 西安交通大学

XI'AN JIAOTONG UNIVERSITY

![](images/1ca58fedeffc95afaf6c10f82986faba80c94ebe5ab78a116d0c58ea987b4082.jpg)

![](images/3f5c3a61c31dc64cdf3c32f2f3e93e678b0d25e650022e6eb6fb3dfe2d243bf6.jpg)  
支气管镜报告

![](images/ed2dc901aa0bbb67d33f4f2c58df9a3ad107739df07d7459029e7da5957d46fb.jpg)  
胃镜报告

![](images/1564d17bfdb58512e2228185cd408f7d534e986ed3ee05e03571c8c86a76dfed.jpg)  
CT报告

![](images/ad66fd489b221c39f9abcc20328514e1a083bd807846d998b000433f155f56b1.jpg)  
超声报告

![](images/7765bee94edd35aaf3a27d1c98338f3f2e35d7e808c37abea53e39a944e2d03d.jpg)  
  
病理报告  
MRI报告

图文化检测报告

已成常态

# 图文探索：外科梦工场既往研究

![](images/187c930717985dd170523b3c1788d4e2bafdffdb9e385741dbf8848e74823037.jpg)

![](images/14e33cf1a67e7894bf6fd3ea124c6bfec868eb6e22fa82d67fcd3b76fddc5fab.jpg)

开放手术图文软件V1.0版本界面

2013年

![](images/e8f2c1c5a297cb096ef21aa9aa08874ccf48ead627a9fcf73418e507563cd268.jpg)

![](images/8d9e36544e14d154eaea704767e5f77188345e35b72ae47fae1e504919cfe384.jpg)

开放手术图文软件V2.0版本

2014年

![](images/c9170cef79111696e066b71fa0418257b6593532e7e824c1fcff09416b0be0d0.jpg)

![](images/996f794894bdd826313a4f5d34fa3964ab1347b939fc97b6a65fd0082280e0b6.jpg)

倡用图文手术记录专家共识（西安）

2015年

![](images/b2c92755ac07b22c5cd4e6fe658450f992053428a7ef6991674096a485b89dc5.jpg)

“手术语音图文记录系统研发及应用”陕西省科技进步二等奖2016年

# 新时代、新技术：微创化+AI数智化

![](images/7ec40b11be30103f63b90eaedef7cc643d28a7ba72bc11bb663e9dcaa7a66840.jpg)  
中国与发达国家MIS手术渗透率对比与增长趋势[1]

![](images/686da431740cc0d4e7e6bc71c023b78bbec60e9e30d9380c507f3d8b3a663542.jpg)  
中美每百万人口MIS手术量差距分析[1]

微创化比例、手术数量逐年攀升

![](images/beca8c6e66f015c05e4b136ffac0d2af87a1dd72326700535ee20bf5b1aa9f34.jpg)

![](images/81aa9a480f45ad6cfed99a437ee0ce1d389d2578d7d8200ef2659e78a947baa5.jpg)  
HDMI、DVI、SDI等设备接口

微创影像自带数字化采集

![](images/a7fe8425d097919caa3ee23c4dd97d0504cfcfa6e6510cb04e4b28a218ec921e.jpg)

![](images/b64f699b2f3ac3ccf503590d700197e1bb4bb44fb82f6ea984df08ebc142d01f.jpg)

![](images/61e840df81978c16571f8af3a50db928b6b28ed91b2ba1c58bbf4a5abd401166.jpg)  
基础：神经网络架构、Transformer算法、Attention机制的提出  
理解：计算机视觉-识别、分割方案成熟

![](images/de1f1ddd7d6fe0390df57a7e50de9a809fd797c7d4431763ed71016460409836.jpg)  
交互：多模态大语言模型的兴起

人工智能智能化理解输出

# AI在临床领域应用蓬勃发展

![](images/35a211bad06cef7b161a2bcb296269a1ec06cad8d9e4617f7c3e515cbbfea8f2.jpg)  
CT医疗影像肿瘤、多脏器自动分割、重建

![](images/069ee2da810894a27a92f19060b2d67cf22deadd24684de58512cda9fd692df1.jpg)

手术视频分析的时空多粒度感知框架：从全流程到单一帧[1]计算机视觉 CT影像、手术器械、手术动作识别

![](images/c1588480ea677b31e6111730aef60958d2832cd84fcc17d043eec65f24f9e1a4.jpg)  
自动缝合机器人[3]

![](images/8c7d8799f63034ed5f80c8279784e304ac7433f8208cae99087d24f5664be816.jpg)

![](images/cf4d9b0749065e0096cea8e51cd98cf22f462ab917b640d9d3cb910489efcd60.jpg)

外科手术围术期管理[2]、医疗健康对话大模型

多模态大模型 自动手术操作、手术管理、医疗问答

# 微创智能图文手术记录 应势而启

# 核心难点：公开数据集的局限性

![](images/789a299b87cd80aca655e2e9662d8be06f841ad4bd9a36373ca4c68fcf566ea2.jpg)

![](images/c29c15e4defe05ea5225479e6630db2fe16ee8fa8df9c2aee3860c09d100b96a.jpg)

![](images/92cfbd127657b947d0d638c98b161208d0eb040af3f41548a3970084c88c5125.jpg)

![](images/cc7c1ff22b204216edc7ae0402259d48d1b56fb847440876e326bedb21841aed.jpg)

肝胆胰外科微创腔镜公开医疗影像数据集稀少且均来源于境外医疗机构

![](images/a95edc737e148173a0c3f6b54b570a2bb0974445e0d2ee9c6a775491ad6e101f.jpg)

![](images/0c70ef13613445bef0ac33a4b03c4f5a55a8511fea19634333bbe4eb68af9cea.jpg)

![](images/1984902dac58a0195837114bee6d189eb943c7f294489eff893f5c8e04909ba9.jpg)

![](images/800ce7e899b6a2a6c13806b2110fb2da0938ca7b5be7c83476a8a27721506cd0.jpg)

集中于胆囊切除术单个术式器械、腔镜品牌不同 影像差异大

![](images/1526a3c32f0b73329ccda5f57d833a8de547b7ffe01bbd01e198d5f1dd23e0a8.jpg)

![](images/d62598c39cc356f089fc61d537bee15d7b86c59fb372793573fa24acec604bf0.jpg)

![](images/def2b92297a394af699fbb3e38560fae087af55d51181a90d562c41ea24b9d69.jpg)

标注种类少、边缘标注差

![](images/1bda5545cfed21561439fea836c9a03c21081b410ce2ebbea37208be7fc33215.jpg)

采样时间间隔短有效信息重复

公开数据无法满足我们的需要！

# 核心难点：微创腔镜下复杂环境

![](images/26314271faf412578ab0532061eb9ebbc979c5a17b5bd4466197782c2c63abb2.jpg)  
① 探查腹腔

![](images/2f9da92eedda131fc08a30363c8dad212baa66999be39fbd627e3dcd068c093d.jpg)  
⑦ 分离肝实质

![](images/4d46cd2f0ae35c92e5f09f0ee5c8f8ae459ced2c9bae83a21f97466f8c005498.jpg)  
③ 局部解剖离断

![](images/6a59a7e96a62b3b1c19726810d78cd9eafef6c7461a8c02c327c48859dd44c5b.jpg)  
⑩ 出血及止血

![](images/bba7627c67f0f046f2789fa58557f363da8a69d3087a352e6c111c3917312923.jpg)  
⑤ 暴露第一肝门 阻断带

![](images/8cc69e67f0603746071673bbc41cfb6aa8df57f004d195a99050df28d45dcb9d.jpg)  
⑬ 装标本袋   
手术关键步骤多，不同环节差异大

![](images/d933b563b08770814a83569a49d8c675726d2fce8dbdd7b15381163c0423fe52.jpg)

![](images/b9b48e573ff5caf6ed093c71b4e8b6b78c2b617a7eb74647b4887ff2cac440b0.jpg)  
器械遮挡

![](images/91c83b7161f90536ba18a6c8ae3b1a807ebdfa39c9018ca9623ae87e38c77058.jpg)  
术中出血   
电刀、超声刀雾气  
术中特殊状况导致视野受限

![](images/412bd82414bf0bf723bfb11bce266a52d4904684651a3bfc867b0382408392c9.jpg)

![](images/53a83c618f15889516de5366be0df141b7b07cb4efc21b00398083b5dde8126a.jpg)

![](images/3ebb51cf45b74637472fc13807af49f7a5aaa924fd72b461cd69c1b5fd29e24d.jpg)

![](images/e0f801621f2c73055ffaafcb55fdd72792f47f17995fc3f36d886ff18c2b6aeb.jpg)

![](images/3c635c4b31342d8b189be93b6443250f967555194b4cbb2a819794fe1fb274f3.jpg)  
运算耗时  
所受限制

①空间：手术室空间宝贵，大型服务器部署不现实  
② 时间：实时性要求高，处理环节耗时顺序叠加  
③ 成本：更高的算力 ➡ 更高的成本花费

![](images/8e53c8158133d9327c963e1f6a9d94361daaccb70dba97ac746d7c56027f2d98.jpg)

视频速率 ≥ 60HZ

处理速率 ≈ 5 HZ

视觉流畅 ≥ 25HZ

④ 处理速率瓶颈 和 流畅视觉感受的应用需求

多种情况导致长时间手术视频流畅识别困难

# 核心难点：整合1+1+N全流程

# 1. 基础设施建设（“1”）：存储 + 算力 + 算法

<table><tr><td>NAS和设备</td><td colspan="9">磁盘</td></tr><tr><td>插槽</td><td>接口</td><td>设备</td><td>运行状况</td><td>容量</td><td>状态</td><td></td><td></td><td></td><td></td></tr><tr><td>3.5&quot;1</td><td>SATA</td><td>HDD</td><td>良好</td><td>14.55 TB</td><td>就绪</td><td></td><td></td><td></td><td></td></tr><tr><td>3.5&quot;2</td><td>SATA</td><td>HDD</td><td>良好</td><td>14.55 TB</td><td>就绪</td><td></td><td></td><td></td><td></td></tr><tr><td>3.5&quot;3</td><td>SATA</td><td>HDD</td><td>良好</td><td>14.55 TB</td><td>就绪</td><td></td><td></td><td></td><td></td></tr><tr><td>3.5&quot;4</td><td>SATA</td><td>HDD</td><td>良好</td><td>14.55 TB</td><td>就绪</td><td></td><td></td><td></td><td></td></tr><tr><td>3.5&quot;5</td><td>SATA</td><td>HDD</td><td>良好</td><td>14.55 TB</td><td>就绪</td><td></td><td></td><td></td><td></td></tr><tr><td>3.5&quot;6</td><td>SATA</td><td>HDD</td><td>良好</td><td>14.55 TB</td><td>就绪</td><td></td><td></td><td></td><td></td></tr><tr><td>QM2 M.2 2-1</td><td>PCIe</td><td>SSD</td><td>良好</td><td>465.76 GB</td><td>就绪</td><td></td><td></td><td></td><td></td></tr></table>

![](images/905c67658b4f8ff3358721c2c46be35d92d816aa2272035b5a76a47688a1942c.jpg)

![](images/f64407d3efacb14df0d897fb9e996cd1356e03f538fa1baf9271550790aa4e4d.jpg)

# 2. 数据治理流通（“1”）：临床采集+半自动标注+数据管理

![](images/c452b3cf2931be2241f4fd5fa8cb72a1c6e5c870b7245c1c6865bbc030203506.jpg)

![](images/02922d980df0fb65c5f9239921b33403498621cecd0524197d881645a1d8b74a.jpg)

![](images/0e80e23d471524cf027e8c79f020a0183d2710efd10badb8081d449bbeb531f9.jpg)

# 3. 算法应用 $( \mathrm { ~ \mathsf ~ { ~ N ~ } ~ } )$ ：大模型+多应用

![](images/36cfea92fe7cbf8272d4c07f411fc5a67c30c47c1addc13eb91262e931c3482c.jpg)

![](images/57ddb3d061f22f3004952496cd062dcca5e57d955d850688d98a97c5befce65d.jpg)  
手术阶段识别模块儿（分割+大模型）  
图文报告生成模块儿（多模态大模型）

# 将以上 分散模块儿 整合为 可用的智慧图文报告系统

#

# 目的与技术路线

·技术路线

·临床场景

# 目的与方法 实验室验证与临床应用

![](images/4a84dce390ceecdf20ed04a95820d10fc737325b99fe3a45744c80306f53a975.jpg)

![](images/1bdb32c0ff79c765be8598b390c67646affaad7732cb0bf3f903ee0fb9fb75fe.jpg)  
手术图文病历系统构建模式图

![](images/f98c1443979c8d22ff157817d581e1e09302b9bbc45e80031527a5012e9f984c.jpg)  
术中实时采集

![](images/d398b9cbc2310a642e7834192a95ee0229b6b186e3acd7894f4865c23db48b38.jpg)  
术中结构识别辅助

![](images/978b90c67c54d6e50d44570b4e7ea3f1a04a4a4bc957da6183dd696be9a79b21.jpg)

![](images/24bcfa8ec7881964932d8b11c1ffbbffe27b89b51ffc922717a9ce1c0389e611.jpg)

![](images/e91ae0b6c162eedb362d3285831621d3591bd640532d1f0da55908f8501be38a.jpg)

西安交通大学第一附属医院

姓名：周学位性别男年款：64岁科别：通开行1情房床号：022住款号：0002145495手术日期：2025年7月2日  
术前诊断：1.胃癌（wT3-ID）抵铺助治疗后：2.慢性萎缩性目表：3.慢性阻塞性转病：4.肝真时，5食管塑室：列除增生。  
术后诊断：1.胃癌（ycT31）辅助疗后：2.肠站速；3.腹的积波：4.保性性置类5.慢性阻毫性肺病：6.置肿：.食管塑车：8.前列腺增生。

# 手术步疆、术中出现的情况及处理

大网腰与肝脏、及膜连（图A），逐步松解粘，层模和盆无转移结节，肝、面积约2.0x1，5cm，中，表面红色。肯体中邮小弯又可见-膜祖极区城，面约

2.肯游高、淋巴结清扫，仔细分高腹腔粘连，切开部分肝圆暂带，将左半肝向上翻起，紧性打开间，游禹食管有，声刀继续沿桥结肠上缘税性分离胃结肠带处，向左游高至高，夹闭切断胃短血管，清4sa组淋巴结（图B），向右达结属肝区，将大网膜，胃结肠带向上到离直达胰腺下缘，清扫4组淋巴站。解副曲门下区，于部夹闭切断胃同右静脉。

![](images/6ca834dfd2420036b75e85b6175a529dfd3cf144587ecd4b567b07f5342a25cc.jpg)

手术图文报告

![](images/14573140e2e8320ded1761238a98e081f00f19934763b887b0c399b0994a7e6b.jpg)

③ 术中图像增强（去雾+追踪）

术后图文报告生成

# 手术图文病历系统实际应用图

# 目的与方法 技术路线

![](images/b0113f516e271f95a84aedaf834c7b8ccb6326e8a8ab9a386b576cdcded8fe35.jpg)

# 研究结果

·腔镜手术的大规模腔镜影像数据集构建及术中场景识别训练  
·腹腔镜影像自适应去雾网络构建   
腔镜视频中的特征匹配与表面形变跟踪  
·基于多模态大模型的临床图文病历报告生成及管理系统

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

多术式数据集构建信息统计及特征汇总  

<table><tr><td>数据模块</td><td>术式类型</td><td>病例数(n)</td><td>关键帧总量</td><td>核心分割类别</td></tr><tr><td>模块A</td><td>腹腔镜肝脏切除术(LLR)</td><td>403</td><td>142,861</td><td>1.肝实质:肝脏表面及断面2.关键脉管:门静脉、肝静脉、IVC 3.胆道结构:胆囊管、胆总管及肝内胆管4.手术器械:超声刀、施夹器等5.辅助与背景:纱布、阻断带等</td></tr><tr><td>模块B</td><td>腹腔镜胆囊切除术(LC)</td><td>128</td><td>45,600</td><td>1.胆囊与肝床:界定剥离平面2.胆囊三角:胆囊管、胆囊动脉(CVS关键)3.胆总管:需避开的解剖禁区4.手术器械:电钩、抓钳等5.环境干扰:烟雾、高反光组织</td></tr><tr><td>模块C</td><td>腹腔镜甲状腺切除术(LT)</td><td>65</td><td>21,500</td><td>1.甲状腺腺体:左右叶及峡部2.喉返神经(RLN):核心保护对象3.甲状旁腺:需识别细微纹理差异4.关键血管:甲状腺上/下动脉5.背景组织:气管、肌肉</td></tr><tr><td>模块D</td><td>腹腔镜胃癌根治术(LG)</td><td>96</td><td>33,800</td><td>1.胃周血管:胃左/胃网膜血管根部2.淋巴结区域:需清扫的脂肪组织块3.标志脏器:胰腺、脾脏4.网膜与系膜:切除与保留的界限5.手术器械:吻合器、超声刀等</td></tr><tr><td>总计</td><td>多中心混合数据集</td><td>692</td><td>243,761</td><td>全解剖域覆盖</td></tr></table>

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 构建算法架构及临床工作路线

![](images/ef752137054febe8649cc70febfd9e820a2828583e9c638b22efab2bf0a2e98b.jpg)

![](images/0be491bb60c7ccb368917509d15ff45cfdfc93de820d374105163e20967a3c60.jpg)

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 构建改进Transformer的多任务感知网络算法

![](images/226b9494e7a4794ee7ad4b4d0c9e5693f75277a73b85c6a032b4e79cfdd7ec84.jpg)

# 选择性视觉状态空间模块

（selective visual state spacemodule, SS-VSSM）

$$
\begin{array}{l} \mathbf {h} ^ {\prime} (\mathbf {t}) = \mathbf {A h} (\mathbf {t}) + \mathbf {B x} (\mathbf {t}) \\ \mathbf {y} (\mathbf {t}) \quad = \mathbf {C h} (\mathbf {t}) \\ \end{array}
$$

引入了 Mamba 的选择性扫描机制，使得模型能够根据当前的视觉特征（如手术烟雾或器械遮挡），自适应地“遗忘”无关信息或“记忆”关键解剖结构，保持了高效的并行训练能力。

$$
\begin{array}{l} \mathbf {B} _ {\mathrm {t}} = \operatorname {L i n e a r} (\mathbf {x} _ {\mathrm {t}}) \\ \mathbf {C} _ {t} \quad = \operatorname {L i n e a r} \left(\mathrm {x} _ {t}\right) \\ \end{array}
$$

$$
\Delta_ {t} = \operatorname {S o f t p l u s} (\operatorname {P a r a m e t e r} + \operatorname {L i n e a r} (x _ {t}))
$$

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 性能评估

![](images/b612b3107b8d29db350d2123569f93513846c7e0c8a3193e5542856593bc9f96.jpg)

<table><tr><td>Method</td><td>Index</td><td>肝脏</td><td>胆囊</td><td>胆囊三角</td><td>胆囊管</td><td>电刀</td><td>抓钳</td><td>Mean</td></tr><tr><td rowspan="2">TransUNet</td><td>mIoU</td><td>89.42</td><td>76.55</td><td>84.2</td><td>91.23</td><td>83.67</td><td>72.51</td><td>82.93</td></tr><tr><td>mDice</td><td>94.56</td><td>86.69</td><td>91.35</td><td>95.69</td><td>91.4</td><td>84.29</td><td>90.66</td></tr><tr><td rowspan="2">Deeplabv3+</td><td>mIoU</td><td>90.18</td><td>77.26</td><td>83.55</td><td>91.84</td><td>86.5</td><td>73.15</td><td>83.75</td></tr><tr><td>mDice</td><td>94.86</td><td>87.11</td><td>91.21</td><td>95.82</td><td>92.71</td><td>84.59</td><td>91.05</td></tr><tr><td rowspan="2">PSPNet</td><td>mIoU</td><td>85.64</td><td>70.13</td><td>75.42</td><td>88.2</td><td>79.36</td><td>66.21</td><td>77.49</td></tr><tr><td>mDice</td><td>92.5</td><td>82.43</td><td>85.96</td><td>93.7</td><td>88.51</td><td>79.78</td><td>87.15</td></tr><tr><td rowspan="2">UNet++</td><td>mIoU</td><td>81.5</td><td>64.21</td><td>69.55</td><td>84.12</td><td>74.05</td><td>59.8</td><td>72.2</td></tr><tr><td>mDice</td><td>89.73</td><td>78.45</td><td>82.18</td><td>91.56</td><td>85</td><td>75.13</td><td>83.68</td></tr><tr><td rowspan="2">UNet</td><td>mIoU</td><td>82.15</td><td>65.42</td><td>70.28</td><td>85.33</td><td>75.1</td><td>60.54</td><td>73.14</td></tr><tr><td>mDice</td><td>90.25</td><td>79.38</td><td>82.74</td><td>92.22</td><td>85.74</td><td>75.38</td><td>84.29</td></tr><tr><td rowspan="2">Swin-Unet</td><td>mIoU</td><td>86.25</td><td>71.58</td><td>76.8</td><td>89.04</td><td>80.12</td><td>68.45</td><td>78.71</td></tr><tr><td>mDice</td><td>92.69</td><td>83.45</td><td>87.02</td><td>94.16</td><td>88.98</td><td>81.32</td><td>87.94</td></tr><tr><td rowspan="2">PIDNet</td><td>mIoU</td><td>87.1</td><td>72.84</td><td>77.51</td><td>89.55</td><td>81.43</td><td>69.1</td><td>79.59</td></tr><tr><td>mDice</td><td>93.19</td><td>84.5</td><td>87.31</td><td>94.59</td><td>89.9</td><td>81.65</td><td>88.52</td></tr><tr><td rowspan="2">STSH-Net (Our)</td><td>mIoU</td><td>92.55</td><td>79.82</td><td>83.9</td><td>93.15</td><td>85.88</td><td>76.4</td><td>85.28</td></tr><tr><td>mDice</td><td>96.04</td><td>89.04</td><td>91.25</td><td>96.62</td><td>92.43</td><td>86.73</td><td>92.02</td></tr></table>

mIoU 关注的是“覆盖得准不准”（对错误更严苛）  
mDice 关注的是“像素重合得够不够”（等同于 F1 分数，是医学领域的行业标准）

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 性能评估

![](images/cb9bfd023c81d9157ba6743c6ba8fb18d890029bca0fbc99c9ce80b274d2a86d.jpg)

<table><tr><td>Method</td><td>Index</td><td>甲状腺旁腺</td><td>喉返神经</td><td>双极电凝</td><td>抓钳</td><td>超声刀</td><td>Mean</td></tr><tr><td rowspan="2">TransUNet</td><td>mIoU</td><td>72.15</td><td>48.6</td><td>64.12</td><td>70.85</td><td>64.2</td><td>59.39</td></tr><tr><td>mDice</td><td>84.22</td><td>66.15</td><td>78.55</td><td>83.1</td><td>78.56</td><td>74.43</td></tr><tr><td rowspan="2">Deeplabv3+</td><td>mIoU</td><td>73.5</td><td>50.25</td><td>62.8</td><td>71.4</td><td>65.1</td><td>60.77</td></tr><tr><td>mDice</td><td>85.1</td><td>67.4</td><td>77.5</td><td>83.55</td><td>79.15</td><td>75.46</td></tr><tr><td rowspan="2">PSPNet</td><td>mIoU</td><td>69.8</td><td>45.5</td><td>60.2</td><td>68.5</td><td>61.8</td><td>57.8</td></tr><tr><td>mDice</td><td>82.5</td><td>62.85</td><td>75.4</td><td>81.6</td><td>76.7</td><td>73</td></tr><tr><td rowspan="2">UNet++</td><td>mIoU</td><td>64.2</td><td>38.4</td><td>52.6</td><td>62.1</td><td>55.4</td><td>50.66</td></tr><tr><td>mDice</td><td>78.5</td><td>55.8</td><td>69.2</td><td>76.9</td><td>71.5</td><td>66.84</td></tr><tr><td rowspan="2">UNet</td><td>mIoU</td><td>65.5</td><td>40.15</td><td>54.3</td><td>63.4</td><td>56.25</td><td>51.96</td></tr><tr><td>mDice</td><td>79.45</td><td>57.5</td><td>70.6</td><td>77.85</td><td>72.2</td><td>67.98</td></tr><tr><td rowspan="2">Swin-Unet</td><td>mIoU</td><td>70.1</td><td>47.8</td><td>59.5</td><td>69.2</td><td>63.4</td><td>57.73</td></tr><tr><td>mDice</td><td>82.65</td><td>65.1</td><td>74.8</td><td>82.05</td><td>77.9</td><td>72.96</td></tr><tr><td rowspan="2">PIDNet</td><td>mIoU</td><td>71.4</td><td>49.1</td><td>61.1</td><td>70.5</td><td>64.8</td><td>59.04</td></tr><tr><td>mDice</td><td>83.5</td><td>66.2</td><td>76.15</td><td>82.9</td><td>78.9</td><td>74.01</td></tr><tr><td rowspan="2">STSH-Net (Our)</td><td>mIoU</td><td>76.85</td><td>53.4</td><td>61.5</td><td>74.2</td><td>68.9</td><td>62.44</td></tr><tr><td>mDice</td><td>87.15</td><td>69.8</td><td>76.45</td><td>85.4</td><td>81.85</td><td>76.68</td></tr></table>

# 研究结果1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 性能评估

<table><tr><td>IMG1</td><td>img</td><td>img</td><td>img</td><td>img</td><td>Method</td><td>Index</td><td>超声刀</td><td>吸引器</td><td>抓钳</td><td>纱布</td><td>血管阻断</td><td>血管夹</td><td>胃短动脉</td><td>胃网膜右动脉</td><td>肝脏</td><td>脂肪</td><td>Mean</td></tr><tr><td rowspan="4">IMG2</td><td>img</td><td>img</td><td>img</td><td>img</td><td>TransUNet</td><td>mIoU</td><td>80.15</td><td>65.22</td><td>74.55</td><td>82.1</td><td>58.45</td><td>74.12</td><td>61.55</td><td>57.9</td><td>74.95</td><td>71</td><td>80.15</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td rowspan="3">Deeplabv3+</td><td>mDice</td><td>89.55</td><td>79.65</td><td>86.12</td><td>90.88</td><td>72.33</td><td>85.75</td><td>76.8</td><td>74.1</td><td>86.15</td><td>82.37</td><td>89.55</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mIoU</td><td>81.85</td><td>66.55</td><td>73.45</td><td>82.55</td><td>60.12</td><td>72.45</td><td>61.35</td><td>56.95</td><td>72.1</td><td>69.71</td><td>81.85</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mDice</td><td>90.15</td><td>80.45</td><td>85.4</td><td>91.1</td><td>73.55</td><td>83.95</td><td>76.35</td><td>72.95</td><td>87.55</td><td>82.38</td><td>90.15</td></tr><tr><td rowspan="4">IMG3</td><td>img</td><td>img</td><td>img</td><td>img</td><td rowspan="4">PSPNet</td><td>mIoU</td><td>77.25</td><td>60.85</td><td>64.95</td><td>79.25</td><td>54.1</td><td>69.65</td><td>55.75</td><td>51.1</td><td>71.35</td><td>64.92</td><td>77.25</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mDice</td><td>87.85</td><td>76.1</td><td>79.55</td><td>88.75</td><td>68.45</td><td>82.45</td><td>72.35</td><td>68.25</td><td>84.15</td><td>78.66</td><td>87.85</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mIoU</td><td>72.85</td><td>54.45</td><td>60.65</td><td>74.85</td><td>48.95</td><td>65.35</td><td>50.25</td><td>44.55</td><td>65.85</td><td>59.75</td><td>72.85</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mDice</td><td>84.45</td><td>71.35</td><td>76.1</td><td>85.95</td><td>62.55</td><td>79.55</td><td>67.45</td><td>61.95</td><td>79.85</td><td>74.36</td><td>84.45</td></tr><tr><td rowspan="4">IMG4</td><td>img</td><td>img</td><td>img</td><td>img</td><td rowspan="4">UNet++</td><td>mIoU</td><td>73.35</td><td>54.95</td><td>60.15</td><td>76.35</td><td>50.15</td><td>64.85</td><td>50.85</td><td>45.55</td><td>66.65</td><td>60.32</td><td>73.35</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mDice</td><td>84.85</td><td>71.65</td><td>75.95</td><td>87.45</td><td>63.85</td><td>78.95</td><td>67.65</td><td>63.35</td><td>80.35</td><td>74.89</td><td>84.85</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mIoU</td><td>78.45</td><td>61.65</td><td>66.75</td><td>78.55</td><td>56.45</td><td>70.65</td><td>58.55</td><td>53.35</td><td>72.95</td><td>66.37</td><td>78.45</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mDice</td><td>88.45</td><td>77.1</td><td>80.45</td><td>88.25</td><td>70.15</td><td>83.25</td><td>74.35</td><td>69.75</td><td>85.1</td><td>79.65</td><td>88.45</td></tr><tr><td rowspan="3">IMG5</td><td>img</td><td>img</td><td>img</td><td>img</td><td rowspan="3">Swin-Unet</td><td>mIoU</td><td>79.65</td><td>62.95</td><td>67.55</td><td>80.45</td><td>57.85</td><td>71.25</td><td>58.55</td><td>53.85</td><td>74.15</td><td>67.36</td><td>79.65</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mDice</td><td>89.45</td><td>78.05</td><td>81.35</td><td>89.95</td><td>71.55</td><td>83.55</td><td>74.55</td><td>70.45</td><td>85.55</td><td>80.49</td><td>89.45</td></tr><tr><td>img</td><td>img</td><td>img</td><td>img</td><td>mIoU</td><td>83.55</td><td>68.15</td><td>72.45</td><td>83.35</td><td>61.95</td><td>76.35</td><td>64.85</td><td>59.15</td><td>77.85</td><td>71.96</td><td>83.55</td></tr></table>

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 性能评估

![](images/33d9955a6c4f76fd481e56e5f073c565fe3953e8523bf325fdeb3219992f21b5.jpg)

<table><tr><td>Method</td><td>Index</td><td>肝脏</td><td>肝总管</td><td>胆囊管</td><td>止血纱布</td><td>纱布</td><td>抓钳</td><td>Mean</td></tr><tr><td rowspan="2">TransUNet</td><td>mIoU</td><td>89.6</td><td>69.14</td><td>83.46</td><td>90.67</td><td>81.65</td><td>72.52</td><td>81.17</td></tr><tr><td>mDice</td><td>94.82</td><td>82.28</td><td>91.54</td><td>95.36</td><td>90.47</td><td>84.35</td><td>89.8</td></tr><tr><td rowspan="2">Deeplabv3 +</td><td>mIoU</td><td>88.62</td><td>69.73</td><td>82.95</td><td>90.91</td><td>82.19</td><td>75.54</td><td>81.66</td></tr><tr><td>mDice</td><td>94.45</td><td>82.4</td><td>91.16</td><td>95.52</td><td>90.75</td><td>86.36</td><td>90.11</td></tr><tr><td rowspan="2">PSPNet</td><td>mIoU</td><td>86.02</td><td>67.46</td><td>81.9</td><td>89.67</td><td>82.43</td><td>70.65</td><td>79.69</td></tr><tr><td>mDice</td><td>92.94</td><td>80.89</td><td>90.32</td><td>95.08</td><td>90.84</td><td>83.02</td><td>88.85</td></tr><tr><td rowspan="2">UNet++</td><td>mIoU</td><td>81.79</td><td>61.45</td><td>73.7</td><td>85.11</td><td>73.44</td><td>62.65</td><td>73.02</td></tr><tr><td>mDice</td><td>90.54</td><td>76.57</td><td>85.38</td><td>92.36</td><td>84.95</td><td>77.26</td><td>84.51</td></tr><tr><td rowspan="2">UNet</td><td>mIoU</td><td>83.1</td><td>61.81</td><td>75.74</td><td>85.28</td><td>74.89</td><td>63.61</td><td>74.07</td></tr><tr><td>mDice</td><td>91.23</td><td>76.78</td><td>86.48</td><td>92.42</td><td>85.86</td><td>78.3</td><td>85.18</td></tr><tr><td rowspan="2">Swin-Unet</td><td>mIoU</td><td>87.27</td><td>71.1</td><td>80.21</td><td>88.96</td><td>79.49</td><td>69.5</td><td>79.42</td></tr><tr><td>mDice</td><td>93.69</td><td>83.6</td><td>89.51</td><td>94.63</td><td>88.89</td><td>82.26</td><td>88.76</td></tr><tr><td rowspan="2">PIDNet</td><td>mIoU</td><td>87.83</td><td>72.85</td><td>80.47</td><td>90.05</td><td>81.03</td><td>70.59</td><td>80.47</td></tr><tr><td>mDice</td><td>94.03</td><td>84.84</td><td>89.72</td><td>95.16</td><td>89.73</td><td>83.16</td><td>89.44</td></tr><tr><td rowspan="2">STSH-Net (Our)</td><td>mIoU</td><td>91.09</td><td>72.73</td><td>84.42</td><td>92.18</td><td>84.02</td><td>74.99</td><td>83.24</td></tr><tr><td>mDice</td><td>95.93</td><td>84.77</td><td>91.87</td><td>96.16</td><td>91.57</td><td>85.97</td><td>91.04</td></tr></table>

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 性能评估

![](images/3bed608b614b76f49ee2886be3ac718767e2574020c2d11946834ed34ea8ba90.jpg)

<table><tr><td>Method</td><td>Index</td><td>肝脏</td><td>胆囊</td><td>脂肪</td><td>分离钳</td><td>抓钳</td><td>磁牵拉器械</td><td>Mean</td></tr><tr><td rowspan="2">TransUNet</td><td>mIoU</td><td>89.21</td><td>68.85</td><td>83.1</td><td>90.25</td><td>81.33</td><td>72.18</td><td>80.82</td></tr><tr><td>mDice</td><td>94.55</td><td>82.01</td><td>91.22</td><td>95.12</td><td>90.15</td><td>84.1</td><td>89.53</td></tr><tr><td rowspan="2">Deeplabv3+</td><td>mIoU</td><td>88.95</td><td>69.95</td><td>82.66</td><td>90.54</td><td>82.45</td><td>75.88</td><td>81.74</td></tr><tr><td>mDice</td><td>94.18</td><td>82.66</td><td>90.89</td><td>95.3</td><td>90.44</td><td>86.55</td><td>90</td></tr><tr><td rowspan="2">PSPNet</td><td>mIoU</td><td>85.74</td><td>67.12</td><td>81.55</td><td>89.33</td><td>82.11</td><td>70.28</td><td>79.36</td></tr><tr><td>mDice</td><td>92.65</td><td>80.54</td><td>90.01</td><td>94.85</td><td>90.56</td><td>82.74</td><td>88.56</td></tr><tr><td rowspan="2">UNet++</td><td>mIoU</td><td>81.44</td><td>61.22</td><td>73.35</td><td>84.85</td><td>73.1</td><td>62.4</td><td>72.73</td></tr><tr><td>mDice</td><td>90.22</td><td>76.25</td><td>85.11</td><td>92.05</td><td>84.62</td><td>76.95</td><td>84.2</td></tr><tr><td rowspan="2">UNet</td><td>mIoU</td><td>82.88</td><td>61.55</td><td>75.4</td><td>85.02</td><td>74.55</td><td>63.35</td><td>73.79</td></tr><tr><td>mDice</td><td>90.95</td><td>76.44</td><td>86.15</td><td>92.11</td><td>85.55</td><td>78.02</td><td>84.87</td></tr><tr><td rowspan="2">Swin-Unet</td><td>mIoU</td><td>87.55</td><td>70.88</td><td>80.45</td><td>88.64</td><td>79.2</td><td>69.85</td><td>79.43</td></tr><tr><td>mDice</td><td>93.42</td><td>83.25</td><td>89.22</td><td>94.33</td><td>88.58</td><td>82</td><td>88.47</td></tr><tr><td rowspan="2">PIDNet</td><td>mIoU</td><td>88.1</td><td>73.12</td><td>80.15</td><td>89.88</td><td>80.85</td><td>70.22</td><td>80.39</td></tr><tr><td>mDice</td><td>93.88</td><td>85.05</td><td>89.44</td><td>94.95</td><td>89.44</td><td>82.88</td><td>89.27</td></tr><tr><td rowspan="2">STSH-Net (Our)</td><td>mIoU</td><td>91.35</td><td>72.95</td><td>84.75</td><td>92.44</td><td>84.33</td><td>75.21</td><td>83.51</td></tr><tr><td>mDice</td><td>96.12</td><td>84.99</td><td>92.05</td><td>96.35</td><td>91.85</td><td>86.12</td><td>91.25</td></tr></table>

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 模型手术阶段识别性能

Ground truth& Estimated phase(original)   
![](images/e595867165ecdb2587ccc8764cf9ed392670a02504ff6368d2e6160b56aa4573.jpg)  
模块A 腹腔肝切除术阶段识别结果及量化统计

<table><tr><td>精确阶段\预测阶段</td><td>Phase 0</td><td>Phase 1</td><td>Phase 2</td><td>Phase 3</td><td>Phase 4</td><td>Phase 5</td></tr><tr><td>Phase 0</td><td>96.10%</td><td>1.00%</td><td>0.60%</td><td>0.60%</td><td>0.80%</td><td>0.90%</td></tr><tr><td>Phase 1</td><td>6.50%</td><td>89.00%</td><td>2.00%</td><td>1.00%</td><td>1.00%</td><td>0.50%</td></tr><tr><td>Phase 2</td><td>8.20%</td><td>1.50%</td><td>87.50%</td><td>1.50%</td><td>0.80%</td><td>0.50%</td></tr><tr><td>Phase 3</td><td>11.40%</td><td>0.80%</td><td>1.80%</td><td>83.50%</td><td>1.50%</td><td>1.00%</td></tr><tr><td>Phase 4</td><td>7.20%</td><td>0.50%</td><td>0.60%</td><td>1.20%</td><td>88.00%</td><td>2.50%</td></tr><tr><td>Phase 5</td><td>6.00%</td><td>0.50%</td><td>0.50%</td><td>0.50%</td><td>2.00%</td><td>90.50%</td></tr></table>

手术阶段预测混淆矩阵（百分比）

# 研究结果 1 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

# 算法可解释性能评估

![](images/61fbbe45a58c22b5c1c998cdc9721a370a58d071e724319ff79c03a340c26800.jpg)

![](images/fddf88e0c946c336aaf6e1a33ac143f6d5f69b15f8dc2208d4afec3f8f97b9f9.jpg)

![](images/2b523d81c791ec58efdb34a7e011978d49323efafaef2c92f5d188cca5fafab6.jpg)

![](images/6ba205880cccb13638e9e8f110991040faa7b3fbb4748734eba4ed5d1a348734.jpg)

Step 3

Step 1

Step 4

Step 2

STSH-Net Seg Result

# 腹腔镜胆囊切除不同阶段的特征响应热图可视化

![](images/6364413fa5f424b38fdf7f1688a01289553bb3587ca6dfb213f6222201eacaba.jpg)

![](images/5e2bf59542f9353cfb8fefcf3735d696bd1fcb388a4c6c04bdfa0fbc5f0a9407.jpg)

![](images/f9f214f84c8590a72c5af071d94b18645ec46744414e29c997faec8fdc348242.jpg)

![](images/16d014415635494459f1640f395635315c50022302d8d1e19307db74fa611725.jpg)

Image

Step 3

# 手术器械轮廓聚焦机制演化过程热图可视化

# 第二章节

针对腔镜手术中长时间手术识别、特殊事件评估及实时性要求高等核心痛点

提出了一种基于时空协同理念的改进 Transformer 多任务感知网络

STSH-Net

在技术层面上，创新性地构建了 H-VSS 与 TC-ConvLSTM 的混合架构，实现了对长时间手术过程中的有效识别。

1) 在数据生态方面：本研究整理了包含 692 例患者、逾 20 万帧精细标注的大规模MIS语义分割数据集 ，填补了MIS领域在高质量、多病种及全时序标注数据方面的空白；  
2) 初步的临床验证进一步表明：基于 STSH-Net 的智能手术系统在各类手术场景识别中展现出较高的识别精度。

# 基于动态专家机制的腹腔镜影像自适应去雾网络构建研 究 结 果 2

# 雾气等级划分及原理分析

# 轻度雾

![](images/c83616d089158d5916f2c1aca6a17e1c43b40bdeee9e78e782c8ca3dcfc33cd6.jpg)

# 轻中度雾

![](images/0ce152fc5fa0df1717a5826e9de9cb0fc90ca6713e9b8adeb021ea751be3fb73.jpg)

# 中度雾

![](images/59e3b8a76ffe389689332adcb6545759474e79a7a99fd82b763fc3d256a4c70e.jpg)

# 中重度雾

![](images/e869b28497dba6a62c28ac9423f28a110fd74b357f369f9ec057f9f209692ae6.jpg)

# 重度雾

![](images/098451e6092f0858af035c1120341cb1702d0f854469869af5a2e976ebe59323.jpg)

![](images/0ff6dce554c2d99fda3d5ec6fb563163862ee4f65b136518c5370aeaedf999fa.jpg)

腹腔镜手术雾气散射模型图示   

<table><tr><td>气溶胶来源</td><td>物理机制</td><td>主要成分</td><td>典型粒径(r)</td><td>尺寸参数</td><td>散射类型</td><td>视觉特征</td></tr><tr><td>高频电刀</td><td>组织高温热解、碳化</td><td>碳颗粒、细胞碎片</td><td>0.07μm-0.4μm</td><td>X&lt;1(可见光波段)</td><td>瑞利散射</td><td>烟雾呈蓝灰色,波长依赖性强</td></tr><tr><td>超声刀</td><td>机械振动、低温空化</td><td>液态水珠、细胞内液</td><td>1.0μm-5.0μm</td><td>X≥1</td><td>米氏散射</td><td>烟雾呈乳白色,散射无明显波长选择性</td></tr><tr><td>镜头冷凝</td><td>热力学相变</td><td>附着镜头表面的水滴</td><td>&gt;10μm</td><td>X→∞</td><td>几何光学折射</td><td>图像模糊,出现光斑和焦散</td></tr></table>

# 研 究 结 果 基于动态专家机制的腹腔镜影像自适应去雾网络构建2

# 基于动态专家机制的腹腔镜影像自适应去雾Yun-Trans网络设计

![](images/7d861fca5842b574039074c09eb55df5740257c73885aebed00b11b3823ecb62.jpg)

# 轻度雾图像去雾算法效果

03

![](images/e3729f55f63925eb90972c29c6ff50427c84aceec39c6f432ce359467ffa1a57.jpg)

![](images/1dd09035c5986cfd4dd7a614c839f901c3224ef8893fc64982ea4997128cefda.jpg)

![](images/bd9c40efe0498783d42816d281ede1680e9a0f6208ffffd1f24f4e08ea1cf5fc.jpg)

![](images/89fc8a50318c322ee5d8f87d7cb90bb50083da2a5daf66db027b4cc97dfcbe77.jpg)

![](images/4a8d596814444fe6789bc8d6b861f6b7a03ac5b4497a28bec29c893027613c76.jpg)

![](images/9b84aac0d9a04396128c9d00c87851c23c41cb1f9592311a170b1264c906f693.jpg)  
有雾图像

![](images/bf9373ad52b993c8342f4e4c7a1adf5837f065b3da48b25798e3f53d69c2417b.jpg)  
原始图像

![](images/603e65e54c3df5386244e3fe762334e762e9f828c823d4c9ac5c0a6e1ebdf178.jpg)

![](images/0b4bfe6b734faba04a236323bd6c2c3e2b08323624317f789b2f40810e798596.jpg)  
DCP

![](images/7826b91a47bdd49f7e1893c6c36474ea0c8613bcaab2b98aed42e9c3d6b7a09f.jpg)  
DehazeNet

AOD-Net

EPDN

FFA-Net

MSBDN

RIDCP

<table><tr><td>Methods</td><td>PSNR ↑</td><td>SSIM ↑</td><td>NIQE ↓</td><td>RI ↑</td><td>VI ↑</td></tr><tr><td>DCP (CVPR 2009)</td><td>18.45</td><td>0.762</td><td>3.512</td><td>0.921</td><td>0.754</td></tr><tr><td>DehazeNet (TIP 2016)</td><td>22.18</td><td>0.824</td><td>3.105</td><td>0.935</td><td>0.789</td></tr><tr><td>AOD-Net (ICCV 2017)</td><td>20.55</td><td>0.813</td><td>3.224</td><td>0.93</td><td>0.762</td></tr><tr><td>EPDN (CVPR 2019)</td><td>23.46</td><td>0.865</td><td>2.956</td><td>0.941</td><td>0.815</td></tr><tr><td>FFA-Net (AAAI 2020)</td><td>27.85</td><td>0.942</td><td>2.518</td><td>0.962</td><td>0.882</td></tr><tr><td>MSBDN (CVPR 2020)</td><td>26.98</td><td>0.935</td><td>2.645</td><td>0.958</td><td>0.872</td></tr><tr><td>RIDCP (CVPR 2023)</td><td>28.15</td><td>0.945</td><td>2.412</td><td>0.955</td><td>0.875</td></tr><tr><td>MixDehazeNet (CVPR 2024)</td><td>28.56</td><td>0.952</td><td>2.385</td><td>0.959</td><td>0.878</td></tr><tr><td>Yun-Trans (Proposed)</td><td>28.92</td><td>0.846</td><td>2.305</td><td>0.931</td><td>0.885</td></tr></table>

# 研 究 结 果 2 基于动态专家机制的腹腔镜影像自适应去雾网络构建

# 轻中度雾图像去雾算法效果

03

![](images/446d9f4453ece58237f9a48a08565b077b7589f18a4b2b148dfca2b9c0ccd543.jpg)

![](images/68b180f0e0cb9def0829c4c99a033304cdc1cee503d7360f2153ab4d15e0b33f.jpg)

![](images/2318f175d4eccf5bea920f634690cc4e46403b43e7a0548eb58c8434dfad90bd.jpg)

![](images/034391f348a08a7f7230f8fe2bae59d0a2781efcc332d1224c0d071b8fa09c95.jpg)

![](images/1b63267fd732597f531d6ece8c8b74cf1aa8a77e0241c6b1d2a62c6e5b2538d3.jpg)

![](images/07e982961b418d175126e0becdb37aba32f65137bf5bfc6798d604c564be4996.jpg)  
有雾图像

![](images/caadd8780acb94082a01dfa77289f15617b2e16b22256755c67f793e5e72b508.jpg)  
原始图像

![](images/74957dbb3a0dd180e68db1c1355f3ccf4d2867cb795e8cf796fe6b54056923ae.jpg)

![](images/3f1f81f6234489b8b2949f5dfa8338233b2a8a1b8f5dd1e7581f7af7d49af932.jpg)  
DCP

![](images/9329e0de17b2a4af54e73cb9bd897e236f96739008c7d5c607478e2018c03455.jpg)  
DehazeNet

AOD-Net

EPDN

FFA-Net

MSBDN

RIDCP

<table><tr><td>Methods</td><td>PSNR ↑</td><td>SSIM ↑</td><td>NIQE ↓</td><td>RI ↑</td><td>VI ↑</td></tr><tr><td>DCP (CVPR 2009)</td><td>16.83</td><td>0.709</td><td>3.807</td><td>0.908</td><td>0.733</td></tr><tr><td>DehazeNet (TIP 2016)</td><td>20.76</td><td>0.785</td><td>3.479</td><td>0.924</td><td>0.767</td></tr><tr><td>AOD-Net (ICCV 2017)</td><td>19.34</td><td>0.762</td><td>3.574</td><td>0.918</td><td>0.745</td></tr><tr><td>EPDN (CVPR 2019)</td><td>21.81</td><td>0.829</td><td>3.186</td><td>0.933</td><td>0.798</td></tr><tr><td>FFA-Net (AAAI 2020)</td><td>26.18</td><td>0.919</td><td>2.705</td><td>0.953</td><td>0.859</td></tr><tr><td>MSBDN (CVPR 2020)</td><td>25.43</td><td>0.909</td><td>2.829</td><td>0.949</td><td>0.848</td></tr><tr><td>RIDCP (CVPR 2023)</td><td>26.70</td><td>0.925</td><td>2.614</td><td>0.945</td><td>0.86</td></tr><tr><td>MixDehazeNet (CVPR 2024)</td><td>27.36</td><td>0.885</td><td>2.571</td><td>0.954</td><td>0.868</td></tr><tr><td>Yun-Trans (Proposed)</td><td>27.52</td><td>0.935</td><td>2.485</td><td>0.935</td><td>0.878</td></tr></table>

# 研 究 结 果 2 基于动态专家机制的腹腔镜影像自适应去雾网络构建

# 中度雾图像去雾算法效果

03

中

![](images/c3197ab9d3b20ad741cb004ab89522a80f3f0280d7ad21ea44faacdba3bfd8e5.jpg)

![](images/5bc5d06e672ec8350dc5c7b316395722b078e2e4b4b2173fc1b10ce25360b1d4.jpg)

![](images/bda38fe981ee1d70ce7b59669eba8490174bb1040d39f771663dcd64ddc24265.jpg)

![](images/5930926f48268d8b32f48e14443c778f7390f21d5a788610e6fdf7688102d7d5.jpg)

![](images/5515192ac1aa08b3d42472bd3d17ac1c5a5a5f0f34dfeea3036a9e8cc4e62f4b.jpg)

![](images/260bc9dacc6b0468f2052c34f8068cf86cebfae1761baf6ec7ae2504777794eb.jpg)  
有雾图像

![](images/9066a05c112d3d905d4dbea02091bc82a513fdbd3f5ed5a18c0e0914aac10e03.jpg)  
原始图像

![](images/383ed5d8d8f9c04330a3758df29fe9d7d57823c0f64c743e4e737c7a136c7d67.jpg)

![](images/0c8184b49a9ae3758f26519e870e4c5f28f128cc7dfd55835f2366e4ab7347f8.jpg)  
DCP

![](images/9074df831f8c19164c7852672b42272f7321511915fc7f16a1fe7a796f6a4db0.jpg)  
DehazeNet

AOD-Net

EPDN

FFA-Net

MSBDN

RIDCP

<table><tr><td>Methods</td><td>PSNR ↑</td><td>SSIM ↑</td><td>NIQE ↓</td><td>RI ↑</td><td>VI ↑</td></tr><tr><td>DCP (CVPR 2009)</td><td>15.2</td><td>0.655</td><td>4.102</td><td>0.895</td><td>0.712</td></tr><tr><td>DehazeNet (TIP 2016)</td><td>19.34</td><td>0.745</td><td>3.853</td><td>0.912</td><td>0.745</td></tr><tr><td>AOD-Net (ICCV 2017)</td><td>18.12</td><td>0.71</td><td>3.923</td><td>0.905</td><td>0.728</td></tr><tr><td>EPDN (CVPR 2019)</td><td>20.15</td><td>0.792</td><td>3.415</td><td>0.925</td><td>0.78</td></tr><tr><td>FFA-Net (AAAI 2020)</td><td>24.5</td><td>0.895</td><td>2.892</td><td>0.945</td><td>0.835</td></tr><tr><td>MSBDN (CVPR 2020)</td><td>23.88</td><td>0.882</td><td>3.012</td><td>0.94</td><td>0.823</td></tr><tr><td>RIDCP (CVPR 2023)</td><td>25.25</td><td>0.905</td><td>2.815</td><td>0.935</td><td>0.845</td></tr><tr><td>MixDehazeNet (CVPR 2024)</td><td>26.15</td><td>0.918</td><td>2.756</td><td>0.948</td><td>0.858</td></tr><tr><td>Yun-Trans (Proposed)</td><td>25.80</td><td>0.925</td><td>3.032</td><td>0.938</td><td>0.868</td></tr></table>

# 研 究 结 果 2 基于动态专家机制的腹腔镜影像自适应去雾网络构建

# 中重度雾图像去雾算法效果

03

![](images/d8de55902c81857763465d79e64cc4f1a22d03d80400d319f19cca3da8c73f8f.jpg)

![](images/4219de435bf2ea7bbb40bdfa2ed8816146734604da176e1b73de7f09a76509a4.jpg)

![](images/9022ad63bcd432d8336cf7504a4566846a25ee5bcb269fb341316935d7b0703a.jpg)

![](images/5113470fb31711f5cb1ae8d602bd67b21600b12929494a684a35cda444d2751d.jpg)

![](images/30033abd374dc5020db8dd5a6902e9fa5676876eb2e7b08d64b96e5c8a84897a.jpg)

![](images/35a537d9f0e855f700ec87a598bfd5eabc79970c203cfc108dae61ff8e2d4356.jpg)  
有雾图像

![](images/cc5adb585a4bf896d3ce09af2b5f0d6060649014c1328527109a1617d08d849c.jpg)  
原始图像

![](images/7c57c5c08646b2bca6f0b9ac369b4d170c40d6fc9770a8a31b4297c55ecc225c.jpg)

![](images/9c9c8a49d9107d4e711c7de15245cb54a34d822cedaab4100e89f81741d7fc45.jpg)  
DCP

![](images/010bd823421ba017d84aec12199337e2d01966748fb7e6a9f88eeca947cafb36.jpg)  
DehazeNet

AOD-Net

EPDN

FFA-Net

MSBDN

RIDCP

<table><tr><td>Methods</td><td>PSNR ↑</td><td>SSIM ↑</td><td>NIQE ↓</td><td>RI ↑</td><td>VI ↑</td></tr><tr><td>DCP (CVPR 2009)</td><td>13.67</td><td>0.584</td><td>4.654</td><td>0.874</td><td>0.668</td></tr><tr><td>DehazeNet (TIP 2016)</td><td>17.85</td><td>0.686</td><td>4.303</td><td>0.898</td><td>0.715</td></tr><tr><td>AOD-Net (ICCV 2017)</td><td>16.78</td><td>0.653</td><td>4.418</td><td>0.889</td><td>0.693</td></tr><tr><td>EPDN (CVPR 2019)</td><td>19.30</td><td>0.739</td><td>3.773</td><td>0.914</td><td>0.748</td></tr><tr><td>FFA-Net (AAAI 2020)</td><td>22.31</td><td>0.842</td><td>3.228</td><td>0.934</td><td>0.835</td></tr><tr><td>MSBDN (CVPR 2020)</td><td>21.77</td><td>0.859</td><td>3.369</td><td>0.928</td><td>0.784</td></tr><tr><td>RIDCP (CVPR 2023)</td><td>23.22</td><td>0.874</td><td>3.013</td><td>0.932</td><td>0.815</td></tr><tr><td>MixDehazeNet (CVPR 2024)</td><td>24.00</td><td>0.879</td><td>3.003</td><td>0.942</td><td>0.828</td></tr><tr><td>Yun-Trans (Proposed)</td><td>24.18</td><td>0.862</td><td>3.012</td><td>0.945</td><td>0.845</td></tr></table>

# 重度雾图像去雾算法效果

03

重

![](images/7ee4224dad6ca1773566d52ece4c77e63c7959dfb2895ab590031408282cccb3.jpg)

![](images/d3f5125275dcca43e6d72e41fee659330769fa6f7e67c5f84627db2dfd9f668c.jpg)

![](images/96d4c7c6f08f13993cd6e1abdf113320835a8b69733fca13dfdc9c433a28f773.jpg)

![](images/5153b7c6ba7fac7eca8afa4ae626a3df7b1375410c71afcbe7763e588ba8472a.jpg)

![](images/718e9546c901864cf2364ce97322d07b1f00afe09b917ff3cac1618c9cb4215c.jpg)

![](images/d9c0990f60b09ae53e30a87ed63be3b0d69ada9b3cfe4de4070fd6ca60a1c876.jpg)  
有雾图像

![](images/f385407936c2ddc5a9dbaab821b935dabeb27a8d1b3a89c6de8787d0b8a7384f.jpg)  
原始图像

![](images/2a0ce091b94b2a1c13ca89b1cac255a688447948bf4a3eb5134b898cc135c053.jpg)

![](images/2cab2aec7afe7f8690e02665fda3730c963dc338cf427fe0c657576c39d3e9eb.jpg)  
DCP

![](images/d1452e37bd766da43baa645ad469f2921ccd23504b4380318ca0e6e124d309e2.jpg)  
DehazeNet

AOD-Net

EPDN

FFA-Net

MSBDN

RIDCP

<table><tr><td>Methods</td><td>PSNR ↑</td><td>SSIM ↑</td><td>NIQE ↓</td><td>RI ↑</td><td>VI ↑</td></tr><tr><td>DCP (CVPR 2009)</td><td>12.13</td><td>0.512</td><td>5.205</td><td>0.853</td><td>0.623</td></tr><tr><td>DehazeNet (TIP 2016)</td><td>16.25</td><td>0.626</td><td>4.753</td><td>0.883</td><td>0.685</td></tr><tr><td>AOD-Net (ICCV 2017)</td><td>15.43</td><td>0.595</td><td>4.913</td><td>0.872</td><td>0.651</td></tr><tr><td>EPDN (CVPR 2019)</td><td>17.85</td><td>0.685</td><td>4.125</td><td>0.895</td><td>0.715</td></tr><tr><td>FFA-Net (AAAI 2020)</td><td>20.12</td><td>0.785</td><td>3.564</td><td>0.915</td><td>0.764</td></tr><tr><td>MSBDN (CVPR 2020)</td><td>19.65</td><td>0.835</td><td>3.725</td><td>0.916</td><td>0.745</td></tr><tr><td>RIDCP (CVPR 2023)</td><td>21.15</td><td>0.842</td><td>3.210</td><td>0.928</td><td>0.785</td></tr><tr><td>MixDehazeNet (CVPR 2024)</td><td>21.85</td><td>0.840</td><td>3.250</td><td>0.935</td><td>0.798</td></tr><tr><td>Yun-Trans (Proposed)</td><td>22.45</td><td>0.768</td><td>3.157</td><td>0.948</td><td>0.815</td></tr></table>

# 研 究 结 果 2 基于动态专家机制的腹腔镜影像自适应去雾网络构建

03

# 去雾算法对影像分割效果的提升与分析

![](images/0473adcdf8797552bf2c0d77175c9667e02b9b24df3c675124b3c313e0f19219.jpg)

![](images/504a691cc7a7403d88e94df2bc8300a814bb3f7dc26b035b058fb162ae05ff8f.jpg)

<table><tr><td>Scen e</td><td>Ind ex</td><td>Ori I m a ge</td><td>DC P</td><td>Deha zeNet</td><td>A O D-Ne t</td><td>EP DN</td><td>FF A-Net</td><td>MS BD N</td><td>RID CP</td><td>Mix- Deha z eNet</td><td>Our- Deha z e</td></tr><tr><td rowspan="2">轻度</td><td>mIo U</td><td>78.5 8</td><td>72.1 5</td><td>81.23</td><td>80. 55</td><td>82.4</td><td>83.1 4</td><td>82.9 5</td><td>85.8 3</td><td>86.12</td><td>86.35</td></tr><tr><td>mDi ce</td><td>88.8 7</td><td>84.2 4</td><td>89.58</td><td>89. 14</td><td>90.2 5</td><td>90.8 5</td><td>90.6 5</td><td>92.5 6</td><td>92.85</td><td>92.95</td></tr><tr><td rowspan="2">轻中度</td><td>mIo U</td><td>68.2 4</td><td>75.4 3</td><td>76.89</td><td>75. 25</td><td>78.5 4</td><td>81.2 7</td><td>80.9 8</td><td>82.5 8</td><td>83.85</td><td>83.10</td></tr><tr><td>mDi ce</td><td>79.5 3</td><td>85.6 6</td><td>86.44</td><td>85. 16</td><td>87.8 4</td><td>89.5 9</td><td>89.2 2</td><td>90.4 3</td><td>91.25</td><td>90.80</td></tr><tr><td rowspan="2">中度</td><td>mIo U</td><td>52.4 5</td><td>66.8 7</td><td>68.52</td><td>67. 23</td><td>70.4 5</td><td>75.6 2</td><td>74.8 3</td><td>78.2 5</td><td>79.55</td><td>80.43</td></tr><tr><td>mDi ce</td><td>66.8 3</td><td>79.5 3</td><td>80.66</td><td>79. 83</td><td>82.1 4</td><td>85.4 3</td><td>84.9 3</td><td>87.6 1</td><td>88.52</td><td>89.16</td></tr><tr><td rowspan="2">中重度</td><td>mIo U</td><td>44.0 6</td><td>60.5 6</td><td>62.71</td><td>61. 34</td><td>65.0 1</td><td>70.7 3</td><td>69.6 9</td><td>74.3 4</td><td>76.65</td><td>76.50</td></tr><tr><td>mDi ce</td><td>59.0 6</td><td>74.7 1</td><td>76.13</td><td>75. 03</td><td>77.9 1</td><td>81.8 5</td><td>81.2 2</td><td>85.0 5</td><td>86.23</td><td>87.20</td></tr><tr><td rowspan="2">重度</td><td>mIo U</td><td>35.6 6</td><td>54.2 5</td><td>56.89</td><td>55. 45</td><td>59.5 7</td><td>65.8 3</td><td>64.5 4</td><td>70.5 8</td><td>72.84</td><td>74.15</td></tr><tr><td>mDi ce</td><td>51.2 8</td><td>69.8 9</td><td>71.53</td><td>70. 23</td><td>73.6 8</td><td>78.2 6</td><td>77.5 0</td><td>82.4 9</td><td>83.94</td><td>84.88</td></tr></table>

# 临床验证与应用价值

<table><tr><td>临床效能评估指标
(clinical metrics)</td><td>常规对照组
(物理排烟/擦拭)</td><td>实验组
(Yun-Trans智能去雾)</td><td>临床获益分析</td><td>P值
(显著性)</td></tr><tr><td>视觉受阻/烟雾</td><td>8 ~ 17 min</td><td>&lt; 0.05 min</td><td>消除“盲操”风险，提升</td><td rowspan="2">&lt; 0.001</td></tr><tr><td>干扰总时长</td><td>(中位数13min)</td><td>(近乎即时清除)</td><td>术中安全性</td></tr><tr><td>镜头拔出擦拭/</td><td>3 ~ 11次</td><td>0次</td><td>维持气腹稳定，降低感染</td><td rowspan="2">-</td></tr><tr><td>除雾频率</td><td>(中位数6次)</td><td>(完全替代物理擦拭)</td><td>与气肿风险</td></tr><tr><td>非手术操作耗时</td><td>69 ~ 230s</td><td rowspan="2">约1.2s</td><td>缩短麻醉时长，提升手术</td><td rowspan="2">&lt; 0.05</td></tr><tr><td>(无效时间)</td><td>(中位数141s)</td><td>室周转率</td></tr><tr><td rowspan="2">手眼协调延迟感</td><td rowspan="2">无(物理光学)</td><td>&lt; 10ms</td><td>低于人眼30ms感知阈值，</td><td rowspan="2">-</td></tr><tr><td>(实时反馈)</td><td>无操作滞后感</td></tr></table>

# 数字系统对手术效率及操作流程的临床对照数据

# 第三章节

针对复杂的手术场景下术中出现雾气这一临床问题

提出Yun-Transformer算法高效清除视线范围内烟雾与噪声，并保留图像像素特征与色彩饱和度，显著提升了图像识别精度

1) 效率层面，它通过消除术中物理擦拭、缩短无效等待时间，显著提升了手术流畅度与时间效益；  
2) 在未来拓展层面，它大幅提升了计算机视觉的识别精度，为构建自动智能手术系统提供了可靠的视觉保障与理论依据。

算法设计：解决多标签语义分割计算量较大，提高连续性场景识别的实时性的问题

04

# 临床问题及对应数据集构建：

扰干境环与挡遮1）子集 A：大尺度视点变换与缩放  
光高2）子集 B：剧烈非刚性形变  
放缩与换变3）子集 C：弱纹理与动态高光  
4）子集 D：复杂遮挡与环境干扰

![](images/dd15c117a8e394feba3b526086dc25147caf7908c91f90947e1d9be2a08675be.jpg)  
BiMRF-ADS（基于 双目 马尔可夫随机场 与 自适应形变场固化）算法整体流程图

# 研究结果3 腔镜视频中的特征匹配与表面形变跟踪

# 肝脏手术弱纹理与动态高光的全局追踪能力结果展示与性能对比

04

![](images/61e162775044722cfd1b2abc88a773faa7887f16bb20825f227e535b20a6a1e1.jpg)

![](images/4cd12a5320895dd714d7e09307a57ff937302ad2f23f94fe31bd7f7130a984a5.jpg)

![](images/aec8ed1e73060d5afcf0562df26baae3a12f27da3a3617187d202877b2e6b670.jpg)

![](images/1b5aa7f88692cac1abe58523c93ef70ae2d69daf131e4eb55e4df7c171e413e8.jpg)  
Initial Img

Ground Truth

SIFT + LK Optical Flow

SuperPoint + SuperGlue

![](images/2d6ce8e9e4de6cf8d4fa6f1d15d723525864cb52512b459e9c4ef9198b2772c6.jpg)

![](images/a9df3634965360b323c5d33771f6c8bf689ae35128a03d131d62b74e77145c34.jpg)

![](images/ac9583611064a68d53835c2918362b12ba8cd644685a4a9ef040eeb1fd3aadf9.jpg)

![](images/ac8678eb21467f7406d465c776dbe94395b61d0024bfcfac14e431d4155dc592.jpg)  
Movement Img

Standard PADM

RAFT

BiMRF-ADS

<table><tr><td>算法模型</td><td>ALT
(平均定位误差)</td><td>FB Error
(正反向一致
性误差)</td><td>漂移率
(drift Rate &gt; 5px)</td></tr><tr><td>SIFT +LK Optical Flow</td><td>25.12±13.5</td><td>31.28</td><td>72.4%</td></tr><tr><td>Standard PADM</td><td>12.30±4.83</td><td>13.56</td><td>38.6%</td></tr><tr><td>RAFT (deep learning)</td><td>9.10±4.56</td><td>10.21</td><td>24.5%</td></tr><tr><td>SuperPoint+SuperGlue</td><td>7.50±3.46</td><td>8.12</td><td>16.8%</td></tr><tr><td>BiMRF-ADS (ours)</td><td>2.15±0.97</td><td>1.95</td><td>2.8%</td></tr></table>

① ALT： 平均定位误差，衡量跟踪点与真实位置之间的像素距离，数值越小定位越准；  
② FB Error： 正反向一致性误差，通过正向和反向跟踪同一目标并对比差异来衡量算法的稳定性，越小越稳定；  
③ 漂移率 (Drift Rate > 5px)： 失败跟踪占比，指目标偏离真实位置超过 5 像素的帧数比例，数值越低说明长效跟踪能力越强；

# 初步探查阶段视点变换与缩放结果展示与性能对比

04

![](images/6f6a79e9bc9dba1df792d9f3fb93740f10f6ebc3aeaefa4f1dbd3c4a05149d6c.jpg)

![](images/312308a11a57cc8d5f0c9f381a8f2196416127122d461c7bf36ed5fdca4a8315.jpg)

![](images/7e92f3e66282b88188d4903fbc6280d263663ccad73e3b38edb82ee57c9c95ad.jpg)

![](images/ef942ffee8dd318661372092a2832165e2690ec302eb97ef84a75fcd848ca776.jpg)

![](images/c97ab36f2cb459790e204bf939eb528983820381eff965631a0f776b92f8386d.jpg)

![](images/1981adaab678ce7017d324f952b7ef7816177084b4ce9e0a25e4dcc6b91df176.jpg)

![](images/c998b051d76939eb6706509507e700150b2f407e157a14e41455a395db784648.jpg)

![](images/a198f5b89a7e27e93f449aed99e7e03a7da2362ff01c9a305530dc58c8d48d28.jpg)  
Movement Img   
Standard PADM

Initial Img

Ground Truth

SIFT + LK Optical Flow

SuperPoint + SuperGlue

![](images/56f9cfc07250f9de10c526b232ee05a961b32d2c1cb16eda6b2a56513a867587.jpg)  
RAFT   
BiMRF-ADS

<table><tr><td>算法模型</td><td>平均定位误差</td><td>遮挡检测准确率</td><td>漂移率(drift rate &gt; 5px)</td><td>计算耗时(ms/frame)</td><td>几何一致性评分(1-10)</td></tr><tr><td>SIFT + LK Optical Flow</td><td>14.82±6.35</td><td>18.45</td><td>68.4%</td><td>42.3</td><td>3.5</td></tr><tr><td>Standard PADM</td><td>9.24±4.12</td><td>11.30</td><td>45.2%</td><td>18.5</td><td>5.2</td></tr><tr><td>RAFT (deep learning)</td><td>5.67±2.89</td><td>6.12</td><td>22.1%</td><td>115.7</td><td>7.8</td></tr><tr><td>SuperPoint + SuperGlue</td><td>3.92±1.75</td><td>4.05</td><td>12.8%</td><td>180.4</td><td>8.5</td></tr><tr><td>BiMRF-ADS (ours)</td><td>2.15±0.85</td><td>1.88</td><td>3.4%</td><td>75.5</td><td>9.6</td></tr></table>

# 胆囊三角解剖区域非刚性形变的追踪结果展示与性能对比

04

![](images/1ada51dc6ccb106d44866b89e9c7ad9267240b198e7a547766b81a14fb22ffae.jpg)

![](images/a9b4332889108aa07e7abffd4acf375034290c11145801227a7c7a408d4cd7bf.jpg)

![](images/d5fd630d534f24f8d0e46644d3b25487888410fa2a01235fc05dbce2ddb8cabd.jpg)

![](images/7fd408a2d50870c50f9430a5cadef938d3bedfb3fcdae5d8b8d3316667d962f8.jpg)  
Initial Img

Ground Truth

SIFT + LK Optical Flow

SuperPoint + SuperGlue

![](images/15798573d741f1c59e798a61714ecf6711081af7f9e16d337cf88ba7dc7ca5bd.jpg)

![](images/6d7a47e6db578bbf4ce84a1fae7a139bc1fc66b203d4838cb669d5cd18e26d59.jpg)

![](images/ab96ee8d4ccad5833a306277ebad197a067f828ce32a97a6a6a5319a3529f8e9.jpg)

![](images/18bb48d54beca1c14baf26294746f6edab5de8cc12cb68e3c87dbd222939a29d.jpg)  
Movement Img

Standard PADM

RAFT

BiMRF-ADS

![](images/5bb8e84a7b80a125225248babc9193eed996fc7315f9421afbf9a4802f33e7ea.jpg)

<table><tr><td>算法模型</td><td>平均定位误差</td><td>遮挡检测准确 率</td><td>漂移率 (drift rate &gt; 5px)</td></tr><tr><td>SIFT +LK Optical Flow</td><td>22.40±12.1</td><td>28.58</td><td>66.7%</td></tr><tr><td>Standard PADM</td><td>14.10±5.64</td><td>15.81</td><td>47.3%</td></tr><tr><td>RAFT(deep Learning)</td><td>8.45±4.22</td><td>9.34</td><td>21.9%</td></tr><tr><td>SuperPoint + SuperGlue</td><td>6.80±3.17</td><td>7.23</td><td>13.5%</td></tr><tr><td>BiMRF-ADS (ours)</td><td>2.80±1.13</td><td>2.45</td><td>4.1%</td></tr></table>

# 研究结果3 腔镜视频中的特征匹配与表面形变跟踪

# 高密度解剖结构遮挡特殊场景追踪结果展示与性能对比

04

![](images/f6c750b9c66a04fa0fcfb870521e7cf79b64cdc8d423885a8e342824e005cd89.jpg)

![](images/37ac31a12f5dbc599db96d906f8dbb6f0ba346ad9f581b4f9386574d03995261.jpg)

![](images/fc8b29d36c734eb033f40179cd44028631917c4f49496b32a508b3558be0fa4e.jpg)

![](images/6f07dfe7c55cb7a23723bfaf0b2c64f134db4ea6aa47eab50b05b92913eceb78.jpg)

![](images/9a000f77a105b28208606bfd2c44e82007e9791df735008d1c97963d86d30d8f.jpg)

![](images/008ff3ad912efe0c982be42f40475f6e6e0f794dcb7c568879759d6b9c15c9f0.jpg)

![](images/51106ae0eec203712e08f8277f37859addbab1228987be0d5f2ce7ecfb2acec7.jpg)

![](images/eb98c890008d543f67bef8990d94e51b8f9261f1220b761ab7870f904b9a9783.jpg)  
Initial Img

Ground Truth

SIFT +LK Optical Flow

SuperPoint + SuperGlue

Movement Img

Standard PADM

RAFT

BiMRF-ADS

![](images/c4ffed87b4637bc44ccdf4c43f4fc0d6ab088d5225386bf8365e989283952d29.jpg)

<table><tr><td>算法模型</td><td>平均定位误差</td><td>遮挡检测准确率</td><td>遮挡检测F1值</td><td>遮挡恢复率(recovery Rate)</td></tr><tr><td>SIFT + LK Optical Flow</td><td>28.60±15.4</td><td>N/A</td><td>N/A</td><td>15.2%</td></tr><tr><td>Standard PADM</td><td>18.25±8.90</td><td>N/A</td><td>N/A</td><td>35.5%</td></tr><tr><td>RAFT</td><td>10.50±5.20</td><td>N/A</td><td>N/A</td><td>62.0%</td></tr><tr><td>SuperPoint + SuperGlue</td><td>8.20±4.10</td><td>N/A</td><td>N/A</td><td>58.4%</td></tr><tr><td>BiMRF-ADS (ours)</td><td>3.10±1.25</td><td>96.4%</td><td>0.94</td><td>84.2%</td></tr></table>

# 第四章节

针对手术导航技术从单纯的图像叠加向深度的场景理解与物理交互临床问题

提出BiMRF-ADS 通过自适应机制灵活应对大幅缩放、剧烈形变及弱纹理强反光等极端

通过在组织形变或遮挡下持续锁定关键解剖结构，算法能实时计算几何拓扑关系并识别出局部脏器及器械，有效解决多标签语义识别计算量较大，提高连续性场景识别的实时性的问题，可有效降低医生的认知负荷，使其精力从空间定位回归至精细操作本身。

# 基于状态空间模型与多模态大模型认知的临床图文病历研 究 结 果 4 报告生成及管理系统

# 通过集成前序算法进行系统部署

![](images/3fcfb7a7c34c195a55a3c7569440a385d17b8de08eba29905f4ba65bb2f142cd.jpg)

![](images/f068bf5e97d4e950640f870c487b3a04ff51069e798fa1d7a02490e2438f82bf.jpg)

![](images/c5e023c4203f943ac90a0f7587408af6cb6f4f533c65b842d7e62b95fa575807.jpg)

# 手术室实际落地＋手术图文记录生成

# 基于状态空间模型与多模态大模型认知的临床图文病历研 究 结 果 4 报告生成及管理系统

# 硬件设备

05

![](images/b0e791202f1f0b549f231311e90840901f9c1e599ae416598d0e9421ad85438e.jpg)  
实验室下手术图文病历系统构建

![](images/4ec32ff4524b13ac8c1656d4461297d3bef47ecb3ec7f2359755a74a20298eba.jpg)

![](images/15ab12f82df23285093f165f64be97ab57be9744c380db2cb98aa005fe941261.jpg)  
内窥镜影像监测系统使用界面

# 基于状态空间模型与多模态大模型认知的临床图文病历研 究 结 果 4 报告生成及管理系统

# 软件系统--图文病历报告生成及管理系统关键帧自动筛选及人机交互

05

![](images/9c4bd617e1ca45c3610c5fbcc751fd66e4650392174a56b5a93bdb4d916db95c.jpg)  
（a）系统登入

![](images/87b5018fa5a56db3a381e22aea9e6dbedf1ade84869ef8180841c43ed64758d3.jpg)  
（b）患者管理

![](images/fb2fce94bc73255a9192a7c9ee71a3cd7429ba1a2c08a9e9ce5820b47f5de07f.jpg)  
1)手术实时记录

![](images/be85d3e89f74ca184c57a8d6cd70e4eb16ce564d31f15226274e489f932860d0.jpg)  
3) 关键帧有效摘取

![](images/97c4beebf7ca200509c9dfeedff2b152933911243e34053a3bc9bc2d2cb53d12.jpg)

![](images/8c61da6f399bac5af6e146912732021293d2ef137c06a1e94a3746be8df600da.jpg)  
2) 阶段自主识别

![](images/dead42dc70184822b1e7a18b46ae5178df10c81461e114fecd8929b3121ab434.jpg)

![](images/243d98e79456a056dc080d638e183741b34625ca81dc182f6a6e923c4f4e22f1.jpg)

![](images/9ff8ddfb90a2542f7c7c600cdd74161528c108bbe123c42a2b26e7e95d1ea2e2.jpg)  
4) 图文手术报告生成

# 基于状态空间模型与多模态大模型认知的临床图文病历研 究 结 果 4 报告生成及管理系统

# 网络架构

![](images/1a88dfdad24d852689b62a4d3039b686a5ef54ed0412b8960d373df5d804d048.jpg)

基于医疗大语言模型跨模态时空检索增强生成的图文报告生成

输入: 过往病历模板、临床指南、分割结果、阶段标签及关键帧

输出: 图文病历报告

# 基于状态空间模型与多模态大模型认知的临床图文病历研 究 结 果 4 报告生成及管理系统

# 关键步骤、术中特殊事件记录及手术质控费控

05

# 腔镜甲状腺癌根治手术图文报告

![](images/e325af84f9d02e61e5fd59dda364318a8f934818c2be3dcac8ec1ddea4d807a8.jpg)

西安交通大学第一附属医院

手术图文报告

姓名：郭荐蓉性别：女年龄：45岁科别：耳鼻咽喉头预外科床号：005住院号：0002124851

手术日期：2025年03月21日

术前诊断：1.左侧甲状腺乳头状癌2.桥本甲状腺炎

术后诊断：1.左侧甲状腺乳头状癌2.桥本甲状腺炎

手术名称：充气式经口腔前庭入路腔镜辅助下甲状腺左叶及峡部切除术+左侧颈VI区淋巴结清扫术

手术开始时间：16时10

手术者：姓小宝许崇文

麻醉方式：全

手术步骤、术中出现的情况及处理：

1.全麻后仰卧位，肩下垫枕，头后仰，常规消毒铺巾。

2.消毒口腔黏膜，自下唇内侧黏膜距牙缘1cm切开，两侧至第一前磨牙，暴露并保护频神经各分支，

长度约5cn，正中切开粘膜下1cm范围内的肌层直至下颌骨骨膜面，于额下三角区内注射7=L膨胀液（1mg

盐酸肾上腺素注射液加入250m1生理盐水中），F

截卡，连接气腹机，注入C02气体，压力维持在

处，在辨认频神经分支的前提下，于频神经外

面进行组织分离，下方达胸骨上切迹，两侧分

肌肉下分离暴露甲状腺，自甲状软骨表面向下

气管前壁，将左侧带状肌向外侧牵拉分离，显

靠近后被膜，质硬，与带状肌无粘连。分离甲

向上分离胸骨甲状肌至肌肉附着处，切断部分

闭切断甲状腺上动静脉，于甲状腺上极后方寻】

示下于甲状旁腺后方显露啦返神经并加以保护，

离切除甲状腺左叶及峡部（见图D）。

3.以上甲状旁腺为上界向下游离左侧喉返神经

切除左侧气管食管沟及胸骨上窝淋巴脂肪组织

内至气管前壁右侧，再次确认喉返神经无损伤。

4.缝合口腔前庭切口，头带加压包扎刀口，术

![](images/b323422a6bb2f2d7fdad7adb22d40bb6e205f2651e5bf309649e3dc1e4de2def.jpg)  
手术后情况：患者麻醉恢复后安返病房。  
切除标本描述：甲状腺左叶及峡部，左颈VI区淋巴结，喉前淋巴结。  
是否送病理检查：  
冰冻病理结果：无

![](images/7fe5a043fbe3bc9775c89215a3549dbae86f4a68f56fcd527f0780762907453d.jpg)

# 腹腔镜胆囊切除手术图文报告

![](images/a8348b18fc6504ec86aeda972535b172603612a7f158cccbd0735cea4c6c82c1.jpg)

西安交通大学第一附属医院

手术图文报告

姓名：杨宏性别：女年龄：52岁科别：日间手术中心床号：013住院号：0002156568

手术日期：2025年03月20日

术前诊断：1.胆囊结石伴慢性胆囊炎：2.脂肪肝

术后诊断：1.胆囊结石伴慢性胆囊炎：2.脂肪肝

手术名称：腹腔镜胆囊切除术+美容缝合术

手术者：耿智敏

麻醉师：毕阳

助手：陈晨李凯贺栋伟

麻醉方式：静吸复合麻醉

# 手术步骤、术中出现的情况及处理

为12mmHg，置入10mm

缘下2.0cm各点穿刺置穿

2腹腔镜探查：腹腔内未！

剖关系清楚，胆壹管及胆

术中诊断：胆囊结石伴慢性

3.切除胆囊：钳夹胆囊颈

系后，距胆总管0.3cm处

囊管，确认断端（见图B）

继续顺行游离肝面胆囊浆服

见图） 将胆囊装入标本！

4.检查腹腔内无活动性出

腹，拔除腹腔镜器械，排出

5.手术顺利，麻醉满意。

![](images/9dadef0902f6813b4e41f0801ac5503a35d69599bf7a5a54b9b4309e15b0915c.jpg)

西安交通大学第一附属医院

手术图文报告

![](images/d165a0b98e67f470223387a7c31298bfd5a1cc90448ed50fa426630a9fa515a2.jpg)

手术后情况：忠者麻醉恢复后安返病房

6.切除标本描述：胆囊：剖开胆囊可见结石。

是否送病理检查：

冰冻病理结果：无

# 腹腔镜半肝切除手术图文报告

![](images/399c28278fbfb930ac47ba27e7ce0e5bec94984c2e232fd559dde4be6e2c1343.jpg)

西安交通大学第一附属医院

手术图文报告

姓名：王伟性别：男年龄：46岁科别：肝胆外科3病房床号：006住院号：0002154461

手术日期：2025年3月19日

术前诊断：1.原发性肝癌CNLCIa期：2.2型糖尿病：3.病毒性肝炎乙型复诊：4.肝硬化。

术后诊断：1.原发性肝癌CNCIa期：2.2型糖尿病：3.病毒性肝炎乙型复诊：4.肝硬化。

手术名称：腹腔镜肝癌切除+纹饰美容缝合

手术开始时间：09时00

手术者：张请丰

麻醉师：严六狮

助手：向俊西、郭坤、史嘉苗

麻醉方式：全度插管

手术步骤、术中出现的情况及处理

1.麻醉满意后，常规消毒铺巾，经脐建立气腹，于脐右上2cm穿刺截卡，探查腹腔：腹腔内少

量淡黄色腹水，未见明显粘连，肝脏色暗红，呈结节状肝硬化表现（图A）。胆囊常大，张力正

常，胆总管不宽，脾脏稍大，盆腹腔及网膜未

于右肢前线第10助间、右腋前线肋缘下、剑突下

5mm载卡，置入腹腔镜器械。

2.术中超声扫查肝脏（图B），肝S8段可见

脉与肝中静脉夹角处，直径约2cm肝脏S5、8段

肝脏未见肿瘤结节。超声引导下电刀标记肿瘤范

2.2型糖尿病：3.病毒性肝炎乙型复诊；4肝硬

3.第一肝门预置全肝阻断带（图C），距离病

下结节（图D），较粗动静脉用血管夹夹闭后离

变性，汇管区炎细胞浸润

4.沿肝中静脉右侧开始离断肝组织，血管夹

离断肝组织，逐步显露S8肝蒂及肝右静脉。S8肝

肝右静脉表面离断残余肝组织（图G），血管夹头

病灶（图H）。术中全肝阻断5次，分别为5、15、1

5.再次建立气腹，彻底冲洗术野，肝断面彻

料，于右膈下留置引流管1根，清点纱布及器械

6.手术顺利，麻醉满意。标本经家属过目后送

![](images/07bda92e3caa7186a669a48983ff9ca7d77262f2f35d66d7568a89a4b9958a93.jpg)

西安交通大学第一附属医院

手术图文报告

姓名：王伟性别：男年龄：45岁科别：肝胆外科3病房床号：006住院号：002154461

![](images/30d53399109c770aa30270750fde9cdb7971f9fcce2eaf7bf6220e2d574aa4ae.jpg)

图B

![](images/33dbec44703af09d07c9ebea99d85eb4ce4dd986f4235b6600946fe4dd467df4.jpg)

![](images/846612d3c782d562d4b4a05c15c5f5f0b8132d86d8b89f57ba6c87799ec14620.jpg)

![](images/8669e2a9d425c543fca3a8c01b04fa9fbde31fa59377bec0d33aa17dc9001af5.jpg)

![](images/5966c0229c674758de6337d5db7e0f3e1640aa980ca153cfb56359f7f593293a.jpg)

眼

![](images/f329af8565b53aa1720047e169fafab50cea5f333062f736cf61b0b82892f48f.jpg)

![](images/bfe683b1138771e1a8df16e38675dff0d3b2b88e1ab6d0bb0bf42940566bce17.jpg)

![](images/0e8b328450c8c243d6e148ae2dfc82504f3fb17c26892a13c36de1ec7e13d747.jpg)

![](images/505d1239d9a9aaf456ae3b4b5ae123325491950590d2fd34c38d6178fc26608d.jpg)

![](images/680e21b527dc9b38e6f56665bfa5d58df164c8f4dc09a9eda4554e40584ab41c.jpg)

![](images/81f3427b1ccdaea1cf45abb678c0c204b1bf374c6a6d938cea3bd500eaa2890a.jpg)

![](images/c989f9653113adffa50134102c7b93e1e88ca2e55c20a589f926a1f0754acac1.jpg)

![](images/e6d14a2516b8b8856662634ba908c1ce0e2e507e8786d3bf9182f0ae4393f142.jpg)

![](images/a10e746bd7303368b58fc0f79efce5ec471b72dd0d2502fb4b58535f429daf6f.jpg)

![](images/63cfe48dd3bde4731f396979625b678d411c86bafc4d36e8c506bc4200a6116e.jpg)

![](images/fd93dec765d51b110b0d790dbeba12b0b4ced3f73a071cfde20f25698e5f467e.jpg)

![](images/53de501d1a5d55a7b94ef406cb5cb508d02c787c724218250b3e807cc5a8e9e8.jpg)

![](images/c7dbd3d1faba4b73ce5574e8f5cd03e1cd691f7fdfa941174f46a98a549b5864.jpg)

![](images/b96a059b6fabfdd2e706e71b70363b19b8d9b388fe745d99c7b1b16a7ad5cbb2.jpg)

![](images/ed3a1349dfa78cab3e19a890c6065df9f8eda98e2d7e6b64692100ba50e8eae8.jpg)

![](images/da6bafea9e7d69e8ff8cf1d0c316df9662dc91cd97646819a12008d09dc4cf4f.jpg)

![](images/ebaceae7ba4c01b1eddf5130ac8da226685416ad8545ad26a468a9c77db0ca9a.jpg)

![](images/959a7e9129c260674d097ed5c5c6969c22dfda93b3cde6d86ddd04756f42ed01.jpg)

![](images/e317a741c532e162fbdfd066a001ea75f8448e864c936c45946980720cd8d77d.jpg)

# 腹腔镜辅助根治性全胃切除手术图文报告

![](images/0a44d88d13e663d4a9c7efe5cf55c242e0c678cbecebc91217fa4c7cbee58b72.jpg)

西安交通大学第一附属医院

手术图文报告

姓名：周学堂性别：男年龄：64岁科别：普通外科1病房床号：032住院号：002145495

手术日期：2025年7月2日

术前诊断：1.胃癌（vcT3-4N1MD）新辅助治疗后：2.慢性萎缩性胃炎：3.慢性阻塞性肺病；

4.肝囊肿：5.食管憩室：6.前列腺增生。

术后诊断：1.胃癌（ycT3N1MO）新辅助治疗后：2.肠粘连：3.腹腔积液：4.慢性萎缩性胃炎

：5.慢性阻塞性肺病：6.肝囊肿：7.食管憩室：8.前列腺增生。

手术名称：术中胃镜下肿瘤定位、腹腔镜辅助根治性全胃切除（Roux-en-Y）、肠粘连松解+纹饰

美容缝合术

手术开始时间：08时55分

西安交通大学第一附属医院 西安交通大学第一附属医院

手术图文报告 手术图文报告

姓名：周学堂性别：男年龄：64岁科别：普通外科1病房床号：032住院号：0002145495 姓名：周学堂性别：男年龄：64岁科别：普通外科1病房床号：032住院号：0002145495

# 手术步骤、术中出现的情况及处理：

C02气腹，气腹压力为13mHg，进镜探查

大网膜与肝脏、胆囊及腹膜粘连（图A），

脾脏、胆囊未见异常，胃周可见肿大淋巴i

遂行术中胃镜下肿瘤病灶定位，经口置入

4.0x2.5cm，表面灰白色，质硬，侵及浆膜

辅助根治性全胃切除（Roux-enY）、肠粘

2.胃游离、淋巴结清扫：仔细分离腹

贴肝脏下缘切除肝胃韧带，向右达肝十二

打开 游 右 声

下极 弹脏 并切

夹闭 胃短 清 组

剥离 胰腺 组液

清扫第6组淋巴结，自胃网膜右动脉根部

![](images/409fde0bd8c3b233778827db6fc3b4c8dfce1ed2d721644554236420555bc726.jpg)

十

![](images/bcc2cd7e1bbe022e054639a1ee3659dc5ff5aa03f6e24b1563ab6b9a4587130a.jpg)

T

![](images/78585e9028b96712614ba834f8b45c187d023b057f79f5189deeeddfa27666f2.jpg)

# 基于状态空间模型与多模态大模型认知的临床图文病历研 究 结 果 4 报告生成及管理系统

# 临床验证与应用价值

门诊医生对两种手术记录模式的TAM量表评分比较  

<table><tr><td>维度</td><td>典型条目示例</td><td>图文记录组
(x̄±s)</td><td>传统记录组
(x̄±s)</td><td>t值</td><td>P值</td></tr><tr><td>感知有用性(PU)</td><td>(总分均值)</td><td>4.62 ± 0.38</td><td>2.45 ± 0.52</td><td>18.65</td><td>&lt;0.001</td></tr><tr><td></td><td>Q1:能准确判断术中解剖变异情 况</td><td>4.80 ± 0.41</td><td>2.10 ± 0.66</td><td></td><td></td></tr><tr><td></td><td>Q2:有助于向患者直观解释病情</td><td>4.73 ± 0.45</td><td>2.33 ± 0.55</td><td></td><td></td></tr><tr><td></td><td>Q3:提高了门诊接诊的决策信心</td><td>4.55 ± 0.50</td><td>2.50 ± 0.63</td><td></td><td></td></tr><tr><td></td><td>Q4:获取关键信息更节省时间</td><td>4.87 ± 0.35</td><td>2.80 ± 0.76</td><td></td><td></td></tr><tr><td></td><td>Q5:报告结构清晰，重点一目了 然</td><td>4.83 ± 0.38</td><td>3.20 ± 0.71</td><td></td><td></td></tr><tr><td></td><td>Q6:阅读过程不需要太多脑力</td><td>4.60 ± 0.50</td><td>3.00 ± 0.83</td><td></td><td></td></tr><tr><td>总体满意度</td><td>(单项评分)</td><td>4.80 ± 0.41</td><td>2.60 ± 0.67</td><td>15.22</td><td>&lt;0.001</td></tr></table>

![](images/35c54fa74f36cb386f02c068b893b4032e9fae55ce789358f789088c0e481be8.jpg)

# 基于状态空间模型与多模态大模型认知的临床图文病历研 究 结 果 4 报告生成及管理系统

# 临床验证与应用价值

两组学员LC手术知识考核成绩比较 (N=30)   

<table><tr><td>考核项目</td><td>图文教学组
(n=15, x̄ ± s)</td><td>传统教学组
(n=15, x̄ ± s)</td><td>t值</td><td>P值</td></tr><tr><td>解剖识别 (20分)</td><td>18.2 ± 1.5</td><td>14.1 ± 2.8</td><td>6.982</td><td>&lt;0.001</td></tr><tr><td>CVS判读 (40分)</td><td>36.8 ± 2.4</td><td>24.5 ± 4.6</td><td>12.85</td><td>&lt;0.001</td></tr><tr><td>临床决策 (40分)</td><td>33.5 ± 3.8</td><td>26.6 ± 5.2</td><td>5.842</td><td>&lt;0.001</td></tr><tr><td>总分 (100分)</td><td>88.5 ± 5.6</td><td>65.2 ± 9.8</td><td>11.23</td><td>&lt;0.001</td></tr></table>

![](images/40039b8b75aa3f8ab1c90c49cd30b53ba51be865d478597fd09723b9cffcbcc9.jpg)

# 第五章节

# 针对蕴含着丰富的解剖学特征、病理信息及操作技法手术视频数据

# 构建一套基于SSM与多模态大模型认知的临床图文病历报告生成及管理系统

1）构建多中心、大样本的真实世界研究：目前的验证主要局限于单中心、单一术者团队。未来计划联合区域内的多级医院，验证算法在不同设备、不同术者水平下的稳定性。  
2）向复杂术式的泛化：系统的核心架构（SSM+LMM）具有强大的泛化能力。未来将继续应用场景拓展各类高难度术式。  
3）构建基于视频数据的质控评价体系：利用系统积累的海量结构化图文数据，我们通过大数据分析医生操作习惯、器械移动轨迹、无效动作等特征，从而建立一套客观、量化、自动化的外科医师技能质控评价与准入体系。  
4）医保费控与医疗纠纷的“数字公证人”与伦理法律保障：这套全流程记录、关键节点清晰、图文对应的系统，有望成为医保支付与医疗纠纷鉴定中的核心证据链。

![](images/99e6992fe5c5aecb35c930ea4a536551e70f1043ef4e28ebe972425338af394f.jpg)

# 0Z 结论与展望

# 结论

#

基于SSMs的时空协同感知网络可有效进行长时间手术识别与CR8特异性降解CCNK来调节高效的多手术场景泛化应用；

打造的数字去雾算法有效进行自适应去雾图像，提高了计算机视觉的整体识别精度；

自适应形变固化框架实现了脏器表面的精准贴合，降低识别计算量较大，提高连续性场景识别的实时性；

针对传统手术记录信息缺失、同质化严重及数据价值挖掘不足的问题构建了手术结构化图文报告生成系统

# 展望

1. 当前数据汇聚仍采用中心化模式，面临隐私与合规挑战，且单一数据分布限制了泛化能力。未来的研究将致力于构建基于联邦学习的分布式训练框架，实现“数据不动模型动”，解决数据共享难题。  
2. 现有系统主要依赖外置高性能工作站，存在体积大、成本高及物理束缚等问题。  
3. 现有系统侧重于对当前状态的“感知”与“记录”，缺乏对未来状态的“预测”能力。未来将结合生成式 AI 与手术视频数据，训练具备物理仿真能力的“手术世界模型”。  
4. 目前的导航系统仍处于被动辅助阶段，控制流与信息流存在断层。下一步将结合机器人运动学与视觉感知算法，探索手术机器人的半自主与自主控制功能。  
5. 针对外科技能评价依赖主观评分、缺乏客观量化指标的问题 ，未来将利用结构化数据开Prospec创“手术视频组学”新方向。推动数据驱动的外科精准化诊疗。

# 攻读学位期间成果

[1]Peng, Z. Y., Wang, Z. B., Yan, Y., Peng, H. Q., Ma, Y. T., Li, Y. T., Ren, Y. X., Xiang, J. X., Guo, K., Wang, G., Duan, J. F., Li, X. W., Guan, Y., Liu, X. M., Wu, R. Q., Lyu, Y., & Yu, L. (2025). Development of an AI-driven digital assistance system for real-time safety evaluation and quality control in laparoscopic liver surgery. Frontiers in oncology, 15, 1678525.   
[2]Peng, Z. Y., Wang, Q. S., Li, K., Chen, S. S., Li, X., Xiao, G. D., Tang, S. C., Ren, H., Wang, Z., & Sun, X. (2022). Stem signatures associating SOX2 antibody helps to define diagnosis and prognosis prediction with esophageal cancer. Annals of medicine, 54(1), 921–932.   
[3]Li, K., Peng, Z. Y., Wang, R., Li, X., Du, N., Liu, D. P., Zhang, J., Zhang, Y. F., Ma, L., Sun, Y., Tang, S. C., Ren, H., Yang, Y. P., & Sun, X. (2023). Enhancement of TKI sensitivity in lung adenocarcinoma through m6A-dependent translational repression of Wnt signaling by circ-FBXW7. Molecular cancer, 22(1), 103.   
[4]Li, K., Peng, Z. Y., Gao, S., Wang, Q. S., Wang, R., Li, X., Xiao, G. D., Zhang, J., Ren, H., Tang, S. C., & Sun, X. (2021). M6A associated TSUC7 inhibition contributed to Erlotinib resistance in lung adenocarcinoma through a notch signaling activation dependent way. Journal of experimental & clinical cancer research : CR, 40(1), 325.   
[5]彭子洋, 王志博, 巴赫, 颜彦, 彭浩茜, 李宇, 刘学民, 向俊西, 吴荣谦, 吕毅. 增强现实、虚拟现实与混合现实在腔镜肝脏外科中的应用[J/OL]. 中华肝脏外科手术学电子杂志, 2025, 14(01): 13-17.  
[6]彭子洋, 王志博, 王丹, 彭浩茜, 王蕾, 彭薇, 王娟娟, 李宇, 刘学民, 吴荣谦, 向俊西, 吕毅. 智能化辅助图像实时去雾技术在腹腔镜胆囊切除术中的应用[J/OL]. 中华肝脏外科手术学电子杂志, 2024, 13(03): 328-333.  
[7]彭子洋. 外科手术视频实时采集与导航, 第87届CMEF中国国际医疗器械博览会“思源”医疗器械高峰论坛, 国家会展中心(上海)4.2号馆, 2023-5-14至2023-5-17  
[8]彭子洋;王志博;吕毅;吴荣谦;王娟娟;王蕾;夏灿;彭浩茜;刘书妍;一种微创腔镜图文报告生成系统;ZL 2024 1 1527344.8,发明专利  
[9]彭子洋;王志博;刘学民;吴荣谦;吕毅;一种实时术中腔镜影像分析装置及方法; ZL 2025 1 0096041.3,发明专利  
[10]彭子洋;王志博;吴荣谦;吕毅;刘学民;黄天笑;王娟娟; 模型与器官配准以辅助导航的方法及系统; ZL 2025 1 0896530.7,发明专利  
[11]彭子洋;王志博;刘学民;吕毅;任耀星;黄天笑;王娟娟; 一种喉部的体外磁靶标定位导航方法及系统; ZL 2025 1 0933524.4,发明专利  
[12]彭子洋;王志博;图文病历报告生成软件V1.0,2025SR0715133;软件著作权  
[13]彭子洋;王志博;基于大规模视觉语言模型的图文病历报告自动生成系统V1.0,2025SR1299339;软件著作权

# 致谢

时光荏苒，岁月如梭。自踏入西安交通大学求学至今，数载光阴倏忽而过。在此博士生涯即将画上句号之际，回望这些年，我的脚步始终在交大一附院的临床一线与外科梦工场的科研阵地间交替。这穿梭往复的日日夜夜，不仅打磨了我的医术，更重塑了我的科研精神。心中百感交集，唯有感恩二字长存心间。

高山仰止，景行行止。首先要向我的恩师吕毅教授致以最深切的谢意！吕老师不仅在学术上高瞻远瞩，以医工结合的战略眼光指引我向智能外科的“盲区”进军，更在以临床问题为导向的探索中为我树立了医者的光辉榜样。最令我动容且难忘的，是无数个夜阑人静时的课题探讨；每每此时，吕老师依然精神矍铄、毫无倦意，悉心为我拨开迷雾，指点出具体的科研方向与切实可行的转化路径。您这份对初心的坚守与对理想的执着，是我在科研低谷时不断前行的精神灯塔。也正是在恩师的指引与战略擘画下，我无比荣幸地坚定了选择，成为了西安交通大学未来技术学院首批医工学方向的博士研究生。 水击三千里，抟扶摇而上者九万里。在此，我要特别感谢学院的悉心培养与倾力支持。作为医工交叉领域的首批探路者，是学院前瞻性的顶层设计与打破传统学科壁垒的创新土壤，为我们铺设了从临床痛点迈向工程前沿的桥梁；更是学院在资源融通与跨学科交流上提供的广阔平台，让我得以站在更高远的视角去审视智能外科的未来。

群季俊秀，皆为惠连。在医工交叉的漫漫征途上，我首先最要感谢的是王志博博士。作为这条道路上最默契的伙伴，我们曾无数次就临床需求与底层智能算法、系统软件架构的融合展开深刻探讨。正是我们在无数个深夜的携手并肩，才跨越了学科的鸿沟，攻克了一个又一个核心技术难关。此外，也要感谢吴荣谦教授、马锋老师、刘学民老师在课题探索和临床应用中给予的包容与指导，让微创手术图文报告系统步步走向了临床应用。最后，诚挚感谢与我一路并肩作战的王蕾、黄天笑、任耀星三位博士生，夏灿、王娟娟两位硕士生，以及创新创业团队的全体同袍和参与课题的所有同门。回首那些从零开始、攻坚克难的峥嵘岁月，与大家同舟共济、共同奋斗的日日夜夜，是我博士生涯中最难忘的风景，更是我受用一生的宝贵财富。

哀哀父母，生我劬劳。深深感谢我的父母和家人，你们的包容和鼎力支持，是我心无旁骛攀登学术高峰的坚强后盾。感谢一路走来陪伴我的朋友们，为我漫长延绵的学习生活注入了温暖与力量。

最后，感谢在我求学期间给过我鞭策与鼓励的所有良师益友，感谢参与本论文评阅与答辩的各位专家学者！

人生如逆旅，我亦是行人。愿在未来的医学道路上，继续披荆斩棘，不负韶华！

# 请各位老师批评指正

答辩人：彭子洋 导 师：吕毅 教授

OTON sl J UVE

# 个人简介

l 姓名：彭子洋 籍贯：北京 出生日期：1996.02  
l 2019.09 – 2022.06：就读西安交通大学医学部 肿瘤学专业 导师：任宏教授  
l 2022.09 – 至今：就读西安交通大学未来技术学院 外科学专业 导师：吕毅教授

![](images/8559639d1bb7e094fd7e0bf36c8e94295d7693faa5b50a2ba6518a8ddb57bb35.jpg)

![](images/504ad7a1d48e0b11e2a77bc8fdc690f46ecb46977939bdc3daeedfa4cb743bae.jpg)

![](images/2bfc4f106e1d48fb613b46a15087b5b9df5a319a9deb6fb5f593b71eb4d3260d.jpg)

![](images/417faf4c1a61ef503a62fa6510180a04086916816678fc99ba8f3a0137fdf1af.jpg)

![](images/64a29ac281829f829d7bc00faaa68bafe09c5c6a2e4cd889b54963b4dbaa9612.jpg)

![](images/be3f3e804e5d60c90ece072bfa0465987e421a0208690db08a9dd87c0a1cce1f.jpg)

![](images/9b8cc7186da29feb06c98ec1c417176a671de6460d363991813177ca836af866.jpg)

![](images/a8f5e90f9fc17321bc12d4552553b3eea9beec00050323ccd9e4a94319a47c7c.jpg)

![](images/14f755e13478dae31bb19b22db8ece24064775ac0d37dddc5a0ad6c9cd4b5600.jpg)

西安交通大学届学术之星西安交通大学首届产教融合之星7次于国际国内会议大会汇报连续三年获得国家奖学金获新工科新18项 23项