TWBG_Materials/核心资料汇总_MD/※2026_3_博士毕业-论文终稿-彭子洋-《基于计算机视觉的腔镜微创外科智能分析与手术图文报告生成系统》/※2026_3_博士毕业-论文终稿-彭子洋-《基于计算机视觉的腔镜微创外科智能分析与手术图文报告生成系统》.md

西安交通大學

博士学位论文

基于计算机视觉的腔镜微创外科智能分析与手术图文报告生成系统

学位申请人：彭子洋

指导教师：吕 毅 教授

学科名称：外科学

2026 年 03 月

Computer Vision-based Intelligent Analysis and Surgical Image-Text Report Generation System for Minimally Invasive Surgery

A dissertation submitted to

Xi’an Jiaotong University

in partial fulfillment of the requirements

for the degree of

Doctor of Philosophy

By

Ziyang Peng

Supervisor: Prof. Yi Lv

Surgery

March 2026

博士学位论文答辩委员会

基于计算机视觉的腔镜微创外科智能分析与手术图文报告生成系统

答辩人：

答辩委员会委员： 委员会委页：

西安交通大学陈腾:

空军军医大学杜锡林: 004

西安交通大学杨铁林：

西安交通大学吴荣谦： 吴荣

华西慧创医工结合产业化研究院何寻社：

答辩时间：2026年03月01日

答辩地点：外科梦工场

摘 要

背景：

自1987年首例腹腔镜胆囊切除术以来，微创外科凭借其并发症少、恢复快的优势，已引发了外科范式的革命。然而，传统微创手术仍面临显著的认知与技术局限：手术画面作为二维图像导致的深度感知缺失与手眼分离，切断了外科医生的操作协调机制；以及术中器械产生的烟雾会导致的腔镜视野环境高度不稳定，使得医生约 40%的时间处于“次优视觉条件”下。

近年来人工智能技术已开始引入医疗领域，但现有的计算机视觉算法在上述微创手术场景中仍存在四大技术瓶颈：一是手术时间过长，难以进行长时间场景捕捉与实时推理分析，传统识别算法感受野受限，而 Transformer计算复杂度过高，难以满足低延迟要求；二是物理排烟滞后且传统去雾算法难以适应手术场景动态变化；三是手术过程中软组织的非刚性形变容易导致传统特征匹配失效，手术识别易发生偏离；四是繁重的手术记录工作占用了医生大量精力，且纯文字记录难以还原术中真实情况，非结构化手术视频数据缺乏语义索引，难以支撑高质量的科研与教学，以及后续的临床诊疗。

目的：

本研究面向上述问题，拟构建一套基于计算机视觉算法的软硬件融合智能分析与手术图文报告生成系统。核心目标是通过技术创新来构建结构化图文病历报告，有望为实现外科手术从依赖个人经验的记录模式向基于数据驱动的标准范式转型提供理论依据与应用案例。

1. 首先为了进行长时间手术视频的实时图像智能识别分割，我们引入了引入状态空间模型构建时空协同感知网络提高人工智能对各类长时间手术的理解与识别能力。
2. 针对腔镜手术中能量器械产生雾气造成的术野模糊及手术中断风险，引入动态专家机制，基于物理模型与深度学习开发自适应视觉增强网络，以解决腔镜手术产生雾气时胸腹腔动态环境下的图像不清晰问题从而进一步提高脏器与器械识别精度。
3. 为了解决多标签语义分割计算量较大的问题，我们应用自适应形变强固化的追踪框架作为底层架构，提高连续性场景识别的实时性，减少识别误差。
4. 通过融合前序各类算法并进行系统部署，我们革新计算机视觉对手术视频的理解模式，构建数字化辅助的结构化图文手术报告。

方法：

本研究所用视频来自多家不同地区的三甲医院，构建多种手术术式的数据集，并针对其中692例患者进行了超过24 万余帧的精细手术脏器、手术器械及手术阶段标注作为核心训练集。在算法层面，本研究提出了三大网络并结合手术图文报告系统进行了整体软硬件系统构建：

1. 针对长时间手术实时识别困难的问题，本研究引入时空协同感知网络与层级视觉状态空间架构，提高计算机视觉对不同类型手术关键帧进行识别与理解，方便人工智能理解手术视频时序过程。
2. 针对手术过程中受到雾气干扰的问题，打造Yun-Trans自适应去雾网络，解析内窥镜大气散射物理模型并引入动态专家机制，实时识别并进行动态去雾，提高计算机视觉识别率。
3. 针对手术过程中局部软组织脏器形变追踪计算量大的问题，提出 BiMRF-ADS框架，提高连续性场景识别的实时性，减少计算量与识别误差。
4. 通过融合前序算法，并输入原有的手术文字记录模板与 RAG 技术结合医学指南，生成符合HL7 标准的结构化手术图文报告。并部署于独立于院内系统的嵌入式边缘计算一体机，实现了手术视频流的低延迟性处理。

结果：

算法性能评估显示，STSH-Net 在腹腔镜肝切除术中的平均交并比达到 85.28%，在处理 1024×1024 图像时推理速度高达 52 FPS，显著优于 TransUNet 等现有的手术识别SOTA模型，有效解决了长时间手术识别困难的问题，并迁移应用于腔镜下甲状腺癌与胃癌等各类手术；Yun-Trans 网络在“高浓度烟雾仿真实验”中表现卓越，在重度雾气下PSNR 保持在22.45 dB，远超传统算法，使机器视觉在浓烟下的识别率从 35.66%跃升至 74.15%，术中视觉受阻时间近乎归零；BiMRF-ADS 利用双目几何约束，在腔镜画面中剧烈非刚性形变场景下的平均追踪误差仅为 2.80像素，漂移率低至 4.1%，具备一定的遮挡恢复能力；基于SSM 与多模态大模型的 RSMR-Net 系统在临床验证中证实了其教学赋能价值，使用图文报告学习的住院医师考核成绩平均提高了 23.3 分，且系统在嵌入式异构边缘计算一体机上实现了 4K视频流的毫秒级处理，验证了其临床转化的可行性。

结论：

本研究初步构建了一套基于计算机视觉的微创外科智能分析与手术图文报告生成系统，在临床应用过程中，其有效的在真实手术过程中进行实时识别与图像增强，辅助低年资医生进行手术导航识别，缩短年轻医生的学习曲线。同时通过明确手术关键帧并生成图文结合的结构化手术报告，赋能临床教学工作与医患沟通。本研究立足人工智能赋能微创外科手术新型应用场景，推动了人工智能从基础图像叠加向深度场景理解与认知辅助的范式演进，有望为未来手术智能化的发展奠定理论基础，亦为构建未来全流程、数字化手术体系提供了切实可行的实践方案。

关 键 词：微创外科；人工智能；多模态融合；图像识别；手术图文报告生成

论文类型：应用研究

ABSTRACT

Background:

Since the first laparoscopic cholecystectomy in 1987, minimally invasive surgery has revolutionized the surgical paradigm due to its advantages of fewer complications and faster recovery. However, traditional minimally invasive surgery still faces significant cognitive and technical limitations: the lack of depth perception and hand-eye separation caused by two-dimensional surgical imaging disrupt the surgeon's operational coordination mechanisms, while the highly unstable endoscopic visual environment caused by instrument-generated surgical smoke leaves surgeons operating under "suboptimal visual conditions" for approximately 40% of the procedure time. In recent years, artificial intelligence technology has been introduced into the medical field, but existing computer vision algorithms still encounter four major technical bottlenecks in the aforementioned minimally invasive surgery scenarios. First, the prolonged duration of surgeries makes continuous scene capturing and real-time inference analysis challenging; traditional recognition algorithms suffer from limited receptive fields, whereas Transformer-based models incur excessively high computational complexity, making it difficult to meet low-latency requirements. Second, physical smoke evacuation is delayed, and traditional dehazing algorithms struggle to adapt to the dynamic changes within surgical scenes. Third, the non-rigid deformation of soft tissues during procedures frequently causes traditional feature matching to fail, leading to deviations in surgical recognition. Fourth, the burdensome task of surgical documentation consumes a significant amount of surgeons' energy, and purely text-based records fail to accurately reconstruct the actual intraoperative context; furthermore, unstructured surgical video data lacks semantic indexing, making it difficult to support high-quality research, medical education, and subsequent clinical diagnosis and treatment..

Objective:

To address the aforementioned challenges, this study proposes the development of a hardware-software integrated intelligent analysis and surgical image-text report generation system based on computer vision algorithms. The core objective is to construct structured image-text medical reports through technological innovation, which is expected to provide a theoretical basis and practical application cases for transforming surgical documentation from a personal experience-dependent mode to a data-driven standardized paradigm.

The study is structured as follows:

1. First, to achieve real-time intelligent image recognition and segmentation of prolonged surgical videos, we introduce a state space model to construct a spatiotemporal collaborative perception network, thereby enhancing the artificial intelligence's capability to understand and recognize various long-duration surgeries.

2. Addressing the blurred surgical field and the risk of procedural interruption caused by the

fog/smoke generated by energy instruments during endoscopic surgery, we introduce a dynamic expert mechanism. By integrating physical models with deep learning, we develop an adaptive visual enhancement network to resolve the issue of image degradation in the dynamic thoracic and abdominal environments during smoke generation, thereby further improving the recognition accuracy of organs and surgical instruments.

3. To overcome the high computational load associated with multi-label semantic segmentation, we apply an adaptive deformation-robust tracking framework as the underlying architecture to improve the real-time performance of continuous scene recognition and reduce identification errors.
4. By integrating the aforementioned algorithms and deploying the system, we aim to revolutionize the computer vision paradigm for understanding surgical videos and construct digitally-assisted, structured image-text surgical reports.

Methods:

The videos used in this study were collected from multiple tertiary hospitals across different regions to construct a dataset encompassing various surgical procedures. A core training set was established by performing fine-grained annotations on over 240,000 frames from 692 patients, detailing surgical organs, instruments, and surgical phases. At the algorithmic level, this study proposed three major networks and integrated them with a surgical image-text reporting system to construct a comprehensive hardware and software architecture:

1. To address the difficulty of real-time recognition in prolonged surgeries, this study introduces a spatiotemporal collaborative perception network and a hierarchical visual state space architecture. This enhances the computer vision's ability to recognize and understand key frames across different types of surgeries, facilitating the artificial intelligence's comprehension of the temporal progression of surgical videos.
2. To tackle the issue of smoke interference during surgery, we developed the Yun-Trans adaptive dehazing network. This network analytically models the endoscopic atmospheric scattering physics and incorporates a dynamic expert mechanism to achieve real-time recognition and dynamic dehazing, thereby improving the computer vision recognition rate.
3. Addressing the high computational load associated with tracking local soft tissue and organ deformations during surgery, we propose the BiMRF-ADS framework. This improves the real-time performance of continuous scene recognition while reducing computational costs and identification errors.
4. By integrating the aforementioned algorithms, inputting existing surgical text record templates, and combining Retrieval-Augmented Generation (RAG) technology with medical guidelines, we generate structured surgical image-text reports compliant with the HL7 standard. Furthermore, the system is deployed on an embedded edge computing all-in-one machine independent of the hospital's internal systems, achieving low-latency processing of surgical video streams.

Results: Algorithm performance evaluation showed that STSH-Net achieved a mean

Intersection over Unionof 85.28% in laparoscopic hepatectomy, with an inference speed of up to 52 FPS when processing 1024×1024 images. This significantly outperforms existing state-of-the-art (SOTA) surgical recognition models like TransUNet, effectively resolving the difficulties of prolonged surgical recognition. The model was also successfully transferred and applied to various surgeries, including endoscopic thyroid cancer and gastric cancer procedures.The Yun-Trans network demonstrated exceptional performance in "high-concentration smoke simulation experiments," maintaining a Peak Signal-to-Noise Ratioof 22.45 dB under heavy smoke conditions—far exceeding traditional algorithms. It boosted the machine vision recognition rate in dense smoke from 35.66% to 74.15%, reducing intraoperative visual obstruction time to nearly zero.Utilizing binocular geometric constraints, BiMRF-ADS achieved an average tracking error of only 2.80 pixels and a drift rate as low as 4.1% in scenarios with severe non-rigid deformations within endoscopic views, demonstrating a robust occlusion recovery capability.The RSMR-Net system, based on the State Space Model and multimodal large models, proved its value in empowering medical education during clinical validation; resident physicians who studied using the image-text reports saw their assessment scores improve by an average of 23.3 points. Moreover, the system achieved millisecond-level processing of 4K video streams on the embedded heterogeneous edge computing all-in-one machine, verifying the feasibility of its clinical translation.

Conclusion:

This study has preliminarily constructed an intelligent analysis and surgical image-text report generation system for minimally invasive surgery based on computer vision. During clinical application, it effectively performs real-time recognition and image enhancement in actual surgical procedures, assisting junior doctors with surgical navigation and recognition, thereby shortening their learning curves. Concurrently, by identifying surgical key frames and generating structured surgical reports combining images and text, it empowers clinical teaching and doctor-patient communication. Grounded in the novel application scenarios of AI-empowered minimally invasive surgery, this study drives the paradigm shift of artificial intelligence from basic image overlay to deep scene understanding and cognitive assistance. It is expected to lay a theoretical foundation for the future development of surgical intelligence and provides a practical and feasible solution for building a comprehensive, digitalized surgical system in the future.

KEY WORDS: Minimally Invasive Surgery; Artificial Intelligence; Multimodal Fusion; Image Recognition; Surgical Graphic-Text Report Generation

TYPE OF DISSERTATION: Application Research

目 录

摘 要 ..

ABSTRACT.. III

1 绪论..

1.1 研究意义及背景.

1.1.1 外科治疗在当前临床诊疗的基石地位
1.1.2 微创外科的范式革命与技术演进
1.1.3 人工智能与数据科学赋能外科诊疗新范式.

1.2 国内外研究现状. 5

1.2.1 微创手术发展现状. 5
1.2.2 医学人工智能在外科手术管理与记录中的应用. 8
1.2.3 当前腹腔镜手术下图像质量优化研究现状. 11
1.2.4 计算机视觉在手术场景中的应用 13
1.2.5 基于精准医疗的微创外科智能分析导航系统提出的目标. 16

1.3 研究问题与挑战. 16

1.3.1 复杂动态视觉环境下的图像退化与自适应增强挑战. 16
1.3.2 长时间手术过程与实时识别矛盾. 17
1.3.3 单目弱纹理环境下的手术脏器软组织形变追踪困境. 18
1.3.4 非结构化手术视频数据的语义理解与多模态图文报告生成鸿沟 18

1.4 本文主要工作与结构安排 18

2 面向多场景腔镜手术的改进Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练.. .. 20

2.1 引言. . 20
2.2 相关工作. . 21

2.2.1 医学图像语义分割网络. 21
2.2.2 Transformer 与长时间手术流程识别. 22
2.2.3 状态空间模型与 Mamba 架构. 22
2.2.4 影像时序分析与 ConvLSTM.. 23

2.3 大规模腔镜影像数据集构建 . 23

2.3.1 临床数据来源. 23
2.3.2 多术式数据集构建. 24
2.3.3 数据预处理与标注质量控制. . 27

2.4 改进 Transformer 多任务感知网络.. . 28

2.4.1 STSH-Net 网络整体架构 28

2.4.2 编码器网络：层级视觉状态空间. . 29
2.4.3 选择性视觉状态空间模块 . 30
2.4.4 时序一致性 ConvLSTM 融合模块. 31
2.4.5 多任务反褶卷积解码与光流-VLM 协同决策机制. 31
2.4.6 STSH-Net 与主流网络架构特性对比. 32

2.5 模型实验.. .. 33

2.5.1 STSH-Net 模型实现细节 .. 34
2.5.2 STSH-Net 模型临床部署应用 . 34
2.5.3 对比模型及评价指标. . 35
2.5.4 模型分割结果对比. . 36
2.5.5 模型手术阶段识别性能. 51
2.5.6 模型空间焦点可视化分析. 52
2.5.7 模型对比实验 . 55

2.6 临床验证与应用价值. . 56

2.6.1 基于TAM 模型的数字化随访对医患沟通的优化. . 56
2.6.2 对临床外科规培医师认知负荷与学习曲线优化. 57

2.7 结论与展望. .. 58

3 基于动态专家机制的腹腔镜影像自适应去雾网络构建 59

3.1 引言. . 59
3.2 腹腔镜雾气影像模型构建 . 59

3.2.1 自然大气与腹腔微环境的光学差异. . 59
3.2.2 腹腔镜气溶胶微观物理特性与散射理论 . 60
3.2.3 腹腔镜增强型成像模型的数学推导 61
3.2.4 腹腔镜增强型成像模型对算法设计的指导. 63

3.3 术中实时识别去雾算法的设计. . 64

3.3.1 传统图像增强与物理模型方法. . 64
3.3.2 基于深度学习的去雾方法. . 65
3.3.3 Yun-Trans 算法设计理念. . 65
3.3.4 Yun-Trans 算法工作流程及设计细节. . 66
3.3.5 Yun-Trans 算法的核心贡献. . 67
3.3.6 开发及运行环境及硬件配置. . 67

3.4 腹腔镜影像数据筛选标准及雾气浓度分类指标 . 68

3.4.1 临床数据来源及筛选标准. . 68
3.4.2 临床数据分组与观察指标. . 68

3.5 基于动态专家机制的腹腔镜影像自适应去雾网络性能评估 . 69

3.5.1 高浓度烟雾仿真实验算法描述 69

3.5.2 高浓度烟雾仿真实验测试. . 69
3.5.3 手术图像去雾背景下高浓度烟雾仿真实验结果展示与量化分析. . 70
3.5.4 去雾算法对影像分割效果的提升与分析. . 74
3.5.5 结论与研究局限性. . 77

3.6 基于动态专家机制的腹腔镜影像自适应去雾网络临床验证与应用.. . 78

3.6.1 目的 .. . 78
3.6.2 临床手术效率与时间动力学分析. 78
3.6.3 极端视条件下的解剖结构辨识度验证. 79
3.6.4 面向智能手术导航的机器视觉支持能力. 80

3.7 临床验证与应用价值. . 81
3.7.1 实时质量控制与安全预警. 81
3.8 结论 .. . 82

4 腔镜视频中的特征匹配与表面形变跟踪 . 83

4.1 引言. . 83
4.2 算法架构. . 83

4.2.1 自适应网格构建. . 84
4.2.2 能量优化函数. . 85
4.2.3 基于掩模预处理的动态遮挡处理机制. 87

4.3 实验设置与数据集. . 88

4.3.1 数据集描述. . 88
4.3.2 数据集构建与挑战场景分类. . 88
4.3.3 真值标注与基准构建策略. 89

4.4 实验结果与分析. . 90

4.4.1 挑战一：初步探查阶段视点变换与缩放追踪. . 90
4.4.2 挑战二：胆囊解剖区域剧烈非刚性形变的追踪 . 92
4.4.3 挑战三：肝脏手术弱纹理与动态高光的全局追踪能力 . 94
4.4.4 泛化性验证：高密度解剖结构及快速视点变换特殊场景追踪 . 96
4.4.5 结论. . 97

4.5 讨论与临床价值. . 98

4.5.1 关键帧的量化. . 98
4.5.2 认知负荷与术中追踪识别. . 98
4.5.3 局限性与未来工作. . 98

5 基于状态空间模型与多模态大模型认知的临床图文病历 报告生成及管理系统......99

5.1 引言. . 99
5.2 技术演进及设计原则. . 100
5.2.1 技术演进. . 100

5.2.2 系统设计原则. . 100
5.2.3 伦理合规与数据安全设计. . 101

5.3 系统基本架构. . 102

5.3.1 手术室内部署边缘计算硬件设备. . 103
5.3.2 临床内窥镜影像监测系统软件. . 104
5.3.3 临床图文病历报告生成及管理系统软件 . 105

5.4 基于状态空间模型与多模态大模型认知及报告生成算法设计. . 108

5.4.1 RSMR-Net 网络整体架构. 108
5.4.2 算法功能创新一：微创影像关键帧自动摘取. 110
5.4.3 算法功能创新二：基于多模态大模型认知的图文病历报告生成. 111
5.4.4 结论 .. . 112

5.5 临床验证与应用价值. 113

5.5.1 在门诊随访中的应用价值. 113
5.5.2 对临床教学的影响. 115
5.5.3 未来应用扩展与展望. 117

6 结论与展望. . 120

6.1 结论 .. . 120
6.2 展望. 121

致 谢 ... . 122

参考文献.. . 123

攻读学位期间取得的研究成果. . 132

答辩委员会会议决议. . 133

常规评阅人名单. . 134

声明

CONTENTS

ABSTRACT (Chinese).....

ABSTRACT (English) ..

1 Preface ..

1.1 Motivation and Background..

1.1.1 Paradigm Shift and Technical Evolution of Minimally Invasive Surgery............... 1
1.1.2 "Hand-Eye Separation" in MIS: Cognitive Dilemma and Clinical Pain Points......1
1.1.3 AI-Driven Computer Vision for Surgical Empowerment: From Perception to

Cognitive Assistance . 2

1.2 Literature Review ..

1.2.1 MIS Development: Dual-Track Progress from Popularization to Refinement .......5
1.2.2 AI in Surgical Management & Documentation: From Assistance to Leadership ...8
1.2.3 Current Research on Laparoscopic Image-Quality Enhancement . .. 12
1.2.4 Computer Vision in Surgical Scenes: In-Depth Technical Analysis . .. 14
1.2.5 Objectives of the Precision-Medicine-Driven MIS Intelligent Analysis & Navigation System.. .. 16

1.3 Research Problems and Challenges...... .17

1.3.1 Image Degradation & Adaptive Enhancement in Complex Dynamic Visual Environments.. .17
1.3.2 Long-Range Spatio-Temporal Dependency vs. Real-Time Sparse High-Risk Event Perception. .18
1.3.3 Soft-Tissue Non-Rigid Deformation Tracking & 3D Reconstruction under Monocular Weak-Texture Conditions . .18
1.3.4 Semantic Understanding of Unstructured Surgical Videos & Multimodal Image–Text Report Generation Gap. .18

1.4 Main Contributions and Organization.. .18

2 Improved Transformer-Based Multi-Task Perception Network for Multi-Scenario Laparoscopy and Large-Scale Laparoscopic Image Dataset Construction with Intra-Operative Scene Recognition Training. .20

2.1 Introduction . .20
2.2 Related Work .. .21

2.2.1 Medical Image Semantic Segmentation Networks .21
2.2.2 Transformer and Long-Duration Surgical Workflow Recognition... .. 22
2.2.3 State-Space Models and Mamba Architecture .22
2.2.4 Temporal Image Analysis and ConvLSTM. .23

2.3 Large-Scale Laparoscopic Image Dataset Construction . .. 23

2.3.1 Clinical Data Sources .. .23
2.3.2 Multi-Procedure Dataset Construction. .24
2.3.3 Data Pre-Processing and Annotation Quality Control. .27

2.4 Improved Transformer Multi-Task Perception Network. .. 28

2.4.1 STSH-Net Overall Architecture .. .28
2.4.2 Encoder: Hierarchical Visual State Space .. .29
2.4.3 Selective Visual State-Space Module.. .30
2.4.4 Temporal-Consistency ConvLSTM Fusion Module . .31
2.4.5 Multi-Task Deconvolution Decoding & Optical-Flow–VLM Co-Decision Mechanism .31
2.4.6 STSH-Net vs. Mainstream Architectures . .32

2.5 Experiments.. .33

2.5.1 STSH-Net Implementation Details .. .34
2.5.2 Clinical Deployment of STSH-Net .. .34
2.5.3 Baselines and Evaluation Metrics . .35
2.5.4 Segmentation Results Comparison.... .36
2.5.5 Surgical-Phase Recognition Performance .. .51
2.5.6 Spatial-Attention Visualization . .52
2.5.7 Ablation Study.. .55

2.6 Clinical Validation and Application Value .. .. 56

2.6.1 Optimization of Digital Follow-up for Doctor-Patient Communication Based on TAM Model. .56
2.6.2 Optimization of Cognitive Load and Learning Curve for Surgical Residents ......57

2.7 Conclusions and Outlook . .58

3 Adaptive Dehazing Network for Laparoscopic Images via Dynamic Expert Mechanism .59

3.1 Introduction . .. 59
3.2 Laparoscopic Haze Image Model. .59

3.2.1 Optical Differences Between Natural Atmosphere and Intra-abdominal Micro-environment.. .59
3.2.2 Micro-Physical Properties and Scattering Theory of Laparoscopic Aerosols.......60
3.2.3 Mathematical Derivation of Enhanced Laparoscopic Imaging Model .. ... 61
3.2.4 Model-Guided Algorithm Design.. .. 63

3.3 Real-Time Intra-Operative Recognition & Dehazing Algorithm Design.. .. 64

3.3.1 Traditional Image-Enhancement & Physical-Model Methods. .64
3.3.2 Deep-Learning-Based Dehazing Methods .. .. 65
3.3.3 Yun-Trans Design Philosophy . .65
3.3.4 Yun-Trans Workflow and Design Details.. ... 66
3.3.5 Core Contributions of Yun-Trans ... .67
3.3.6 Development & Runtime Environment and Hardware Configuration.. .. 67

3.4 Laparoscopic Image Selection Criteria and Haze-Concentration Classification Index ..68

3.4.1 Clinical Data Sources and Selection Criteria . .68
3.4.2 Clinical Data Grouping and Observation Indicators . . 68

3.5 Performance Evaluation of the Adaptive Dehazing Network via Dynamic Expert Mechanism . .69

3.5.1 Algorithm Description for High-concentration Smoke Simulation . .. 69
3.5.2 Baseline Algorithm Selection. .69
3.5.3 Subjective and Quantitative Results of High-concentration Smoke Simulation...70
3.5.4 Dehazing-Induced Improvement in Segmentation Performance . .74
3.5.5 Conclusions and Limitations.. .77

3.6 Clinical Validation and Application . .. 78

3.6.1 Objective . .78
3.6.2 Surgical Efficiency and Time-Kinetics Analysis.. .78
3.6.3 Anatomical Recognition under Extreme Visualization Conditions... .79
3.6.4 Machine-Vision Support for Intelligent Surgical Navigation .... .80

3.7 Clinical Validation and Application Value .. .. 81
3.7.1 Real-time Quality Control and Safety Early Warning. .81
3.8 Conclusion. .. 82

4 Feature Matching and Surface Deformation Tracking in Laparoscopic Videos ........ ..... 83

4.1 Introduction . .. 83
4.2 Algorithmic Framework . .. 83

4.2.1 Adaptive Mesh Construction . .84
4.2.2 Energy Optimization Function . .85
4.2.3 Mask-Based Dynamic Occlusion Handling .. .87

4.3 Experimental Setup and Dataset... .. 88

4.3.1 Dataset Description . .88
4.3.2 Dataset Construction and Challenge-Scene Taxonomy . .88
4.3.3 Ground-Truth Annotation and Benchmarking Strategy . .89

4.4 Results and Analysis.. .90

4.4.1 Challenge I: Viewpoint Change & Scale Tracking during Initial Exploration......90
4.4.2 Challenge II: Severe Non-Rigid Deformation in Calot’s Triangle. .92
4.4.3 Challenge III: Global Tracking under Weak Texture & Dynamic Highlights in Liver Surgery . .94
4.4.4 Generalization: Dense Anatomy & Rapid Viewpoint Change . .. 96
4.4.5 Conclusions .. .97

4.5 Discussion and Clinical Value .. .98

4.5.1 Quantification of Critical View of Safety.. .98
4.5.2 Cognitive Load and Intra-Operative Navigation.. .98
4.5.3 Limitations and Future Work.. .98

5 Clinical Image-Text Report Generation and Management System Based on State-Space Models and Multimodal Large-Model Cognition .. .. 99

5.1 Introduction . .. 99
5.2 Technical Evolution and Design Principles.. .. 100

5.2.1 Technical Evolution. .100
5.2.2 System Design Principles. .100
5.2.3 Ethics, Compliance and Data Security Design. .101

5.3 System Architecture .. .102

5.3.1 Edge-Computing Hardware in the Operating Room. .103
5.3.2 Clinical Endoscopic Image Monitoring Software .. .104
5.3.3 Clinical Image-Text Report Generation & Management Software.... .... 105

5.4 Algorithms: State-Space Model & Multimodal Large-Model Cognition for Report Generation . .108

5.4.1 RSMR-Net Overall Architecture .. .108
5.4.2 Innovation I: Automatic Key-Frame Extraction from Minimally Invasive Videos... . 110
5.4.3 Innovation II: Multimodal Large-Model-Based Image-Text Report Generation 111
5.4.4 Conclusions .. . 112

5.5 Clinical Validation and Application Value .. . 113

5.5.1 Value in Outpatient Follow-Up . . 113
5.5.2 Impact on Surgical Education . . 115
5.5.3 Future Extensions and Outlook . . 117

6 Conclusions and Outlook . .120

6.1 Conclusions .. .120
6.2 Outlook.. .121

Acknowledgements . .122
References . . 123
Achievements . .132
Decision of Defense Committee.. .133
General Reviewers List . .134
Declarations

缩略词表

英文缩写	缩略词	中文缩略
AI	Artificial Intelligence	人工智能
ASM	Atmospheric Scattering Model	大气散射模型
CAI	Computer Assisted Intervention	计算机辅助介入
CNN	Convolutional Neural Network	卷积神经网络
CV	Computer Vision	计算机视觉
DSC	Dice Similarity Coefficient	Dice 相似系数
HF	Haptic Feedback	触觉反馈
HD95	95% Hausdorff Distance	95% 豪斯多夫距离
H-VSS	Hierarchical Visual State Space	层级视觉状态空间
ISA	Intelligent Surgical Assistant	智能手术助手
LC	Laparoscopic Cholecystectomy	腹腔镜胆囊切除术
LLM	Large Language Model	大语言模型
MoE	Mixture of Experts	基于动态专家机制
mIoU	Mean Intersection over Union	平均交并比
MIS	Minimally Invasive Surgery	微创外科技术
PEOU	Perceived Ease-of-Use	感知易用性
PSF	Point Spread Function	清晰图像与点扩散函数
PU	Technology Acceptance Model	技术接受模型
REF	Robust Estimator Function	稳定估计函数
RNN	Recurrent Neural Network	循环神经网络
ROI	Region of Interest	感兴趣区域
STSH-Net	Spatio-Temporal Synergistic Hyper Network	多任务感知网络
SS-VSSM	Selective Visual State Space Module	选择性视觉状态空间模块
TAM	Technology Acceptance Model	技术接受模型

1 绪论

1.1 研究意义及背景

1.1.1 外科治疗在当前临床诊疗的基石地位

外科手术作为当前临床诊疗过程中的核心步骤，在面对器质性疾病的过程中通过手术保证人体解剖完整性发挥着不可替代的作用[1][2]，以实现各种脏器生理性功能的完整[3]-[4][5]。相比于目前各类物理疗法与创新药物，手术切除与组织重建修复仍被认为是实现患者临床诊疗与康复、保障患者长期预后的首选手段[6]。因此，不断提升外科手术过程的精准性与安全性，直接关系到整体医疗质量的优化，更是改善患者生存质量、降低社会及家庭医疗负担的关键[7]。

在当前精准医疗的时代背景下，外科治疗技术正经历着从传统经验主义向多模态、精准化与智能化转型的深刻变革[8]-[9]。依托于机器人辅助手术、荧光导航及增强现实等前沿技术，外科医师在显著提升操作精度的同时，能够在确保肿瘤学边界安全的前提下，最大程度保留血管与神经束的功能完整性[10]。虽然依然面临术后并发症及复杂生理微环境改变等局限性，但通过技术迭代实现手术过程的标准化与数字化，减少相关并发症并为患者带来更好的远期预后仍是推动临床医学进步、满足患者对高安全性医疗方案需求的核心动力[11]-[12]。

1.1.2 微创外科的范式革命与技术演进

现代外科学于 19 世纪末诞生，法国医生 Philippe Mouret 于 1987 年，成功实施了世界上首例腹腔镜胆囊切除术（laparoscopic cholecystectomy, LC）[13]-[14]，这一事件标志着微创外科（minimally invasive surgery, MIS）时代的开启。近二十年，微创手术在多学科（普外、胸外、泌尿、妇科、心外等）广泛替代传统开放性手术[15]-[16]。MIS 的核心理念在于通过技术创新践行“最小创伤，最大疗效”的核心诉求，即利用人体自然腔道（如消化道、气道）或腹壁上的微小切口（5-12mm），通过光学内窥镜系统与特制的细长手术器械完成复杂的体内探查、切除与重建操作，从而取代传统开放手术的大面积组织剥离与暴露。

这一技术范式的转变对临床实践产生了深远的影响。大量高等级的循证医学研究证实，相较于传统开放手术，凭借其创伤小、恢复快等显著优势，微创手术在围手术期并发症控制方面具有显著优势，其总体并发症发生率从开放手术的 15.2%显著降至9.8%。多个循证医学研究表明，MIS 在结直肠、胃及泌尿系肿瘤微创手术中均展现出一定的微创优势：在不延长手术时长与过程的前提下，术中平均失血量降低约 30%，同时患者术后康复进行有了显著提高。在肝胆外科的胆囊切除手术、胃肠外科的抗反流手术以及泌尿外科的肾上腺切除等特定的手术领域，腹腔镜下操作已成为手术“金标准”，其优势在于腹壁创伤最小化、疼痛减轻，同时带来的还有恢复更快、感染率

更低以及围手术期并发症的发病率下降[18]，改变了当前外科诊疗的格局。然而根据我国国情，随着当前手术数量的不断增加，微创手术固有的局限性也日益凸显：外科医生需在二维、狭小的腔镜视野内，依赖视觉反馈对空间三维解剖具备一定的认知[29]。这也对主刀术者在复杂环境下的各种脏器与器械辨识能力提出了更高要求，极大地增加了手术难度，并由潜在的术中血管与神经意外损伤风险[19]，相关问题在处理复杂肿瘤时愈发凸显，亟待技术突破[20]-[21]。

1.1.3 人工智能与数据科学赋能外科诊疗新范式

21 世纪以来，随着云计算、物联网技术的深度融合，当前时代正处在一个由计算机自动化技术与人工智能（artificial intelligence, AI）引领的科技革命时代[22]。外科手术流程也正经历着从外科医生既往经验依赖型向由多模态多组学数据驱动型的精准化个性化诊疗的迭代。人工智能不再只是手术诊疗过程中的辅助，而是一种具备数据评估、数据分析与辅助决策的综合性诊疗范式，服务于术前精准评估与筛查、术中智能辅助决策及术后整体围术期管理中。术前，AI 能够对患者完善的 CT/MRI 等多模态影像学检查进行基于血流动力学的三维重建与分析，针对患者解剖特点制定个性化手术规划；术中，以AI驱动的计算机视觉（computer vision, CV）算法能够实时分析腔镜手术画面，实现手术器械的自动识别以及关键解剖结构的解读[23]-[24]，与此同时当前的达芬奇手术机器人系统可以通过通过组织形变实时补偿算法，将手术操作误差控制在1.2±0.3mm[22]；另一方面，微软 HoloLens 2 选择与骨科手术进行联动，在增强现实辅助下将骨科椎弓根钉置入的角度偏差降至 0.8°[26]；在手术结束后，它可以分析患者术前及术中的大量多模态数据，为手术质量控制和医生技能培训提供量化评估依据[27]-[28]。

当前依托手术患者的多模态电子病历档案信息可以针对性的为每位患者定制最优的手术入路与诊疗策略。前期研究中针对结直肠癌的手术流程，通过集成深度学习的网络架构能够结合 CT影像中的肿瘤病灶特征与病历中的炎症指标、营养状态等多模态各种数据信息预测吻合口瘘或手术部位感染的发生率，并且其准确率显著优于传统的ASA评分，通过在术前识别出高达 15%-30%的潜在高风险患者，针对性的进行术前优化与手术过程干预，可显著降低相关并发症发生率。另一方面，机器学习通过进行数据分析，可以在手术操作过程中有效预测术中低氧血症风险、手术耗时以及 ICU 转入概率，并展现出较高的准确率，这也为未来通过人工智能进行精细化手术室管理调运以及物联网协调奠定了基础[28]。

上文所提到的计算机视觉是目前人工智能在外科手术过程中应用最广泛的技术之一。它通过实时解析腔镜或开放手术的整体录制视频，有效协助主刀医生解决微创外科中因视野受限及组织形变导致的手术图像理解与识别难题。基于卷积神经网络与Transformer 架构的实时识别算法，能够实现对血管、神经等关键解剖结构的亚秒级识别。此外，计算机视觉技术通过自动识别游离解剖结构、脏器离断及血管吻合等具体手术动作，能够实时评估当前手术进度阶段并定义手术操作关键帧[30]-[31]。尽管现有研究已取得一定成果，但受限于术中脏器位置不断调整及视野实时变化等问题，当前各

类算法在真实手术场景下的临床可靠性仍待进一步验证。

为系统性地应对上述挑战，智能化手术系统应运而生，其核心特征是具备功能齐全的感知系统 + 智能算法处理，实现对复杂体内环境的全面感知和自主决策支持。通过动态补偿算法，实现对关键器械与关键脏器的精准识别与追踪，并自动定义手术关键帧。在此基础上，系统能够对手术流程进行自动化阶段识别并记录特殊事件，从而为实现深度的手术质量与成本控制（手术质控费控）提供坚实的技术支撑。如图 1-1所示为典型临床智能化手术平台与机器人系统，融合现代导航与术中影像、机器人技术后，有助于缩短手术时间、减少患者和手术团队的辐射暴露、降低再手术率[32]。

（A)

(B)

(C）

图 1-1 典型临床智能化手术平台与机器人系统[32]

(A) 神经外科导航系统；(B) 达芬奇手术机器人系统；(C) 骨科手术机器人；(D) 术中移动式C 臂CT 成像系统

传统腹腔镜系统提供的二维图像导致了立体视觉的丧失，医生必须依赖运动视差、纹理梯度、遮挡关系等单目视觉线索，在狭小的腔镜视野内极其费力地重建对三维解剖空间的认知[33]。如图 1-2 所示，在手术过程中，医生需注视二维（2D）显示器，根据屏幕上的图像信息操控手中的长杆器械进行操作[34]，这种操作模式切断了人类本能的“手眼协调”机制。

（A）

(B)

（C）

（D）
图 1-2 基于点对点配准的手术导航操作流程[34]

(A-B) 手术中影像引导下实时操作画面；(C-D) 术中二维显示器实时导航成像系统

此外，复杂的环境干扰也是影响手术安全的重要因素[35]-[36]。腹腔镜手术常伴随高频电刀使用产生的浓重烟雾、体内外温差导致的镜头起雾，这些因素构建了一个高度不稳定的视觉环境[33]-[34]。同时，微创手术需要在有限腔隙内完成复杂操作，器械通过套管进入后，不同器械之间的应用会导致视线受阻，一定程度上增加缝合、结扎和精细分离的难度[34],[37]。据统计，外科医生在微创手术中约 40%的时间处于“次优视觉条件”下操作，这不仅导致手术时间延长，更提高了手术并发症风险[38]-[39]。

另一方面，自然语言处理特别是近年来以 GPT-4 为代表的大语言模型的兴起，为处理非结构化外科数据提供了革命性的手段。长期以来，外科手术记录与报告生成主要依赖医生的手动录入，存在模板化严重、关键信息缺失、人力成本高等痛点。目前，大模型已展现出在手术全周期文档自动化管理方面的巨大潜力。通过分析术中语音指令、手术视频切片以及病理生理参数，大模型能够自动抓取关键步骤特征，生成逻辑严谨、图文并茂的标准化手术报告。这不仅能够将外科医生从繁重的文书工作中解放出来，更能够确保病历资料的完整性与科研价值。研究证实，经过医学专业领域微调的本地化部署大模型，在提取手术记录关键要素、进行术后病历摘要生成任务中，其准确率与人工专家高度一致，且处理效率提升了数倍[40]-[41]。

然而在当前临床应用过程中，由于人工智能模型的验证体系并未建立明确的标准，并且由于医疗场景的特殊性，绝大多数医疗数据相关数据具有隐私性，大多数医疗相关人工智能模型仅是用单纯本地数据集进行独立训练，缺乏医疗领域高质量通用公用数据集，这对提升当前算法模型的泛化性带来了极大挑战。然而，随着数据科学与算法性能的持续提升，未来人工智能对临床医生的辅助作用必然将进入更紧密的关系，并将逐步推动外科医疗进入一个更加严谨与精准的应用场景[42]。为了更直观地展示当前各类算法及其在临床中具体应用场景与核心功能，本节总结如下表 1-1与表1-2。同

时在本研究中，我们也通过构建本地的多中心多手术方式的数据集，依托新型的计算机视觉技术及算法，为 MIS 手术提供一个更加精准、高效的图像识别与图像增强增强方案，并结合软硬件平台，打造融合手术视频内容关键帧识别与图文结合的新型手术图文报告系统，使其具备更多的理论研究价值与的临床应用前景。

表 1-1 人工智能主要技术分支在外科诊疗中的核心应用

应用算法	核心功能	典型应用场景
计算机视觉	解剖分割、器械识别、手术阶段感知、病灶实时检测	术中重要血管、肿瘤边缘识别、自动定义手术关键帧[30]-[31]
机器学习	多模态数据特征建模、风险分层、预后精准预测	术后并发症术前预测、各类手术术后随访管理、器官移植受者匹配[42]
大语言模型	非结构化文本解析、自动化报告生成、知识图谱查询	语音病历转接、图文手术图谱构建、患者教育[40]-[41]
数据科学	数据标准化与治理、数字孪生构建、群体行为分析	构建手术操作者技能量化评分、手术室器械物流与排班优化[28]
增强现实与机器人	空间信息定位、仿生腕部操作、震颤滤除与远程协作	骨科精准导航定位、达芬奇手术机器人应用、跨区域远程微创手术[34]

表 1-2 不同算法架构对比

架构类型	代表模型	优势	局限性
CNN-based	U-Net[82], DeepLab, Mask R-CNN[83]	成熟稳定,纹理细节捕捉强,推理速度快	局部感受野受限,难以捕捉较大视野解剖关系
Transformer-based	Swin-Unet, SegFormer[84]	强大的全局上下文建模能力,解剖拓扑理解强	需海量数据预训练,计算复杂度高,边界容易丢失
Hybrid (CNN+ViT)	TransUnet, MedSAM[85]	结合两者优势,精度与稳定性最佳	架构复杂,显存占用大,部署难度高

1.2 国内外研究现状

1.2.1 微创手术发展现状

MIS 作为现代医学史上的一项里程碑式的技术，目前已成为现代手术的首要选择。它通过结合先进的医学图像实时采集与传输系统，融合各类新型手术切割与吻合器械，为患者带来了创伤小、术后恢复快及手术风险低的手术操作选择，深受医患双方青睐，也改变了当前外科诊疗现状。当前，微创手术技术在不断向不同级别的医院进行普及化，各类县市级医院也逐步引进微创手术设备，逐步进行精细化操作[43]。

内窥镜设备在 MIS 中起到了至关重要的作用，其为医生传输清晰的患者体内影像，便于术中观察、病灶导航以及诊疗操作[44]-[45]，并将患者体内的深层解剖影像实时传输

至体外屏幕，是术中观察、病灶定位及诊疗操作的基础。根据镜体构造与进入人体方式的不同，内窥镜可以分为硬镜（如腹腔镜、胸腔镜、关节镜）和软镜（如胃镜、肠镜、支气管镜）[46]。从历史维度看，国际上内窥镜的发展历经了 200多年的漫长探索，整体经历了硬管式内窥镜（光导纤维发明前）、半可屈式内窥镜、纤维内窥镜和电子内窥镜四个阶段，从最初的硬式形态逐步走向软硬兼备[45]。每一次技术的跃迁——从冷光源的引入到CCD/CMOS 传感器的应用——都推动了图像质量的飞跃，从最初的模糊黑白影像走向如今的 4K 超高清、3D 立体乃至荧光多模态成像。相比之下，国内内窥镜发展起步较晚，仅有 30年的发展历史[47]。

腹腔镜是最先引入国内的内镜系统，1991 年我国开展了第一例 LC[48]，标志着中国MIS 时代的开启。虽然早期市场长期被史赛克（stryker）、奥林巴斯（olympus）及卡尔史托斯（karl storz）等海外巨头垄断，但近年来随着国产供应链的成熟，国内企业正逐步追赶世界主流企业，并在部分细分领域实现创新突破。2010 年以后，国内腹腔镜外科在多个应用领域开展，微创手术数量逐年增高，形成了一整套从技术培训到手术操作指南，内镜的配套装备也日渐完善[49]。

图 1-3 中国与发达国家MIS 手术渗透率对比与增长趋势[48]

图 1-4 中美每百万人口MIS手术量差距分析[48]

在当前医院以临床亚专业发展的格局中，腹腔镜手术在普外科、妇科、泌尿外科等多个领域应用的更为广泛[50]。相较于传统开放手术，它能显著改善患者预后，减少手术并发症并带来更多的临床获益[51]-[52]。 如图 1-3 及图 1-4 统计数据显示，2019 年我国微创手术在临床的覆盖率达到了 38%，相较于2015年的28.5%有了显著提升，但与相比于美国等发达国家超过 80%的普及率相比，仍有一定差距。预计到2027年，这一比例将提升至56.0%。其中以腹腔镜胃肠外科的应用较为推出，其中3D腹腔镜、4K高清、近红外荧光成像、5G远程手术等新技术的应用，有效推动微创胃肠外科进入新阶段[53]。与此同时，机器人辅助手术系统（robot of surgery assistant，RAS）在泌尿外科、普外科等领域也有着快速发展，中国在泌尿外科机器人手术方面应用覆盖率最高，这与机器人手术系统在泌尿外科特殊解剖应用中有着更好的视野与操作环境有关[54]。然而，当前我国仍旧存在各地区医疗资源分布不均、医师培训水平差异大等问题，由于医疗系统具有极强的地域属性，多数患者会选择就近的医院进行就诊，这一问题依然制约着微创手术在基层医院的普及。但是经过数据分析可以看到，西部地区尽管经济相对东南沿海地区较为落后，但微创手术仍旧是全国最早开展的地区之一，其多家医院种类、数量和难度逐年增加，并逐步形成住院医师规范化培训体系[55]。

图 1-5 RAS 系统在骨科手术中的应用[56]

如上图 1-5 所示，以达芬奇手术机器人系统为典型代表的 RAS 正在各级别医院逐步应用。达芬奇系统是当前市面上最经典的主从式远程操控手术机器人，由术者控制台、患者手术臂部分构成[56]。术者在控制台端获得高清三维立体视野，同时实时操控患者侧多机械臂完成镜头与器械操作，这样的手术机械臂主从系统可保证术者手部运动精确传递至体内器械[57]，并且依托机器人特有的十倍放大三维高清视觉、7 自由度仿生腕式活动机械臂、以及能主动减少人手震颤的运动缩放系统——有效减少了传统腔镜手术在操作精度与灵活性上的物理局限，尤其是在处理泌尿外科手术这类存在狭窄空间的复杂解剖结构时尤为高效[58]。此外，3D高清立体成像和放大视野可改善解剖

辨识度，在识别血管与神经过程中尤其重要，另外最新的达芬奇手术机器人系统已经在以往基础上进一步强化了图像质量把控，引入自动烟雾排除和电外科能量管理等新特性[59]-[60]。在前列腺癌根治术这一对神经血管束保护要求较高的手术中，达芬奇机器人手术系统不仅使手术切缘阳性率降低了 3.5%，更将关键神经保留率提升了 12%，从而显著改善了患者术后的生活质量与预后水平，已被国内外多家核心共识推荐为优选治疗方案。同时多学科量化出来的系统评价显示，达芬奇手术机器人系统所完成的微创肿瘤手术在失血量、住院时间、并发症、再手术率和死亡率等方面普遍优于或不劣于传统腔镜和开腹手术[59]。

然而尽管微创技术优势显著，相比于传统开腹手术，其术中手术视野暴露不充分，深层次解剖结构识别困难的问题依然存在。在二维屏幕上辨识有深度的三维结构，容易产生视觉错觉；同时在机器人手术与腔镜系统中，医生无法通过触觉反馈清晰的判别肿瘤边界与血管搏动。这些固有的技术瓶颈一定程度上增加了手术的操作难度，容易引发术中操作失误，导致手术损伤和并发症的发生率居高不下[61]。此外，系统购置、维护及耗材成本较高，极大程度上限制了该系统的广泛推广，同时达芬奇机器人学习曲线及术者培训需求较大，不同中心和手术类型之间的真实获益也需更多高质量随机对照研究和成本效益分析来进一步验证其有效性[62]-[64]。

1.2.2 医学人工智能在外科手术管理与记录中的应用

当前医疗卫生服务作为公共卫生服务的重要组成部分，更是社会基本保障体系的基石。随着云计算、大数据、物联网及 AI等新一代信息技术与医疗健康领域的深度融合，传统的医疗模式正在逐步过渡到新型的数字化医疗模式，其便捷高效的服务方式正在优化传统医患双方的诊疗过程[65]-[66]。在当前时代，我们正处在一个由算法与数据驱动的医疗数字化与智能化并行的时代。随着深度学习算法模型的不断优化突破和GPU 计算能力的飞跃，医疗与人工智能正在进行深度融合，如图 1-6 所示，人工智能正参与并优化外科诊疗的“术前-术中-术后”全流程管理。

图 1-6 AI在外科围手术期（术前-术中-术后）的全流程管理模型[28]

从最初仅使用计算机记录电子病历、线上开具处方，到医院逐步整合医学影像系统、检验系统以及患者信息系统，医疗管理和诊疗效率得到了显著提升。医疗信息化转型不仅涉及卫健委和各级医院，还涉及医保、药企等多个相关方。自 20 世纪 70 年代的数字化系统开始初步使用以来，医疗与人工智能的融合已经在提高医疗服务质量、促进医疗资源共享、提高疾病防控制等方面发挥重要作用，患者可以通过手机进行线上报告查询或预问诊，极大的提高了诊疗效率与满意度。而针对临床医生的日常工作，医学人工智能也发挥着重要作用，首先在疾病检测和诊断方面，人工智能可以利用数据预训练后通过进行医疗影像分析及基于电子病历进行临床辅助决策。通过大规模数据的标注以及模型的优化，医疗人工智能模型可以通过分析影像、病历、检查检验等多模态的数据进行疾病早期检测和辅助诊断。这有望提高疾病的早期筛查率，并辅助医生提升诊断效率和准确性。此外，医学人工智能能够综合提取和交叉分析健康管理数据，学习医疗病历数据，并开发院内部署的健康管理平台，结合完整的医疗诊疗知识图谱，联合智能设备和体检中心等平台收集的个性化健康体征数据，协助医生提供专业的健康建议，并提高疾病预测的准确性。这些数据结合知识图谱等方式，可以自动生成病历，完成多项复杂任务[67]-[68]。

医疗人工智能整体应用流程如图 1-7 所示，医疗人工智能模型的核心价值在于将海量、多源的患者数据进行特征提取，并转化为可执行的前瞻性手术策略。利于基于深度学习的三维重建系统，能够高效解析患者的 CT/MRI 影像[69]，并快速自动分割出肝脏、血管、肿瘤等组织，生成高保真、可交互的患者特异性解剖模型，协助外科医生模拟手术规划，并精准评估脉管结构解剖变异、计算残肝体积，并模拟最佳手术入路完善手术导航。此外，医疗人工智能可以通过整合临床病历与影像组学数据构建风险预测模型，其对吻合口瘘等严重术后并发症的预警可以达到 85%的准确率，一定程度上提高了外科手术的风险管理科学性与个体化水平[69]。

图 1-7 基于数据驱动的手术风险预测与临床反馈闭环机制

在术中阶段，医疗人工智能通过驱动的 CV 算法能够通过实时解析手术视频流与器械数据，识别具体的手术工作流程，明确手术的当前阶段（如游离、切除）与具体操作（如缝合、打结），实现对手术进程的理解与感知。通过融合增强现实技术，计算机视觉能够实时识别并高亮显示关键解剖结构，动态划分安全操作区域与存在血管神经的高风险禁区，并在器械接近高风险结构时发出预警，实现精准的术中导航。与此同时，通过分析手术过程中腔镜器械的运动轨迹及抖动情况，计算机视觉还能对术者的操作技能进行客观评分，为外科医生的培训提供即时量化依据。另一方面，Sun等人提出的EasyVis 系统通过在手术视频端口集成多个微型摄像头，结合实时三维重建算法，实现了手术场景三维多视角的动态三维渲染。该系统在腹腔镜测试集中验证了其可行性，能够实时重建并渲染手术工具与组织的三维模型，并支持任意视角的观察，有望为未来手术过程中的辅助诊疗带来曙光[70]。

在术后阶段，医疗人工智能可以对大规模的手术数据进行深度挖掘，例如通过分析特定的缝合手法与术后吻合口漏的相关性，明确具体手术操作与患者不良结局之间的潜在关联，从而为手术诊疗的规范与优化提供循证依据[71]。同时，自然语言处理技术能自动分析手术视频与语音记录，融合前期构建的病历模板，生成结构化的手术报告，显著提升外科医生的工作效率[21]。

图 1-8 手术记录与现有检查报告差异对比

在这个过程中，手术记录作为反映手术经过、术中出现特殊情况及相应处理的核心医疗文书，不仅在手术后具有明确的法律效力，更是临床复盘与教学，科研数据挖掘的重要组成。然而，随着当前手术量逐渐提高，临床工作繁琐，传统的手术记录模式往往出现同质化严重的情况，难以满足现代临床对信息完整性与可视化复盘的要求。如上图 1-8 所示，长期以来，外科手术记录多采用模板化的单纯文字形式，这种的传统模式在面对高难度、高精度的微创手术时，显露出显著的滞后性，难以清晰还原手术的具体场景。这种信息缺失不仅导致了大量高价值术中数据的流失，使得科研资料获取困难，更在面对术中意外处理或解剖变异时，因记录模糊而无法客观证明手术的规范性。

针对上述临床实际难点与痛点问题，中华医学会外科学分会外科手术学学组在2015年版基础上，于 2025 年发布了更新版的《倡用图文外科手术记录专家共识》。该共识明确推动手术记录从向“以文字描述为主体，结合高清术中照片及示意图”的模式转型，旨在更客观、详细地记录手术具体情况。共识明确了手术通过全流程图文结合的方式进行可视化记录的标准，要求手术记录覆盖从术前规划到标本处理的各个环节。在手术具体实施阶段，必须以高清照片对核心技术步骤进行实证记录，例如在胰头癌根治术等复杂手术中，需清晰展示胰十二指肠下动脉等重要血管的离断位置与具体重建方式，以及淋巴清扫范围，以体现手术的根治性与标准化。此外，共识还规定了标准化的视觉语言，建议使用不同颜色区分动脉、门静脉及胆道系统，并对肿瘤或淋巴结进行高亮标记，同时对吻合方式、引流管位置等细节也提出了明确的图示要求，从而为术后并发症的监测与二次随访诊疗提供直观依据。

尽管图文手术记录的临床价值已在行业内达成共识，且 2025 版指南已提供了明确的操作标准，但在实际推广中仍面临着巨大的现实阻力。目前高质量图文报告的生成主要依赖手动生成，外科医生需在术后花费大量时间回看手术视频，手动筛选关键帧照片并录入文字，这种高强度的重复性劳动在饱和的临床工作状态下难以持续。另一方面，手术操作过程中往往因术中烟雾、血迹或视角限制，无法明确展示具体的三维解剖结构。因此，如何利用计算机视觉的方式自动识别手术视频、提取关键帧并生成符合专家共识标准的图文报告，成为当前外科数字化转型的关键突破[72]。目前国内多家顶尖三甲医院已启动智能诊疗助手、智能影像识别等技术的试点工作，但能够覆盖诊疗全流程的、高度整合的精准化医疗人工智能诊疗体系仍处于初步探索阶段。因此，构建基于大规模多中心样本的多模态临床数据挖掘与手术全流程智能辅助的综合诊疗体系，有望成为预防手术并发症、提升医疗质量的关键方式，未来将推动临床医疗向数字化、智能化的发展。

1.2.3 当前腹腔镜手术下图像质量优化研究现状

腔镜手术图像的质量直接决定了医疗计算机视觉图像算法的上限。然而，由于腔镜手术的特殊性，手术环境中器械带来的烟雾、手术过程中镜头视野不断移动等问题普遍存在。这些图像质量问题既干扰医生视野，更会导致 CV 算法的失效。

深入分析其图像退化机理可见，首先在手术进程中，高频电外科器械产生的气溶胶容易产生大量雾气遮挡画面。这种图像质量降低会直接导致了手术画面中脏器识别模糊，严重干扰了手术操作者对具体解剖层次的精确判断及手术器械操作的安全范围定位。目前的优化路径主要分为四类：

（a)

(d）

（e）

（1）
图 1-9 基于Retinex 理论的不同图像增强算法效果对比[73]

1）传统图像增强：如图 1-9，早期的图像增强策略多采用通用场景下的物理去雾模型，虽在对比度上有所提升，但往往忽略了生物组织表面极高光反射与特异性显色的准确性，干扰外科医生的病理边界判断[73]。同时这类方法计算量小，难以应对复杂多变的手术烟雾。

图 1-10 LVQIS集成式视频质量改善系统的级联处理架构[74]

2）深度学习视频处理：如图 1-10，结合 LVQIS 视频质量改善系统的级联处理架构利用GAN或CNN 进行“有烟到无烟”图像映射[74]。

图 1-11 EMDQ-SLAM 算法在肝脏软组织表面的三维重建效果验证[74]

3）实时三维重建：如图1-11展示的EMDQ-SLAM 方法，能够有效获取深度信息，在肝脏表面重建中将平均误差控制在 0.8-2.2mm，适应手术过程中软组织形变的识别与匹配[74]。

图 1-12 白光模式与近红外荧光模式下的多模态导航对比[75]

4）多模态融合导航：结合荧光成像与白光成像，实现血管与淋巴结的功能性导航。Forgione 等人提出的多模态导航系统，通过动脉内注射荧光成像剂吲哚青绿，辅助确定手术切除边界，已经在胃肠外科的多种手术中开展大规模应用[75]。

综上所述，手术图像识别增强的应用正从单一的图像去噪声，提高识别度向整个手术三维场景的全景识别发展，未来有望将图像增强与手术识别深度融合，为术者实时提供更清晰的手术视野。

1.2.4 计算机视觉在手术场景中的应用

当前阶段计算机视觉技术通过对大量手术录像中的器械操作及解剖画面进行量化分析，逐渐向外科手术全周期数字化质控的方向进行拓展[73],[77]。微创手术，尤其是广泛普及的腹腔镜手术，具备为计算机视觉进行模型构建的初步条件，在这一先决条件下 CV 技术的训练与应用有了长足的发展[21],[78]。国内外研究团队在数据集构建、算法优化及临床初步应用方面均取得了一定进展。

在数据集与基础算法方面，法国奥弗涅大学团队针对妇产科手术场景，建立了

SurgAI3.8K 妇科手术数据集，实现了对子宫及输卵管交界区解剖的精准分割，识别率高达到 94.6%[79]。德国慕尼黑大学团队利用机器学习分析 LCHE 手术数据，成功预测各类术后不良事件。希腊雅典国立大学提出的 C3DTrans 深度学习框架，在机器人手术手势识别任务中准确率高达97.5%，且支持自我监督学习，大幅降低了数据标注成本[80]。

在腔镜甲状腺手术这一涉及术中喉返神经与甲状旁腺保护的复杂解剖手术，北京协和医院团队利用基于深度学习的 D-Linknet 模型，在经胸乳入路腔镜甲状腺手术中识别喉返神经的灵敏度高达 92.9%，为降低术后声带麻痹等严重并发症提供了客观依据。日本埼玉县立癌症中心在结直肠手术中，利用深度学习自动分割疏松结缔组织并高亮显示相关神经，极大程度上减少了术后泌尿及性功能障碍的相关并发症[19]。

在导航与增强现实方面，AR 技术的应用形式日益多样化，包括投影式及混合现实。视频透视式 AR 因无需额外佩戴设备、直接融合于腔镜视野，有望解决软组织导航中的配准难题，被认为是微创手术切除过程中较为理想的方式。例如，Zhang等人提出的非标记点形变配准方法，在肾脏部分切除术中实现了术中点云与术前模型的自动配准，极大程度上提高了匹配精度[81]。

从算法架构演进来看，如表 1-2 所示，随着 Transformer架构的兴起，基于 Attention机制的模型正逐步取代原有纯CNN架构。相较于侧重捕捉微观手术图像特征的传统神经网络，具备整个画面的架构能够更好地解析大规模手术画面波动带来的解剖结构的前后时序关联，在识别后腹膜大血管走行等手术场景中具有显著优势，因此目前临床研究应用的算法模型多采用 CNN与Transformer的混合架构。

表 1-2 不同算法架构对比

架构类型	代表模型	优势	局限性
CNN-based	U-Net[82], DeepLab, Mask R-CNN[83]	成熟稳定，纹理细节捕捉强，推理速度快	局部感受野受限，难以捕捉长距离解剖关系
Transformer-based	Swin-Unet, SegFormer[84]	强大的全局上下文建模能力，解剖拓扑理解强	需海量数据预训练，计算复杂度高，边界细节有时丢失
Hybrid (CNN+ViT)	TransUnet, MedSAM[85]	结合两者优势，精度与稳定性最佳	架构复杂，显存占用大，部署难度高

1）实时解剖导航与风险预警

CV技术在术中的首要应用是增强医生对解剖结构的感知。通过卷积神经网络及其变体（如 U-Net, DeepLab, Mask R-CNN）对内窥镜视频流进行逐帧像素级分析，系统能够实现亚秒级的解剖结构识别与分割。术者可从内镜视频中提取客观、量化、甚至肉眼“不可见”的信息，如微小运动模式、操作轨迹等[21]。例如，在复杂的腹腔镜肝切除术中，针对门静脉、肝静脉等关键血管的自动标记准确率已高达 93.4%。结合增强现实技术，系统能在术野中实时叠加血管走向的全息投影，辅助术者理解深层次解剖结构的能力。此外，CV具备实时或近实时处理能力，有望实现在线监测、并发症预

测、自动导航[79],[86]。超越单纯的结构识别，CV 模型还能主动进行动态风险评估。以LC 为例，GoNoGoNet 等先进模型能够根据术中影像，动态划分出安全操作区（go区）与高风险的危险区（no-go 区），其识别精度达到 93.4%±2.1%。一旦手术器械误入危险区域（如胆囊三角区的关键结构），系统便能触发实时报警，有效预防胆管损伤等灾难性并发症。

2）手术流程解析与技能量化

通过分析时间序列的手术视频，CV 模型（如 LSTM, Transformer）能够将连续、复杂的手术过程解构为离散、标准化的步骤。同时深度学习（特别是卷积神经网络）能自动学习有用特征，适合复杂的术野场景识别。例如，采用 Xception 等深度学习架构，系统可以自动识别经肛门全直肠系膜切除术的五个核心步骤，分类准确率高达93.2%。这种自动化的手术阶段识别为手术室资源的优化配置（如麻醉复苏准备、器械护士配合）提供了精确的手术关键步骤。

图 1-13 手术视频分析的时空多粒度感知框架：从单一帧到全流程[87]

更进一步，CV 技术还能对术者的操作进行精细的量化评估。如图 1-13 所示，通过分析器械的运动轨迹、运动平滑度、组织接触力以及缝合打结的耗时等参数，系统可形成包含14项指标的客观技能评价体系。这使得外科医生的培训与考核从传统的“师徒制”主观评价，转向了可量化、可追溯、数据驱动的精准教学模式。此外，CV技术仅基于已有摄像设备，额外硬件负担相对较小[87]，使其在配置领域具有一定优势。

尽管前景广阔，CV技术在手术场景的落地仍面临数据稀缺与场景适应性两大挑战。高质量、经专家标注的大规模手术视频数据集依然稀缺，且现有的监督学习模型往往泛化能力有限[21],[79]。此外，术中器官的非刚性形变、出血遮挡、器械高光反射等动态干扰，都可能导致识别算法性能下降[88]。未来的核心突破方向在于开发能够融合时空信息的时空感知增强模型，并探索无监督或自监督学习范式，以减少对标注数据的依赖。同时需要注意，与放射学、消化内镜中 AI工具已开始规模化临床应用不同，目前

尚无在外科广泛临床使用的 CV诊疗系统，整体仍处于转化早期[89]。

1.2.5 基于精准医疗的微创外科智能分析导航系统提出的目标

针对上述背景与现状，国家卫生健康委于 2023年发布的《手术质量安全提升行动方案(2023-2025 年)》明确强调了通过科学评估加强术前风险管理、术中精细操作及术后持续改进的重要性。基于此政策导向与临床痛点，本研究提出的 MIS 智能分析导航系统旨在实现以下核心目标：

1）手术过程中实时感知与全流程管理

（1）增强计算机视觉对手术画面的理解：开发基于腔镜画面的实时识别算法，实现对关键解剖结构（血管、神经、输尿管）和手术器械的精准识别，并加入时序信息，提高对手术整体整体流程的理解。
（2）图像增强：针对术中软组织脏器因器械牵拉导致的形变问题与烟雾带来的视觉减退问题。通过构建图像去雾与自适应追踪算法，在减少识别计算量的同时提高计算机视觉的识别分割效率与准确度。
2）术后结构化图文报告生成与教学赋能：通过训练计算机视觉对手术步骤的整理识别与理解，自动捕捉并结构化记录手术过程中的关键节点，生成图文融合的数字化报告。这些数据将支撑智能教学平台，缩短年轻医生的学习曲线。

1.3 研究问题与挑战

尽管 MIS 手术通过小切口显著降低了患者创伤并加速了康复，但其固有的“支点效应”（fulcrum effect，FE），使得低年资处于学习曲线期的医生在手术过程中由于出现多个手术器械叠加的场景而产生识别困难的问题。因此在构建腔镜手术全流程智能辅助系统时，现有的技术仍面临以下四大主要核心难点：

1.3.1 复杂动态视觉环境下的图像退化与自适应增强挑战

在 MIS 手术中，通过腔镜显示器实时采集的手术画面是外科医生识别手术画面的最主要方式。然而，应用腔镜手术器械气化组织产生的气溶胶烟雾与体内温差导致的镜头水雾，会直接影响手术画面中脏器与器械的识别。

图 1-14 基于多曝光融合（MEF）与纹理分解的腹腔镜图像增强框架

如图1-14所示，目前的挑战在于现有的物理排烟手段（如被动排气）不仅干扰气腹压稳定性，且往往滞后于烟雾产生；而基于 CV 的去雾算法多采用全局统一的参数模型，面对手术中从“稀薄水雾”到“浓重焦烟”的剧烈跨度时识别率较低。传统 CNN模型在处理轻雾时常因过度处理而破坏黏膜微血管等高频细节（过平滑），而在重雾下又无法彻底消除遮挡。因此，如何在毫秒级延迟下实现受雾气干扰的解剖细节识别，即基于专家混合模型（MoE）动态识别雾浓度并自适应切换增强策略，在毫秒级延时内实现视觉保真与去雾通透的平衡，是保障手术安全的首要前提。

1.3.2 长时间手术过程与实时识别矛盾

手术过程并非静态图像的离散堆叠，而是一个包含解剖逻辑、操作规范与突发事件的连续时空流。外科医生对当前状态的判断往往依赖于对数分钟前操作步骤的记忆（如血管结扎情况）。

目前的挑战在于：现有的深度学习模型陷入了“精度与速度”的博弈。基于CNN的方法虽推理速度快，但受限于局部感受野，难以捕捉跨越长时间维度的因果依赖；而基于Transformer的架构虽擅长全局建模，但其自注意力机制的计算复杂度随序列长度呈二次方增长，难以在资源受限的医疗边缘设备上满足临床对低延迟（<50ms）的严苛要求[90]。此外，术中大出血或胆管损伤等高危异常事件在海量正常手术帧中占比极低且形态不规则，极易被常规分类算法漏检。因此，如何在算力受限的医疗终端设备上，实现对术中突发性血管损伤或胆管误入等稀疏关键异常事件的秒级精准捕获，是构建术中智能识别关键所在。

1.3.3 单目弱纹理环境下的手术脏器软组织形变追踪困境

精准的增强现实导航依赖于虚拟模型与真实解剖的有效融合。然而，腹腔镜手术环境是 CV 领域最棘手的场景之一：生物软组织时刻受呼吸、心跳及器械牵拉影响，发生剪切、挤压等复杂的非线性非刚性形变。

腔镜手术过程中由于器官表面均覆盖相关的体液，手术场景背景较为光滑湿润，容易形成镜面反射，传统的特征点匹配效果欠佳。另一方面，多种手术器械的交错出现会造成手术画面动态遮挡，导致追踪算法识别误差[91]。因此在双目内窥镜环境下实现对目标脏器与病灶及其手术操作安全边界的持续稳定追踪，是在遮挡与形变多重干扰下维持脏器表面的稳定追踪的关键。

1.3.4 非结构化手术视频数据的语义理解与多模态图文报告生成鸿沟

手术不仅是治疗过程，更是产生高价值医疗数据的过程。然而，当前的手术记录仍停留在“纯文本描述”阶段，二维的文字难以还原三维解剖的复杂变异（如血管走行、肿瘤粘连）。外科医生为应对繁重的文书工作，常采用模版化复制粘贴，导致病历同质化严重，缺乏科研与法律价值。

目前的挑战在于：医院累积的手术录像因缺乏语义索引，沦为无法检索的数据。现有的AI模型多局限于单一任务（如分割），缺乏对长视频内容的理解与逻辑推理能力。因此，如何利用前沿的状态空间模型与多模态大语言模型，赋予系统“感知-认知-生成”的能力，使其能自动解析长达数小时的手术视频，提取关键手术步骤特征，并生成图文并茂、逻辑严谨的标准化手术报告，是实现外科数字化诊疗的关键。

1.4 本文主要工作与结构安排

本文围绕微创手术智能识别与分析系统，针对上述图像增强、图像识别、形变追踪及术后图文报告四大核心挑战，提出了一套基于计算机视觉的微创外科智能分析与手术图文报告生成解决方案。全文共分六个章节章，结构安排如下：

第一章 绪论：梳理当前微创外科诊疗发展的背景与人工智能蓬勃发展的先决条件，综述医疗人工智能在计算机辅助外科领域的国内外研究现状，明确本文主要解决的相关问题与面对的挑战

第二章 针对长时间手术过程的动态理解，首先构建多中心多场景的腔镜影像标注数据集，并针对性进行时序与手术画面的标注，同时打造改进的 Transformer多任务感知网络进行训练。重点评估计算机视觉对手术画面长时间的理解与关键步骤识别捕捉能力，提升识别系统的临床实用性。

第三章 针对手术烟雾导致的手术视野识别困难问题，提出一种基于动态专家机制的自适应去雾网络。明确该网络架构能够通过雾气识别、雾气量化，进一步进行雾气去除，从而有效为计算机视觉提高更清晰的手术画面，再次提高手术识别精度并优化手术诊疗流程。

第四章 针对手术画面中软组织结构形变追踪困难问题，本研究提出了双目 MRF

与自适应形变固化框架，有效解决多标签语义分割计算量较大，提高连续性场景识别的实时性的问题，可有效降低医生的认知负荷，使其精力从空间定位回归至精细操作本身，并进一步提高计算机视觉的识别效率与准备率。

第五章 针对传统手术记录信息缺失、同质化严重及数据价值挖掘不足的问题，融合前序算法，进行软硬件系统部署，并进一步构建手术记录文字模板与相关手术关键步骤选取标准，探讨利用多模态大模型处理长时间手术并理解手术内容，自动抓取关键步骤，并生成标准化的图文病历报告，有效为临床工作降低负担并赋能教学与医患沟通工作的开展。

第六章 讨论与展望章节明确本文主要四个正文章节的工作及关联性，并针对其中不足进行梳理探讨，同时针对未来医疗人工智能的发展与未来诊疗的工作方向进行系统性的总结与展望。

2 面向多场景腔镜手术的改进 Transformer多任务感知网络与大规模腔镜影像数据集构建及术中场景识别训练

2.1 引言

自 1987 年 Philippe Mouret 在法国里昂完成世界上首例 LC [13]-[14]并推动其视频化以来，MIS 技术在过去的三十余年间经历了从萌芽到成熟的跨越式发展。这一技术的出现彻底改变了传统外科手术的范式，使得外科医生能够通过仅有几毫米的切口完成复杂的体内操作。随着光学成像技术、能源器械以及机器人辅助系统的进步，微创手术的适应症已从最初简单的良性疾病切除（如胆囊切除、阑尾切除），迅速扩展至包括肝脏切除、胃癌根治、胰十二指肠切除等在内的高难度肿瘤外科领域[15]。大量循证医学证据表明，与传统开腹手术相比，腹腔镜手术在减少手术创伤、加速患者康复以及改善生活质量方面的巨大价值。

然而，尽管微创技术带来了诸多临床获益，其固有的技术局限性依然是制约外科医生，尤其是处于学习曲线早期的年轻医生手术表现的关键瓶颈[62]。首先是 FE，即腹腔镜器械以套管针为支点，导致医生手部动作与器械尖端动作在方向上完全相反，这种非直觉的操作模式极大地增加了手眼协调的难度[33]。其次是触觉反馈的缺失，外科医生无法像开腹手术那样通过手指直接触摸来感知组织的质地、血管的搏动或肿瘤的边界，只能完全依赖视觉信息进行判断[35]-[36]。最后，也是最为关键的挑战，在于受限的二维视野与深度感知的丧失[33]-[34]。在复杂的解剖场景中，如肝门部胆管变异的辨识或胃周淋巴结的清扫，医生需要在缺乏立体感的屏幕上，透过充满烟雾、血液或组织碎屑的动态视野，精准区分极其相似的解剖结构（如胆总管与肝动脉）。这种高度依赖视觉认知的操作环境，使得“视觉误判”成为导致医源性胆道损伤或大出血等严重并发症的主要原因之一[38]-[39]。

为了克服上述挑战，AI 与 CV 技术的引入为现代外科手术导航系统的构建提供了新的契机[40]-[41]。理想的手术识别辅助系统应当具备实时感知手术阶段、自动分割关键解剖结构的能力[42]。然而，现有的手术AI研究大多局限于单一任务的解决，例如单纯的手术器械分割或离散的阶段分类，缺乏将这些功能整合到一个协同系统中的整体性设计[67]-[68]。

当前，构建高性能腹腔镜手术感知网络面临着两大核心技术难点：

1）长程时空依赖的捕捉：手术并非静态图像的堆叠，而是一个高度动态的时空连续体。传统的卷积神经网络受限于局部感受野，难以捕捉跨越整个腹腔视场的长距离解剖关系（如血管的远端走向）；而普通的循环神经网络在处理高分辨率视频流时往往面临梯度消失和计算效率低下的问题[82]-[83]。
2）实时推理与高计算负载的矛盾：手术导航对实时性要求极高（通常需 ≥ 30 FPS），

以确保视觉反馈与医生操作同步。然而，以 Vision Transformer[95]为代表的新一代视觉模型，虽然通过自注意力机制解决了全局建模问题，但其计算复杂度随输入序列长度呈二次方增长 \big ( 0 ( \mathsf { N } ^ { 2 } ) \big ) ），难以在资源受限的临床设备上实现实时运行。

图 2-1 一种面向多场景腔镜手术的改进 Transformer多任务感知网络工作流程

针对上述挑战，本章提出了一种面向多场景腔镜手术的改进 Transformer多任务感知网络——Spatio-Temporal Synergistic Hyper Network（STSH-Net）[96]。该网络工作流程如图 2-1 所示，其并没有沿用单纯的 CNN 或 Transformer 架构，而是基于“时空协同”的设计理念，创新性地引入了 SSM 与卷积长短期记忆网络的混合架构[85]。STSH-Net利用 SSM 在保持线性计算复杂度（O(N)）的同时捕捉全局依赖的特性，结合ConvLSTM 的时序记忆能力，构建了一个集解剖分割、阶段识别于一体的综合智能辅助系统[79],[86]。此外，本研究还构建了一个包含肝脏、胆囊、胃癌及甲状腺手术的大规模多中心临床影像分割数据集，为模型的训练与验证提供了坚实的数据基础。

2.2 相关工作

2.2.1 医学图像语义分割网络

医学图像分割作为计算机辅助诊断与微创手术导航的核心环节，其技术演进经历了从手工特征提取到深度学习自动特征学习的跨越。早期的分割算法依赖于阈值、边缘检测及区域生长等低层视觉特征，难以应对腹腔镜手术场景中组织形变、光照不均及器械遮挡等复杂挑战。随着全卷积网络的提出，医学图像分割进入了端到端像素级预测的新阶段。以 U-Net [82]为代表的编码器-解码器架构凭借其对称结构和跳跃连接设计，成为了医学图像分割领域的基石，通过融合浅层纹理信息与深层语义信息，有效缓解了下采样过程中的空间细节丢失问题。为了进一步提升 U-Net 的特征提取能力，研究者们提出了多种改进方案，如引入残差连接的 Res-UNet [82]以及通过门控机制抑

制背景噪声的 Attention U-Net[82]。

针对腹腔镜图像中生物组织局部特征模糊、边界不清的难点，单纯的 CNN 架构往往难以奏效，因此近期的研究重点转向了增强网络的特征感知能力与多尺度融合。例如，MAGNET[82]作为医学图像分割领域的典型算法，有效对多模态图像数据进行分割处理。此外，LWANet 针对手术器械分割，提出了轻量级的多尺度特征聚合和轻量化设计，常用于内镜图像识别处理领域[82]。

尽管 CNN 在提取局部特征方面表现优异，但其固有的局部感受野限制了对长时间手术视频逐帧分析的能力。因此为了适应微创手术导航等实时应用场景对推理速度的严苛要求，并在处理长序列手术视频时克服 Transformer 的计算瓶颈，学术界开始探索更高效的架构。虽然 LWANet 等轻量化网络通过架构优化在 CPU 或边缘设备上实现了毫秒级的推理速度，但它们大多侧重于单帧图像的空间特征提取，缺乏对视频时序信息的显式建模[82]。近期，以 Mamba 为代表的选择性 SSM 因其线性计算复杂度和卓越的长时间手术识别能力，为医学图像分割提供了新的方向[86]-[87]。相较于Transformer，SSM 能够在处理长序列数据时保持更低的显存消耗和更高的推理效率。然而，目前针对腹腔镜手术视频中“长程时空依赖”与“器械-组织动态交互”进行时空协同建模的研究仍处于起步阶段，如何将 SSM 的线性全局建模能力与时序记忆网络（如 ConvLSTM）有效结合，是实现高精度、实时手术视频分割的关键突破口。

2.2.2 Transformer 与长时间手术流程识别

为了突破 CNN 感受野的限制，Transformer 架构被引入 CV 领域。Vision Transformer将图像切分为 Patch 序列，利用自注意力机制实现了像素间的全局交互。SwinTransformer 通过基于窗口的注意力机制和层级结构，在降低计算量的同时保留了局部特征，在多项医学分割任务中刷新了 SOTA。

尽管Transformer在性能上表现优异，但其自注意力机制的计算复杂度随序列长度呈二次方增长 ( 0 ( \mathsf { N } ^ { 2 } ) ），这对于处理高分辨率手术视频流（通常为 1080p 甚至 4K）构成了巨大的计算负担，难以满足术中 30FPS 以上的实时性需求。此外，Transformer在训练时对数据量的需求极大，而在带标注手术视频数据稀缺的背景下，容易出现过拟合现象[90]。

2.2.3 状态空间模型与 Mamba 架构

针对 Transformer 计算效率低下的问题，SSMs 作为一种新兴的序列建模范式受到了广泛关注。SSM 源于经典控制理论，通过一阶微分方程描述系统的动态变化。现代SSM（如 S4, Structured State Space Sequence Models）结合了 RNN 的线性推理效率和CNN的并行训练优势，能够以线性复杂度（O(N)）处理超长序列[85]。

Mamba 架构进一步引入了选择性扫描机制，使模型能够根据输入内容动态调整状态转移参数，从而有效过滤无关信息并聚焦于关键特征。在视觉领域，Vision Mamba和VMamba等工作尝试将SSM应用于2D图像，通过多方向扫描（如2D-Selective-Scan）

将空间图像展平为序列进行处理[85]。这种方法在保持全局感受野的同时，大幅降低了显存占用和推理延迟，为实时高分辨率手术导航提供了理想的骨干网络选择[86]。

2.2.4 影像时序分析与 ConvLSTM

手术过程是一个动态的时序过程。传统的单帧分割模型往往因缺乏时序一致性而导致预测结果闪烁。为了引入时序信息，研究者采用了 3D-CNN（如 C3D, I3D）或CNN-RNN混合架构。其中，ConvLSTM（卷积长短期记忆网络）通过在 LSTM 单元中引入卷积操作，能够同时提取空间特征和时序变化。ConvLSTM 最初被用于降水临近预报，其核心优势在于能够保留输入数据的空间拓扑结构，避免了传统 FC-LSTM 将特征图展平为向量导致的空间信息丢失。在手术视频分析中，引入 ConvLSTM 可以帮助模型“记忆”前几帧的解剖位置，从而在当前帧被烟雾或器械遮挡时，利用历史信息进行补全[89]。

2.3 大规模腔镜影像数据集构建

数据的质量与规模是训练高性能手术AI模型的基石。现有公开数据集（如Cholec80,Heidelberg Colorectal）往往局限于单一术式或缺乏细粒度的解剖标注。本研究构建了一个涵盖多中心、多术式、多病种的大规模腔镜手术影像数据集，旨在解决现有数据集病种单一、场景简单的局限性，并为多任务学习提供丰富的监督信号。

2.3.1 临床数据来源

本数据集的数据来源于四家国内三甲医院的肝胆外科、胃肠外科及甲状腺外科中心，时间跨度从 2022 年 9 月至 2024 年 8 月。所有视频数据采集及处理流程均经过严格的伦理审查（批准号：XJTU1AF2023LSK-429），并严格遵循《赫尔辛基宣言》及当地数据隐私法规，对患者信息进行了完全的去标识化处理。

为了真正构建覆盖“常规-极端”与“高端-低端”设备的全场景数据集，我们在临床数据采集环节执行了设备多样性声明：明确指出数据不仅包含顶级医院配置的 Storz4K 3D 高端影像系统所摄制的超高清素材，还刻意纳入了大量来自基层医院的常规高清（1080P）设备，甚至部分使用年限较长、存在一定色彩偏差及低分辨率特性的低端内窥镜设备成像数据。这一举措从根本上确保了模型能够适应不同层级医院的硬件条件与复杂的视觉噪声干扰。

为了确保数据的多样性与临床代表性，我们制定了严格的纳入与排除标准：

1）纳入标准：

（1）年龄 > 18 岁的成年患者。
（2）接受择期腹腔镜手术（包括肝切除、胆囊切除、胃癌根治、甲状腺切除）。
（3）手术视频记录完整，原始分辨率不低于 1 9 2 0 \times 1 0 8 0 ，帧率 ≥25 FPS。
（4）患者已签署关于视频数据用于科学研究的知情同意书。

2）排除标准：

（1）急诊手术（因其流程不规范且往往伴随极端病理情况）。
（2）因非肿瘤原因（如设备故障、无法控制的大出血）中转开腹的手术。
（3）既往有上腹部大手术史导致的严重腹腔粘连，致使解剖结构极度异常，无法进行标准化标注。
（4）视频质量极差，关键手术步骤因镜头污染、烟雾弥漫或光照不足导致无法辨识的比例超过30%。

然而需要特别指出的是，虽然我们在排除标准中剔除了极度异常以至于完全无法进行标准化视觉映射的样本，但在最终构建的数据集中，我们刻意保留了大量复杂解剖变异（如胆囊三角区域的致密粘连、第一肝门区的血管解剖异位、以及重度脂肪覆盖导致的结构模糊）的具有极高挑战性的真实病例。这种长尾分布数据的保留，对于提升算法在不可预见的临床极端场景下的泛化应用性具有决定性意义。

2.3.2 多术式数据集构建

为支持多任务感知网络训练，数据集按手术类型划分为四个核心模块，所有模块均遵循统一的高标准标注策略，并针对不同术式特点定义关键手术阶段与精细化语义分割类别；其中标注策略与质量控制环节采用“双重审查”机制：先由经培训的初级外科医生按解剖清晰度初筛，剔除视觉障碍严重帧、保留置信度>50%的候选帧，再由高级外科医生以更高解剖辨识阈值复核，仅保留置信度>90%的关键帧进入标注库，随后使用 LabelMe 进行像素级语义分割，重点区分核心脏器、管道结构与手术器械，并剔除冗余相似帧以保证数据多样性，从而确保数据集的临床准确性。

1）模块 A：腹腔镜肝脏切除术

这是本数据集的核心模块，共纳入 403 例患者的视频数据。经过初步清洗，筛选出142,861帧高置信度关键图像用于深度学习训练。

（1）分割标注类别：将分割目标细化为以下核心类别，训练模型对肝脏解剖拓扑的精细感知能力 ：
a）肝实质：需分割出的主要手术目标区域，包括正常的肝组织表面及切除断面；
b）关键脉管系统：重点标注需保护或处理的血管，包括门静脉、肝静脉以及下腔静脉的裸化部分；
c）胆道结构：标注胆囊管、胆总管及肝内胆管系统，以辅助识别胆道走向，预防医源性损伤；
d）手术器械：涵盖超声刀、分离钳、施夹器及吸引器等刚性器械；
e）辅助耗材与背景：包括止血纱布、血管阻断带、周围脂肪结缔组织及非手术区域背景。
（2）阶段定义：我们将肝切除术的全流程细分为6个具有解剖学意义的关键阶段：

a）Phase 1 术中超声探查：利用腹腔镜超声探头定位肿瘤边界及与血管的关系
b）Phase 2 第一肝门解剖：解剖肝十二指肠韧带，暴露门静脉、肝动脉及胆总管；
c）Phase 3 第二肝门解剖：解剖肝静脉根部，暴露下腔静脉；

d）Phase 4 肝中静脉暴露：在断肝过程中显露肝中静脉作为关键解剖标志；
e）Phase 5 离断后止血：检查肝断面，处理微小血管渗血；
f）Phase 0 非关键步骤：包括建立气腹、标本取出及单纯的背景画面。

2）模块 B：LC

本模块作为基础验证数据集，纳入了 128 例胆结石患者的完整手术视频（2022.9-2023.4）。通过关键帧提取技术，最终构建了包含 45,600 帧 的精细化标注数据集。该模块重点关注胆囊三角的解剖结构识别，旨在解决术中常见的视觉模糊与解剖变异挑战。同时加入了本课题组独有的磁牵引辅助 LC 作为训练集。

（1）分割标注类别：针对 LC 中“电钩操作频繁、烟雾干扰大”的特点，我们将分割目标细化为以下核心类别，训练模型在动态环境下的稳定性：

a）胆囊与肝床：标注胆囊本体及与肝脏连接的胆囊板区域，界定剥离平面；
b）胆囊三角关键结构：重点分割胆囊管和 胆囊动脉，这是建立“关键安全视窗（CVS）”的核心依据；
c）胆总管：明确标注胆总管边界，作为术中需严格避免损伤的解剖禁区；
d）手术器械：涵盖电钩（主要的解剖与电凝工具）、抓钳、吸引器及施夹器；
e）环境干扰项：特别标注手术烟雾及高反光的脂肪结缔组织，提升模型在低清晰度视野下的抗干扰能力。

（2）阶段定义：我们将 LC 的全流程细分为 5个标准化的关键阶段：

a）Phase 1 建立气腹与探查：建立操作通道，探查腹腔粘连情况及胆囊位置；
b）Phase 2 解剖胆囊三角：分离胆囊管与胆囊动脉周围的结缔组织，建立关键安全视窗；
c）Phase 3 夹闭切断管道：确认解剖结构无误后，使用钛夹夹闭并切断胆囊管与胆囊动脉；
d）Phase 4 剥离胆囊：沿肝脏胆囊床将胆囊完整剥离，并进行床面止血；
e）Phase 5 取出标本：将切除的胆囊装袋并从穿刺孔取出。

3）模块 C：腹腔镜甲状腺切除术

本模块儿是侧重于精细解剖的扩展模块，共纳入65例手术视频，经筛选获得21,500帧关键图像。本模块主要针对颈部狭小操作空间内的微细结构识别，模型训练的重点在于区分纹理极为相似的神经与脂肪组织。

（1）分割标注类别：为了降低术中热损伤风险，我们将分割类别聚焦于神经保护与腺体识别：

a）甲状腺腺体：标注甲状腺左右叶及峡部，明确切除边界；
b）喉返神经：核心标注对象，需在复杂的结缔组织中精准识别神经走行，是预防术后声音嘶哑的关键；
c）甲状旁腺：重点学习其与周围脂肪组织的 纹理差异，辅助术中“负显影”保护，避免误切导致低钙血症；

d）关键血管：包括甲状腺上动脉、下动脉及相关静脉丛的识别；
e）背景组织：气管、颈部肌肉群及周围脂肪结缔组织。

（2）阶段定义：我们将甲状腺切除术的全流程细分为 5个标准化的关键阶段：

a）Phase 1 建立空间与显露：建立颈部操作空间，显露甲状腺腺体；
b）Phase 2 上/下极血管处理：离断甲状腺上、下极的血管束；
c）Phase 3 喉返神经解剖与保护：在甲状腺背侧精细解剖，显露并保护喉返神经全程；
d）Phase 4 甲状旁腺原位保留：识别并分离甲状旁腺，保留其血供；
e）Phase 5 腺体切除与取出：离断峡部及 Berry 韧带，完整切除标本。

4）模块 D：腹腔镜胃癌根治术

作为高难度扩展模块，模块纳入 96例胃癌根治术视频，构建了包含 33,800帧的复杂解剖数据集。本模块侧重于复杂的血管网解剖和淋巴结清扫（D2 清扫），其难点在于模型需具备极强的组织穿透感知能力，以应对胃周厚重脂肪堆积带来的视觉遮挡。

（1）分割标注类别：针对胃癌手术“血管根部裸化”和“淋巴结整块切除”的需求，设定以下核心类别：

a）胃周关键血管：重点标注胃左动脉、胃网膜血管的根部及其分支，辅助血管裸化操作；
b）淋巴结清扫区域： 标注需清扫的淋巴结脂肪组织块（如 D2 清扫区域），界定解剖边界；
c）标志性脏器：胰腺（上缘作为清扫界限）、脾脏及脾门区域；
d）手术器械：超声刀（主要的凝切工具）、无损伤抓钳及吻合器；
e）网膜与系膜：区分需切除的大网膜与需保留的系膜结构。

（2）阶段定义：我们将胃癌根治术的标准化流程定义为以下 5个阶段：

a）Phase 1 大网膜游离：沿横结肠分离大网膜，切断胃网膜左/右血管；
b）Phase 2 幽门下区清扫：解剖幽门下动静脉，清扫第 6 组淋巴结；
c）Phase 3 胰腺上区清扫：沿胰腺上缘解剖，裸化胃左血管，清扫第 7、8、9、11p组淋巴结；
d）Phase 4 脾门区清扫（如需）：针对特定适应症进行第 10组淋巴结清扫；
e）Phase 5 消化道重建：完成胃切除后，进行毕 I 式、毕 II 式或 Roux-en-Y 吻合重建。

表 2-1 多术式数据集信息统计及特征汇总

数据模块	术式类型	病例数(n)	关键帧总量	核心分割类别
模块A	腹腔镜	403	142,861	1.肝实质:肝脏表面及断面 2.关键脉管:门静脉、肝静脉、IVC 3.胆道结构: 胆囊管、胆总管及肝内胆管 4.手术器械: 超声刀、施夹器等 5.辅助与背景: 纱布、阻断带等
	肝脏切除术
模块B	腹腔镜	128	45,600	1.胆囊与肝床:界定剥离平面 2.胆囊三角:胆囊管、胆囊动脉(CVS关键)3.胆总管:需避开的解剖禁区 4.手术器械:电钩、抓钳等 5.环境干扰:烟雾、高反光组织
	胆囊切除术
模块C	腹腔镜	65	21,500	1.甲状腺腺体: 左右叶及峡部 2.喉返神经(RLN): 核心保护对象 3.甲状旁腺: 需识别细微纹理差异 4.关键血管: 甲状腺上/下动脉 5.背景组织: 气管、肌肉
	甲状腺切除术
模块D	腹腔镜	96	33,800	1.胃周血管: 胃左/胃网膜血管根部 2.淋巴结区域: 需清扫的脂肪组织块 3.标志脏器:胰腺、脾脏 4.网膜与系膜: 切除与保留的界限 5.手术器械: 吻合器、超声刀等
	胃癌根治术
总计	多中心	692	243,761	全解剖域覆盖
	混合数据集

2.3.3 数据预处理与标注质量控制

图 2-2 数据开发和评估流程图（以模块A 腹腔镜肝脏切除术为例）

本研究构建了标准化的数据开发与评估流程，以模块A（腹腔镜肝脏切除术）为例，

其详细流程如图 2-2 所示。研究共纳入 403 例腹腔镜肝脏切除术患者，分为内部深度学习队列（281 例）与外部验证队列（122 例）。为确保训练数据的解剖学清晰度与临床相关性，内部队列视频经由严格的“初级-高级”双级质量控制流程进行筛选。首先由初级外科医生依据预定义的解剖视觉标准进行初筛，选取解剖结构清晰（例如 Phase 2 需清晰暴露肝门结构）且识别置信度超过50%的关键帧。随后，由高级外科医生进行二次复核，一方面剔除包含烟雾、血迹或镜头偏离等视觉干扰的低质量图像，另一方面执行严格的定量阈值过滤，排除最终置信度低于90%的帧并去除冗余图像。经过该流程，共有5,934帧因未达标被剔除，最终保留136,927帧高置信度图像用于后续标注。

所有保留的帧均使用 LabelMe 软件进行像素级语义分割标注，标注对象涵盖肝实质、胆道结构、主要血管、手术器械及背景等关键区域。为量化标注的一致性，随机抽取 10%的标注样本计算 Fleiss Kappa 系数，结果为 0.88（p<0.001），表明不同标注者间具有高度的一致性。随后，数据被分层标记为不同手术阶段（Phase 0-5），并在内部队列采用 10 折交叉验证策略，将数据集划分为 10 个子集进行轮替训练与测试，以验证算法在不同数据分布下的稳定性。

此外，考虑到本研究提出的STSH-Net模型中ConvLSTM模块对时序特征的依赖，数据预处理未采用传统的单帧打散策略，而是保留了视频片段的时序结构。每个样本构建为包含 T=8 或 T=16 帧的连续序列，使网络能够有效捕捉解剖结构在时间维度上的运动规律与形变特征。

2.4 改进 Transformer 多任务感知网络

针对腹腔镜手术视频中存在的“长程时空依赖”、“多任务并发”及“异常事件稀缺”三大挑战，本研究设计了名为 Spatio-Temporal Synergistic Hyper Network（STSH-Net）的深度学习网络。本网络摒弃了传统 Transformer高计算量的自注意力机制，转而采用改进的 SSMs 作为视觉骨干，并结合 ConvLSTM 进行时序增强，实现了高精度与实时性的统一。

2.4.1 STSH-Net 网络整体架构

如下图2-3所示，STSH-Net 采用“双流混合、多级融合”的整体架构设计。

图 2-3 STSH-Net 多任务感知网络架构

1）输入层：接收连续的手术视频帧序列 { \boldsymbol { \mathrm { X } } } \in \mathbb { R } ^ { \mathrm { T \times H \times W \times C } } ，其中 T为时间步长（通常取 8-16 帧），H,W为图像分辨率。
2）编码器：采用层级视觉状态空间（hierarchical visual state space, H-VSS）架构。图像首先经过 Patch Partition 模块进行分块，随后进入四个阶段的特征提取。每个Stage 由若干 STSH-Net Block组成，负责提取从局部纹理到全局解剖结构的多尺度特征。
3）时序瓶颈层：在编码器的深层特征输出端，嵌入 TC-ConvLSTM模块。不同于普通的跳跃连接，该模块在潜在空间对帧间特征进行时序对齐和记忆更新，生成包含历史上下文的“时空混合特征”
4）多任务解码器：采用 CMD 机制，将编码器的多尺度特征与时序瓶颈层的输出进行交叉融合，通过反褶卷积恢复空间分辨率。

5）多任务输出头：

（1）分割头：输出精细的语义分割掩码。
（2）阶段识别头：基于全局特征池化进行手术阶段分类。
（3）决策感知头：结合光流触发器与 VLM 接口，输出图像清晰度评分。

2.4.2 编码器网络：层级视觉状态空间

为了解决传统 CNN 感受野受限与 Transformer 计算负担过重之间的矛盾，我们引入了基于 Mamba 的层级视觉状态空间来构建编码器。首先，通过 Patch Embedding层将输入图像 \mathbf { \boldsymbol { x } } \in \mathbb { R } ^ { \mathrm { H } \times \mathrm { W } \times 3 } 切分为4×4大小的 Patch，并将其映射为维度为 C的线性嵌入序列，使图像分辨率初步降至 \mathrm { H } / 4 \times \mathrm { W } / 4 。随后，编码器通过四个阶段进行多阶段特征提取，每个阶段利用 Patch Merging 层将分辨率逐步减半（分别为H/8、H/16和

H/32），同时将通道数对应翻倍（2C、4C和8C），并在每个阶段内部堆叠多个 STSH-NetBlock 进行深度特征建模。STSH-Net Block 构成了该架构的核心优势，相比于 ViT 的自注意力机制，它利用 SSM 的线性复杂度特性，能够在不进行下采样的情况下在全分辨率特征图上执行全局扫描。这一特性对于腹腔镜手术场景尤为关键，因为血管、胆管等细长解剖结构往往跨越整个视场，极易在传统下采样过程中丢失细节，而STSH-Net Block有效地保留了这些关键的语义信息。

2.4.3 选择性视觉状态空间模块

选择性视觉状态空间模块（selective visual state space module, SS-VSSM）。该模块是对传统 Transformer 中 MLP+Attention 结构的替代，旨在以线性复杂度实现全局感受野。其理论基础源于连续SSM，该模型通过隐状态h(t)的线性变换将1D输入序列x(t)映射到输出y(t)。其连续时间系统的常微分方程描述如下：

\begin{array}{r l} & \mathrm {h} ^ {\prime} (\mathrm {t}) = \mathrm {A h} (\mathrm {t}) + \mathrm {B x} (\mathrm {t}) \\ & \mathrm {y} (\mathrm {t}) = \mathrm {C h} (\mathrm {t}) \end{array} \tag {2-1}

其中， \mathbf { A } \in \mathbb { R } ^ { \mathrm { { N \times N } } } 为状态演化矩阵， \mathbf { B } \in \mathbb { R } ^ { \mathbf { N } \times 1 } 为输入投影矩阵， \mathbf { C } \in \mathbb { R } ^ { 1 \times \mathrm { N } } 为输出投影矩阵，N为隐状态维度。这个系统描述了状态h(t)如何随时间演化以及如何生成输出。

为了在深度学习框架中进行训练，需利用零阶保持（zero-order hold, ZOH）原理将上述连续方程离散化。通过引入时间尺度参数Δ，离散化后的参数 \mathbf { \overline { { A } } } , \mathbf { \overline { { B } } } \mathbf { \cdot } 计算如下：

\overline {{\mathbf {A}}} = \exp (\Delta \mathbf {A}) \tag {2-2}

\overline {{\mathbf {B}}} = (\Delta \mathbf {A}) ^ {- 1} (\exp (\Delta \mathbf {A}) - \mathbf {I}) \cdot \Delta \mathbf {B} \approx \Delta \mathbf {B} \quad (\text {当} \Delta \rightarrow 0)

由此导出的递推公式为 \begin{array} { r } { \mathsf { I h } _ { \mathrm { t } } = \overline { { \mathbf { A } } } \mathrm { h } _ { \mathrm { t - 1 } } + \overline { { \mathbf { B } } } \mathrm { x } _ { \mathrm { t } } } \end{array} 以及 . y _ { \mathrm { t } } = \mathbf { C } \mathrm { h } _ { \mathrm { t } } 。尽管这一形式在结构上与RNN 高度相似，但 SSM 通过特定的结构化矩阵??设计（如 HIPPO 矩阵），能够更有效地捕捉序列中的极长距离依赖关系。

传统 SSM（如 LTI 系统）的矩阵??,??,??通常是时间不变的，无法根据输入内容动态调整权重。为此，STSH-Net 引入了 Mamba 的选择性扫描机制，使参数 \mathbf { B } , \mathbf { C } , \Delta 成为输入 { \bf { \nabla } } _ { \bf { { X } } } { } _ { \mathrm { { t } } } 的函数：

\mathbf {B} _ {\mathrm {t}} = \operatorname {L i n e a r} \left(\mathrm {x} _ {\mathrm {t}}\right)

\mathrm {C} _ {\mathrm {t}} = \operatorname {L i n e a r} \left(\mathrm {x} _ {\mathrm {t}}\right) \tag {2-3}

\Delta_ {t} = \text {S o f t p l u s (P a r a m e t e r + L i n e a r} \left(x _ {t}\right))

这使得模型能够根据当前的视觉特征（如手术烟雾或器械遮挡），自适应地“遗忘”无关信息或“记忆”关键解剖结构，实现了类似 LSTM 的门控机制效果，同时通过并行扫描算法保持了高效的并行训练能力。

鉴于 SSM 本质上属于因果序列模型，无法直接处理非因果的 2D 图像数据，STSH-Net 采用了四向扫描策略来解决这一问题。该策略首先将特征图分别从左上到右下、右下到左上、右上到左下、左下到右上四个方向展开为序列，并对每个方向独立进行 SSM 处理，以捕捉不同方向的空间依赖。例如，从左上到右下的扫描可能捕捉

到血管的顺行血流特征，而反向扫描则建立逆向依赖。最终，通过以下公式将四个方向的输出特征相加融合以恢复 2D 空间结构：

\mathrm {y} _ {\mathrm {i m g}} = \operatorname {M e r g e} (\operatorname {S S M} (\mathrm {x} _ {\mathrm {d i r} 1}), \operatorname {S S M} (\mathrm {x} _ {\mathrm {d i r} 2}), \operatorname {S S M} (\mathrm {x} _ {\mathrm {d i r} 3}), \operatorname {S S M} (\mathrm {x} _ {\mathrm {d i r} 4}))

这种设计确保了 STSH-Net 能够感知解剖结构在任意方向上的连续性，有效解决了CNN感受野受限的问题。

2.4.4 时序一致性 ConvLSTM 融合模块

在编码器提取的空间特征基础上，为了有效解决视频帧间的抖动及时序不连续问题，我们在网络瓶颈处引入了改进的时序一致性 ConvLSTM（temporal consistencyconvLSTM, TC-ConvLSTM）模块。不同于全连接 LSTM 会将输入特征图展平为一维向量从而破坏空间结构，TC-ConvLSTM 的所有变换（包括输入到状态、状态到状态）均采用卷积操作。这一设计理念对于手术视频分割至关重要，因为它能够在保留解剖结构空间坐标的同时，对时序变化进行有效建模。

TC-ConvLSTM 接收编码器输出的深层特征图 \mathrm { X } _ { \mathrm { t } } 以及上一时刻的隐状态 \mathrm { H } _ { \mathrm { t } - 1 } 和细胞状态 \mathsf { C } _ { \mathsf { t } - 1 } ，通过一系列门控机制更新状态（其中∗表示卷积操作，∘表示哈达玛积，σ为Sigmoid 激活函数）。首先，输入 \lvert \mathrm { \check { J } i _ { t } } 通过公式 \mathrm { i _ { t } } = \sigma ( \mathrm { W _ { x i } } * \mathrm { X _ { t } } + \mathrm { W _ { h i } } * \mathrm { H _ { t - 1 } } + \mathrm { W _ { c i } } ^ { \sf c } ∘\mathrm { C } _ { \mathrm { t } - 1 } + \mathrm { b } _ { \mathrm { i } } ) 控制当前时刻输入信息的流入量；与此同时，遗忘门 \mathrm { f _ { t } } 通过公式 \mathrm { f _ { t } } = \sigma ( \mathrm { W _ { x f } } * \mathrm { X _ { t } } + \mathrm { W _ { h f } } * \mathrm { H _ { t - 1 } } + \mathrm { W _ { c f } } \circ \mathrm { C _ { t - 1 } } + \mathrm { b _ { f } } ) 决定上一时刻细胞状态中哪些信息需要被丢弃。这种机制使得模型具备场景适应性，例如当手术阶段从“解剖”转变为“止血”时，模型能够“遗忘”之前的解剖路径，转而关注新的出血点。

随后，模型利用公式 \mathrm { C _ { t } = f _ { t } \circ C _ { t - 1 } + i _ { t } \circ \ t a n h ( W _ { x c } * X _ { t } + W _ { h c } * H _ { t - 1 } + b _ { c } ) } 更新细胞状态 \mathrm { C _ { t } } , ，将旧状态与新输入融合形成长时记忆。最终的输出由输出门 \mathbf { o _ { t } } 控制，其计算公式为 \mathsf { o } _ { \mathrm { t } } = \sigma ( \mathsf { W } _ { \mathrm { x } _ { 0 } } * \mathrm { X } _ { \mathrm { t } } + \mathsf { W } _ { \mathrm { h } \mathrm { o } } * \mathrm { H } _ { \mathrm { t } - 1 } + \mathsf { W } _ { \mathrm { c o } } \circ \mathsf { C } _ { \mathrm { t } - 1 } + \mathsf { b } _ { \mathrm { o } } ) ，并据此生成当前时刻的隐状态 \mathrm { H } _ { \mathrm { t } } = \sigma _ { \mathrm { t } } \circ \mathrm { t a n h } ( \mathrm { C } _ { \mathrm { t } } ) 传递给解码器。通过这一完整的时序建模机制，STSH-Net不仅能够感知当前的解剖结构，还能够“记住”器官的运动轨迹和手术器械的操作历史，从而在遭遇如手术烟雾等严重遮挡情况时，利用时序记忆补全缺失的语义信息。

2.4.5 多任务反褶卷积解码与光流-VLM 协同决策机制

为了将编码器压缩的深层语义特征恢复为高分辨率的像素级预测，并解决上采样过程中的特征稀疏问题，我们提出了跨多尺度反褶卷积策略。区别于传统的双线性插值，我们采用可学习的反褶卷积层以自适应地填补像素空缺并精细恢复空间细节。同时，为了弥补深层网络中空间信息的流失，我们在解码器的每一层引入了经由 1 \times 1 卷积集成模块处理后的编码器多尺度特征，其特征融合过程形式化为：

F u s i o n _ {k} = \operatorname {C o n c a t} \left(\operatorname {U p} \left(\mathrm {D} _ {k + 1}\right), \operatorname {C o n v} _ {1 \times 1} \left(\operatorname {E n c o d e r} _ {k}\right)\right) \tag {2-5}

其中 \mathrm { D } _ { \mathbf { k } + 1 } 为下一层解码器的输出，Up 表示上采样， \operatorname { E n c o d e r } _ { \mathrm { k } } 为对应编码器特征。这种设计确保了传入解码器的特征兼具当前层级的纹理细节与来自其他尺度的上下文线索。在此基础上，解码器末端分化为三个并行分支：语义分割分支输出像素级

类别概率图 \Upsilon _ { s \mathrm { e g } } \in \mathbb { R } ^ { \mathrm { H } \times \mathrm { W } \times \mathrm { N } _ { \mathrm { c l } s } } ；阶段识别分支利用全局平均池化与 MLP 输出手术阶段概率 \mathrm { Y _ { p h a s e } \in \mathbb { R } ^ { N _ { p h a s e } } } ；图像质量评分分支则输出清晰度评分 \mathrm { Y } _ { \mathtt { q u a l i t y } } \in \mathbb { R } ^ { 1 } ，共同构建了全方位的场景感知能力。

在建立多任务感知基础后，为了赋予系统对术中出血等突发异常事件的敏锐捕捉能力，我们进一步设计了基于光流触发与 VLM 融合的智能决策模块。针对出血通常表现为液体快速、无规则扩散的动态特征，我们利用基于亮度恒定假设的光流技术进行建模。像素点 (x,y) 在时间 t 的光流约束方程定义为：

I (x, y, t) = I (x + d x, y + d y, t + d t) \tag {2-6}

对上式进行泰勒展开并忽略高阶项，可推导出光流基本方程：

I _ {x} u + I _ {y} v + I _ {t} = 0 \tag {2-7}

其中 ^ 1 \mathrm { I } _ { \mathrm { x } } , \mathrm { I } _ { \mathrm { y } } , \mathrm { I } _ { \mathrm { t } } 分别为图像在空间和时间上的偏导数，u, v为速度分量。基于此物理模型，我们计算感兴趣区域内的平均流速幅值V̄和散度∇⋅??，并定义出血触发逻辑如下：

\operatorname {T r i g g e r} _ {\text {b l e e d}} = \mathbb {1} (\alpha \cdot \bar {V} + \beta \cdot (\nabla \cdot \mathbf {V}) > \tau) \tag {2-8}

该公式表明，当流速异常且流体呈现高扩散趋势（散度大）时，系统将通过物理触发器激活警报，这种方法不依赖大量训练数据，具有极高的灵敏度。

当光流模块触发警报（trigger = 1）或手术阶段发生关键转换时，系统将进入 VLM决策融合阶段。此时，当前帧图像 \mathrm { I _ { t } } 、生成的分割掩码 \mathsf { M } _ { \mathrm { t } } 以及光流热图 \mathrm { F _ { t } } 被聚合成多模态提示词，输入至预训练的视觉语言模型（如 Qwen-QL）中。模型据此综合评估出血严重程度与解剖位置，并以文本形式输出如“警告：检测到活动性出血，建议立即检查并使用双极电凝止血”的高级决策支持。这种设计有效地结合了物理光流的实时捕捉能力与大模型的逻辑推理能力，实现了从单纯图像识别到复杂临床决策辅助的跨越。

2.4.6 STSH-Net 与主流网络架构特性对比

表 2-2 STSH-Net 与主流网络架构特性对比

算法架构	核心算子	感受野	时序建模能力	计算复杂度	异常检测机制	典型适用场景
U-Net[82]	卷积	局部	无	O(N)	隐式	静态医学图像分割
UNet++	密集嵌套卷积	局部	无	O(N)(计算量较高)	隐式	高精度静态医学分割
TransUNet[92]	卷积+池化索引	局部	无	O(N)	隐式	基础场景/道路分割
PSPNet[93]	卷积+金字塔池化	半全局	无	O(N)	隐式	复杂场景静态分割
DeepLabv3+	空洞卷积+ASPP	扩展/半全局	无	O(N)	隐式	多尺度目标静态分割
PIDNet[94]	PID三分支架构	局部+边界增强	无	O(N)(低延迟)	隐式	实时高精度静态分割
Vision Transformer (ViT)[95]	自注意力	全局	无	O(N²)	隐式	大规模自然图像/静态分割
STSH-Net (Our)[96]	状态空间模型+Conv LSTM	全局	有(TC-ConvLSTM)	O(N)	显式	实时手术影像分割导航

如表 2-2 所示，传统的 U-Net 及其变体（如 UNet++、TransUNet）虽然在医学图像分割中建立了标准，但受限于卷积操作的局部感受野，难以捕捉跨越整个腹腔视场的长距离解剖依赖（如血管走向）。为了扩大感受野，DeepLabv3+ 和 PSPNet 引入了空洞卷积或金字塔池化，但本质上仍是静态图像处理模型，缺乏对时序信息的利用。尽管 DDRNet 和 PIDNet 等网络在实时性上表现优异，适合自动驾驶等场景，但它们同样无法解决手术视频中因烟雾或遮挡导致的时序不连续问题。相比之下，VisionTransformer 虽然通过自注意力机制实现了全局感受野，但其O(N2)的计算复杂度导致推理速度难以满足术中实时性（≥ 30 FPS）的需求。

STSH-Net 通过引入 SSM，成功在保持线性计算复杂度 O(N) 的同时实现了全局感受野 ，解 决了 实 时性与 全局 感知 的 矛盾。 更重 要的 是 ，STSH-Net 独有的TC-ConvLSTM 模块使其具备了其他对比网络所缺乏的“时序记忆”能力，能够利用历史信息补全当前帧的遮挡细节。此外，STSH-Net 集成了基于光流的显式异常检测机制，使其不仅仅是一个分割网络。

2.5 模型实验

在构建了STSH-Net 理论框架与网络架构之后，本节将通过一系列详尽的实验来验证该模型在处理复杂腔镜手术场景时的有效性、稳定性与临床适用性。实验设计旨在回答三个核心问题：

第一，STSH-Net 是否能够有效克服传统 CNN 在长时间手术识别上的局限以及Transformer 在计算效率上的瓶颈。
第二，融合了 SSM 与时序记忆模块（ConvLSTM）的架构，在多场景（肝脏、胆囊、胃癌、甲状腺）下的分割精度与推理速度是否达到临床实时的应用标准。
第三，模型内部的决策逻辑是否具有可解释性，能否为外科医生提供可信的视觉依据。

为了回答上述问题，我们基于本研究构建的大规模多中心数据集进行了广泛的定量与定性分析，并与当前学术界主流的医学图像分割网络进行了横向对比。

2.5.1 STSH-Net 模型实现细节

1）硬件与软件环境

所有实验均在高性能深度学习计算集群上完成。计算节点配备 8 块 NVIDIA RTX3090 (24GB) GPU，利用 NVLink 实现高速互联，以支持大 Batch Size 的分布式训练。软件栈的操作系统为 Ubuntu 22.04 LTS；深度学习框架采用 PyTorch 1.13.1；CUDA 版本为 12.1；CUDNN 版本为 8.5。为了加速 Mamba 模块的训练，我们使用了专门优化的 causal-conv1d 和 mamba-ssm CUDA 内核库。

2）网络参数配置

输入处理:考虑到显存限制与训练效率，训练时将图像尺寸统一缩放至1024×1024，但在测试推理阶段支持 1 0 2 4 \times 1 0 2 4 或 1920×1080 的原分辨率输入。输入数据为形状 (B,T,C,H,W) 的张量，其中 Batch Size B = 4（单卡），时序长度 T = 8 帧。骨干网络 (H-VSS)采 用 四 阶 段 层 级 结 构 ， 各 阶 段 的 通 道 数 分 别 设 置 为C =[96,192,384,768]，堆叠的 Mamba Block 数量为[2,2,9,2]。时序瓶颈 (TC-ConvLSTM):隐藏层通道数设为 256，卷积核大小为 3×3，遗忘门偏置初始化为 1.0 以利于长时记忆。多任务头:分割头输出通道数为 \mathrm { N } _ { \mathrm { c l a s s e s } } ；阶段识别头包含一个全局平均池化层和两层 MLP；清晰度评分头输出单一标量。

3）训练策略与优化

损失函数 (Joint Loss)针对分割任务中严重的类别不平衡（如细小的血管 vs 大面积的背景），我们设计了组合损失函数：

\mathrm {L} _ {\text {s e g}} = \lambda_ {\mathrm {c e}} \mathrm {L} _ {\mathrm {C E}} + \lambda_ {\mathrm {d i c e}} \mathrm {L} _ {\mathrm {D i c e}} + \lambda_ {\text {b o u n d}} \mathrm {L} _ {\text {B o u n d a r y}} \tag {2-9}

其中， \operatorname { L } _ { \mathrm { C E } } 为交叉熵损失，提供像素级的分类梯度； \operatorname { L } _ { \mathrm { D i c e } } 为 Dice 损失，直接优化重叠度；LBoundary 为边界感知损失，专门惩罚边界预测的模糊性。权重系数设定为。总损失还包括辅助任务的损失：Ltotal = Lseg + 0.2Lphase + 0.1Lquality。 \mathrm { L _ { t o t a l } = L _ { s e g } + 0 . 2 L _ { p h a s e } + 0 . 1 L _ { q u a l i t y } \circ }

优化器采用 AdamW 优化器，初始学习率设为 1 \times 1 0 ^ { - 4 } ，权重衰减系数为 0.05。

训练周期:全程共训练 300 Epochs。前 20 Epochs 进行线性预热。引入 EarlyStopping 机制，当验证集 Dice 分数连续 20 Epochs 未提升时停止训练。

2.5.2 STSH-Net 模型临床部署应用

为了验证 STSH-Net 在真实临床环境中的可行性与实时性，我们将训练好的模型部署于自主研发的“MIS 智能导航移动工作站”中，并接入西安交通大学第一附属医院手术室的腹腔镜系统进行现场测试，如图 2-4 所示。为了确保不干扰现有的手术流程与医疗安全，部署平台采用了“旁路式”硬件接入方案。具体而言，腹腔镜主塔（storz4K 3D系统）输出的 SDI 或 HDMI 视频信号，通过高带宽视频采集卡实时传输至搭载了单块 NVIDIA RTX 4090 GPU 与 Intel Core i9 处理器的紧凑型高性能计算工作站。该工作站作为独立的边缘计算节点，专门负责完成视频流的解码、预处理、模型推理及后处理渲染，从而在物理层面实现了 AI 计算与医疗控制系统的解耦。

图 2-4 STSH-Net 模型临床部署

在软件层面，为了满足临床手术 30fps 以上的实时性标准并将端到端延迟控制在40ms 以内，我们对 STSH-Net 进行了针对性的工程化部署优化。利用 NVIDIATensorRT 引擎，我们将 PyTorch 模型权重转换为高性能推理引擎，并采用了 FP16 半精度量化技术。得益于本模型中 Mamba 模块的线性计算复杂度特性，相比于传统基于 Attention 的 Transformer 架构，STSH-Net 在处理高分辨率视频流时显著降低了显存占用与计算开销。此外，系统设计了“采集-推理-渲染”三级异步流水线，利用 CUDAStream 技术将视频帧的拷贝、预处理及推理过程并行化，最大程度掩盖了 I/O 延迟，确保了推理过程的流畅性。

在最终的术中交互与可视化呈现上，系统采用了双显示器策略以提供直观且无干扰的视觉辅助。如图所示，左侧主监视器保留原始高清腹腔镜视野，供主刀医生进行常规精细操作；右侧辅助监视器则实时投射 STSH-Net 的推理结果。模型对复杂的腹腔镜场景进行多任务实时感知，以半透明掩膜形式叠加语义分割信息，针对手术器械、胆囊等目标器官以及肝总管等风险区域赋予特定的颜色编码，并对分割边缘进行高斯平滑处理以避免视觉抖动。同时，模型输出的手术阶段识别结果实时显示在屏幕一侧，辅助记录关键节点，从而成功将实验室环境下的高精度模型转化为手术室中可用的实时辅助工具。

2.5.3 对比模型及评价指标

为了全面评估 STSH-Net 的性能，我们将该模型与当前医学图像分割领域的多种先进算法进行了对比。对比模型涵盖了经典的纯 CNN 架构、基于 Transformer 的混合架构以及最新的轻量化网络，具体包括：

1）U-Net：医学图像分割的基石模型，作为基准；
2）U-Net++：通过引入嵌套的密集跳跃连接，有效缩小了编码器与解码器特征图之间的语义差距，显著提升了深层与浅层特征融合的效率；
3）PSPNet：利用金字塔池化模块聚合不同区域的上下文信息，增强了模型对全局场景及多尺度特征的捕捉能力，旨在解决感受野受限的问题；

4）PIDNet：专为实时语义分割设计的轻量化网络，采用三分支架构模拟 PID 控制器机制，在保持高推理速度的同时，有效平衡了细节保留与边界精确度；
5）DeepLabv3+：代表了 CNN 时代利用空洞卷积扩大感受野的巅峰；
6）Swin-Unet：纯 Transformer 架构的 U 型网络；
7）TransUNet：结合了 CNN 与 ViT 的混合架构，是近年来高性能模型的代表。实验采用以下指标进行定量评估：

1）Dice 相似系数 (dice similarity coefficient, DSC): 衡量预测集合与真实集合的重叠程度，是最核心的指标；
2）平均交并比 (mean intersection over union, mIoU): 评估分割的准确性与稳定性；
3）95% 豪斯多夫距离 (95% hausdorff distance, HD95): 衡量预测边界与真实边界的最大偏离距离，单位为像素或毫米，数值越小越好，对边缘分割精度极敏感；
4）帧率 (frames per second, FPS): 衡量模型的推理速度，对于手术导航系统而言，≥ 30FPS 是实现实时辅助的硬性门槛；
5）参数量：衡量模型的空间复杂度。

2.5.4 模型分割结果对比

1）模块B LC 手术整体过程

图 2-5 模块 BLC 整体流程分割结果可视化

为了验证模型在真实手术环境下的稳定性，测试集涵盖了从气腹建立后的初步探查视野，到最为关键且复杂的胆囊三角暴露与解剖阶段。如表 2-3和图2-5所示，从整体的可视化效果来看，本研究提出的算法（our）生成的分割掩码与专家标注的真值在几何形态和语义细节上保持了最高的一致性，优于其他对比模型。

在面对解剖结构重叠严重、纹理特征相似的胆囊三角区域（如 IMG 3 至 IMG 6 所示）时，UNet++、UNet 及 PSPNet 等传统网络容易在胆囊、脂肪与肝脏的交界处产生明显的分割粘连、边界模糊或类别误判，且部分模型（如 UNet++）在背景区域表现出明显的碎片化噪声。相比之下，本研究算法凭借优化的特征提取与上下文聚合机制，不仅清晰、锐利地界定了各组织器官的解剖边界，有效消除了边缘锯齿效应，更在存在手术烟雾干扰和器械表面高反光的挑战性场景下（如 IMG 2 与 IMG 6），准确还原了手术器械的完整拓扑结构，成功避免了 PIDNet 等算法中常见的器械分割断裂与漏检现象。

表 2-3 模块 B LC 整体流程分割结果量化统计

Method	Index	肝脏	胆囊	胆囊三角	胆囊管	电刀	抓钳	Mean
TransUNet	mIoU	89.42	76.55	84.2	91.23	83.67	72.51	82.93
	mDice	94.56	86.69	91.35	95.69	91.4	84.29	90.66
Deeplabv3+	mIoU	90.18	77.26	83.55	91.84	86.5	73.15	83.75
	mDice	94.86	87.11	91.21	95.82	92.71	84.59	91.05
PSPNet	mIoU	85.64	70.13	75.42	88.2	79.36	66.21	77.49
	mDice	92.5	82.43	85.96	93.7	88.51	79.78	87.15
UNet++	mIoU	81.5	64.21	69.55	84.12	74.05	59.8	72.2
	mDice	89.73	78.45	82.18	91.56	85	75.13	83.68
UNet	mIoU	82.15	65.42	70.28	85.33	75.1	60.54	73.14
	mDice	90.25	79.38	82.74	92.22	85.74	75.38	84.29
Swin-Unet	mIoU	86.25	71.58	76.8	89.04	80.12	68.45	78.71
	mDice	92.69	83.45	87.02	94.16	88.98	81.32	87.94
PIDNet	mIoU	87.1	72.84	77.51	89.55	81.43	69.1	79.59
	mDice	93.19	84.5	87.31	94.59	89.9	81.65	88.52
STSH-Net (Our)	mIoU	92.55	79.82	83.9	93.15	85.88	76.4	85.28
	mDice	96.04	89.04	91.25	96.62	92.43	86.73	92.02

在具体的细分类别上，STSH-Net 展现了均衡且强大的分割能力，在肝脏（92.55%）、胆囊（79.82%）、胆囊管（93.15%）及抓钳（76.40%）等关键类别上均取得了最佳的 mIoU指标。这有力地佐证了可视化分析中的观察：即 STSH-Net 在处理器官边界时更加精准，且在器械分割上具有更高的完整度。尽管 TransUNet 在胆囊三角区域、Deeplabv3+ 在电刀类别的指标上略有优势，但综合来看，我们的 STSH-Net 凭借在多数关键解剖结构和器械上的领先优势，证明了其在复杂手术场景下具有更强的综合适应性和稳定性。

2）模块B 腹腔镜胆囊切术胆囊三角解剖识别

图 2-6 模块 B 腹腔镜胆囊切术胆囊三角解剖识别分割结果可视化

表2-4及图2-6展示了模型在 LC 中风险最高的“胆囊三角解剖”阶段的定性分割结果。对比 IMG 1 至 IMG 6 的可视化结果可知，在处理胆囊动脉这一细长且形态多变的管状结构时，UNet++、UNet 及 PSPNet 等对比网络常出现明显的分割断裂与误分类，难以保持血管的拓扑连通性；而在涉及金属夹操作的复杂场景中（如 IMG 4 与IMG 5），受限于金属表面的高光反射，Deeplabv3+ 与 Swin-Unet 等模型容易将钛夹或器械尖端误识别为周围背景组织，导致器械轮廓残缺。相比之下，本研究提出的算法凭借对细粒度特征的敏锐捕捉能力，不仅在血管解剖过程中保持了胆囊动脉分割的完整性与边缘平滑度，更在夹闭阶段准确消除了光照噪声干扰，清晰还原了施夹器与钛夹的几何形态，证实了本研究算法在处理高难度血管解剖与器械交互场景下的优越性，能够为术中血管识别与损伤提供高质量的视觉辅助。

表 2-4 模块 B 腹腔镜胆囊切术胆囊三角解剖识别分割结果量化统计

Method	Index	肝脏	胆囊	胆囊三角	胆囊管	胆囊动脉	电刀	抓钳	血管夹	Mean
TransUNet	mIoU	80.4	64.98	74.26	82.49	73.99	61.33	57.68	74.71	71.23
	mDice	89.86	79.4	85.89	91.06	85.46	76.56	73.85	85.91	83.5
Deeplabv3+	mIoU	82.06	66.32	73.18	82.29	72.09	61.06	56.79	76.77	71.82
	mDice	90.37	80.18	85.16	90.8	83.78	76.11	72.75	87.25	83.68
PSPNet	mIoU	77.54	60.54	64.69	79.57	69.39	55.45	50.78	71.06	66.13
	mDice	88.06	75.83	79.25	89.06	82.2	72.09	67.97	83.87	79.79
UNet++	mIoU	73.14	54.21	60.39	75.12	65.05	50.05	44.2	65.5	60.96
	mDice	84.77	71.02	75.78	86.17	79.3	67.18	61.75	79.62	75.7
UNet	mIoU	73.62	54.75	59.87	76.08	64.58	50.55	45.24	66.33	61.38
	mDice	85.07	71.36	75.69	87.18	78.71	67.41	63.08	80.04	76.07
Swin-Unet	mIoU	78.19	61.38	66.45	78.87	70.33	58.29	53.09	72.7	67.41
	mDice	88.17	76.79	80.19	88.46	82.97	74.03	69.49	84.82	80.62
PIDNet	mIoU	79.93	62.69	67.22	80.7	70.9	58.21	53.5	73.77	68.37
	mDice	89.2	77.72	81.05	89.69	83.19	74.25	70.14	85.25	81.31
STSH-Net (Our)	mIoU	83.32	67.8	72.12	83.05	76.01	64.5	58.79	77.54	72.89
	mDice	91.68	81.52	84.29	90.97	86.91	78.57	74.8	87.48	84.53

统计数据显示，STSH-Net 在该阶段的综合表现依然领跑，取得了最高的 mIoU72.89% 和平均 Dice 系数84.53%。特别值得注意的是，针对本阶段最为核心的“胆囊动脉”与“血管夹”两个类别，STSH-Net 展现了显著的针对性优势，其 mIoU 分别达到了 76.01% 和 77.54%，均优于次优的 TransUNet（分别为 73.99% 和 74.71%）及 Deeplabv3+。这表明算法改进策略有效地提升了模型对细小管状结构和强反光金属目标的特征提取能力。尽管 TransUNet 在胆囊三角区域的指标维持了微弱优势，但STSH-Net 在胆囊管（83.05%）、肝脏（83.32%）以及手术器械（电刀 64.50%、抓钳58.79%）等大多数类别上均实现了精度超越，证明了其在复杂解剖与高风险操作阶段具有更佳的可靠性与临床应用潜力。

3）模块C 腹腔镜甲状腺切除术

腹腔镜甲状腺切除术表 2-5 和图 2-7 展示了不同算法在模块 C 这一精细解剖扩展模块上的对比结果。此模块的主要挑战在于颈部极度狭窄的操作空间与微细解剖目标。测试旨在评估模型在纹理极度相似的背景中区分关键结构（特别是喉返神经与周围脂肪）的能力，这对于预防术中神经热损伤至关重要。

本手术场景的语义分割极具挑战性：喉返神经呈现为细微、狭长的线性结构，极易在复杂的结缔组织中发生视觉中断；而甲状旁腺体积微小且色泽与周围脂肪高度近似，存在严重的“类间相似性”干扰。观察 IMG 1 至 IMG 6 的可视化结果可知，在处理喉返神经这一关键线性目标时，UNet++、UNet 及 PSPNet 等传统网络难以维持

结构的拓扑连续性，导致神经分割掩码出现明显的断裂与碎片化（如 IMG 3 与 IMG 5所示），这在临床上可能导致神经路径的误判；针对微小的甲状旁腺目标，DeepLabv3+与 PIDNet 等算法常因特征分辨率不足而出现漏检或将其误分类为背景脂肪。相比之下，本研究提出的算法凭借对多尺度细粒度特征的有效捕获，不仅完整地保留了喉返神经的线性拓扑结构，确保了神经路径的连续与平滑，还在低对比度背景下精准界定了甲状旁腺的物理边界，有效实现了微小腺体与周围组织的语义分离，结合前述工作，证实了本研究算法具备优异的跨域泛化能力，能够为术中喉返神经的避损与甲状旁腺的“负显影”保护提供精准的视觉导航支持，具有重要的临床应用价值。

Image PSPNet

Ground truth UNet++

STSH-Net (Our) UNet

TransUNet Swin-Unet

Deeplabv3+ PIDNet
图 2-7 模块 C 腹腔镜甲状腺切除术分割结果可视化

表 2-5 模块 C 腹腔镜甲状腺切除术分割结果量化统计

Method	Index	甲状旁腺	喉返神经	双极电凝	抓钳	超声刀	Mean
TransUNet	mIoU	72.15	48.6	64.12	70.85	64.2	59.39
	mDice	84.22	66.15	78.55	83.1	78.56	74.43
Deeplabv3+	mIoU	73.5	50.25	62.8	71.4	65.1	60.77
	mDice	85.1	67.4	77.5	83.55	79.15	75.46
PSPNet	mIoU	69.8	45.5	60.2	68.5	61.8	57.8
	mDice	82.5	62.85	75.4	81.6	76.7	73
UNet++	mIoU	64.2	38.4	52.6	62.1	55.4	50.66
	mDice	78.5	55.8	69.2	76.9	71.5	66.84
UNet	mIoU	65.5	40.15	54.3	63.4	56.25	51.96
	mDice	79.45	57.5	70.6	77.85	72.2	67.98
Swin-Unet	mIoU	70.1	47.8	59.5	69.2	63.4	57.73
	mDice	82.65	65.1	74.8	82.05	77.9	72.96
PIDNet	mIoU	71.4	49.1	61.1	70.5	64.8	59.04
	mDice	83.5	66.2	76.15	82.9	78.9	74.01
STSH-Net (Our)	mIoU	76.85	53.4	61.5	74.2	68.9	62.44
	mDice	87.15	69.8	76.45	85.4	81.85	76.68

统计数据显示，STSH-Net 在整体性能上保持领先，取得了最高的 mIoU 62.44% 和平均 Dice 系数 76.68%。更为关键的是，在甲状腺手术中最受关注的“甲状旁腺”与“喉返神经”两个类别上，STSH-Net 分别达到了 76.85% 和 53.40% 的最高 mIoU，其中在极难分割的喉返神经上，其精度比次优的 Deeplabv3+（50.25%）高出 3.15 个百分点，这主要得益于算法对细长管状结构特征提取能力的增强。虽然 TransUNet 在“双极电凝”这一器械类别的分割上表现出微弱优势（64.12% vs 61.50%），但考虑到神经与腺体保护在手术安全中的核心地位，STSH-Net 在关键解剖结构识别上的卓越表现，以及在抓钳（74.20%）和超声刀（68.90%）等常用器械上的高精度分割，证明了其在多器械协同与精细解剖场景下具有更强的临床适用性与泛化稳健性。

4）模块D腹腔镜胃癌根治术

腹腔镜胃癌根治术 (LG) 针对高难度扩展模块 D（LG）的对比实验结果详见 表2-6与图2-8。胃癌根治术涉及复杂的 D2 淋巴结清扫与血管根部裸化，该测试旨在检

验模型在存在厚重脂肪堆积与视觉遮挡的情况下，对多层次血管网及淋巴结区域具备的“穿透性”感知能力与边界界定精度。

图 2-8 模块 D 腹腔镜胃癌根治术分割结果可视化

由于目前针对胃癌场景的细粒度标注数据集尚处于扩充与构建阶段，训练样本的规模与多样性相对受限，因此各模型在分割性能上相比前述胆囊与甲状腺场景存在一定程度的衰减。观察可视化结果可知，在血管周围脂肪层厚重且解剖层次多变的胃网膜区域，受限于样本特征学习的不充分，本研究算法在处理部分微细血管分支时出现了一定的边缘粗糙或欠分割现象（见 IMG 2 与 IMG 4）。然而，即便在并未达到收敛最优的“小样本”训练条件下，与 Deeplabv3+、TransUNet 及 PIDNet 等出现大面积背景误判或目标完全丢失的对比模型相比，本研究算法依然展现出了更优的泛化潜力：它能够初步定位并识别出胃短动脉与胃网膜右动脉的主干区域，保持了血管走向的基本拓扑结构，为术中关键血管的粗略定位提供了可行的视觉参考。

表 2-6 模块 D 腹腔镜胃癌根治术分割结果量化统计

Method	Index	超声刀	吸引器	抓钳	纱布	血管阻断	血管夹	胃短动脉	胃网膜右动脉	肝脏	脂肪	Mean
TransUNet	mIoU	80.15	65.22	74.55	82.1	58.45	74.12	61.55	57.9	74.95	71	80.15
	mDice	89.55	79.65	86.12	90.88	72.33	85.75	76.8	74.1	86.15	82.37	89.55
Deeplabv3+	mIoU	81.85	66.55	73.45	82.55	60.12	72.45	61.35	56.95	72.1	69.71	81.85
	mDice	90.15	80.45	85.4	91.1	73.55	83.95	76.35	72.95	87.55	82.38	90.15
PSPNet	mIoU	77.25	60.85	64.95	79.25	54.1	69.65	55.75	51.1	71.35	64.92	77.25
	mDice	87.85	76.1	79.55	88.75	68.45	82.45	72.35	68.25	84.15	78.66	87.85
UNet++	mIoU	72.85	54.45	60.65	74.85	48.95	65.35	50.25	44.55	65.85	59.75	72.85
	mDice	84.45	71.35	76.1	85.95	62.55	79.55	67.45	61.95	79.85	74.36	84.45
UNet	mIoU	73.35	54.95	60.15	76.35	50.15	64.85	50.85	45.55	66.65	60.32	73.35
	mDice	84.85	71.65	75.95	87.45	63.85	78.95	67.65	63.35	80.35	74.89	84.85
Swin-Unet	mIoU	78.45	61.65	66.75	78.55	56.45	70.65	58.55	53.35	72.95	66.37	78.45
	mDice	88.45	77.1	80.45	88.25	70.15	83.25	74.35	69.75	85.1	79.65	88.45
PIDNet	mIoU	79.65	62.95	67.55	80.45	57.85	71.25	58.55	53.85	74.15	67.36	79.65
	mDice	89.45	78.05	81.35	89.95	71.55	83.55	74.55	70.45	85.55	80.49	89.45
STSH-Net (Our)	mIoU	83.55	68.15	72.45	83.35	61.95	76.35	64.85	59.15	77.85	71.96	83.55
	mDice	91.95	81.85	84.65	91.25	75.45	87.25	78.85	75.15	87.75	83.79	91.95

尽管受限于训练数据规模，所有模型的各项指标均较 LC 任务有所下降，但STSH-Net 依然在所有对比算法中保持了最高的综合性能，其 Mean mIoU 为 71.96%，Mean Dice 为 83.79%。在针对该手术特有的关键解剖结构识别上，STSH-Net 表现出了显著的相对优势：在胃短动脉和胃网膜右动脉两个核心类别上，其 mIoU 分别达到76.35% 和 64.85%，分别高出次优模型 TransUNet 2.23 和 3.3 个百分点。此外，在吸引器（83.55%）及血管阻断（83.35%）等器械操作相关类别上，算法也维持了较高的识别精度。综上所述，这一初步实验虽然暴露了模型在数据匮乏条件下的性能瓶颈，但也证实了本算法架构在复杂腹腔多脏器解剖识别中的有效性，随着后续数据集的扩充与针对性训练，其分割精度有望得到显著提升。

5）扩展：模块 B LC 胆囊管解剖与夹闭阶段

图2-9、表2-7 进一步呈现了模型在“胆囊管解剖与夹闭”阶段的分割表现，这是建立“关键安全视窗”的核心步骤。该阶段的操作空间受到严格限制，且胆囊管往往被致密的结缔组织包裹，视觉特征模糊。模型不仅需要具备极高的灵敏度以在复杂背景中游离出细管状的胆囊管，还需克服密集操作下施夹器与多枚金属钛夹产生的复杂光影干扰（如眩光与重影）。实验结果表明，该算法能够有效抑制高频噪声，准确还原管状结构的拓扑形态。

观察 IMG 1 至 IMG 4 的对比结果可见，UNet++、UNet 及 PSPNet 等传统网络在处理细小的胆囊管结构时，难以维持管状结构的拓扑连续性，特别是在 IMG 2 中，上述算法生成的胆囊管分割掩码出现了明显的断裂或与周围脂肪组织发生错误粘连。此外，在涉及钛夹夹闭的操作场景中（如 IMG 3 与 IMG 4），受限于金属表面的高光伪影，Deeplabv3+ 与 PIDNet 等算法容易产生边缘漂移现象，难以清晰界定钛夹、器械与胆囊管之间的物理边界。相比之下，本算法凭借增强的上下文感知与特征融合机制展现出优异的稳定性，不仅在低对比度环境下保持了胆囊管形态的完整与平滑，更有效地抑制了金属反光带来的误分割，精准还原了“钛夹-胆囊管-施夹器”这一复杂交互场景的几何结构，为术中胆囊管的精准识别与安全剪断提供了可靠的视觉依据。

MG 4

Image PSPNet

Ground truth UNet++

STSH-Net (Our) UNet

TransUNet Swin-Unet

Deeplabv3+ PIDNet
图 2-9 模块BLC 胆囊管解剖与夹闭阶段分割结果可视化

表 2-7 模块BLC 胆囊管解剖与夹闭阶段分割结果量化统计

Method	Index	肝脏	胆囊	胆囊三角	胆囊管	胆囊动脉	胆总管	电刀	抓钳	血管夹	Mean
TransUNet	mIoU	86.53	71.81	87.57	79.3	65.03	66.45	66.93	62.99	81.43	74.23
	mDice	93.01	83.91	93.43	88.48	78.85	79.55	80.51	77.7	90.1	85.06
Deeplabv3+	mIoU	87.35	72.7	88.36	81.79	79.09	69.85	67.36	63.54	81.37	76.82
	mDice	93.57	84.4	93.92	90.31	88.65	82.1	80.76	78.08	89.78	86.84
PSPNet	mIoU	81.83	65.87	84.74	75.3	71.37	62.15	60.43	55.08	75.22	70.22
	mDice	90.4	79.77	91.99	86.4	83.64	76.35	75.44	71.18	85.97	82.35
UNet++	mIoU	77.5	60.49	81.23	69.88	58.25	52.3	53.47	49.46	71.29	63.76
	mDice	87.35	75.83	89.95	82.59	71.1	68.45	69.87	66.19	83.66	77.22
Unet	mIoU	78.84	60.47	81.85	71.08	59.72	51.1	54.93	49.86	72.48	64.48
	mDice	88.36	75.64	90.36	83.44	72.39	67.2	71.08	66.75	84.16	77.71
Swin-Unet	mIoU	82.36	66.06	86.22	74.96	72.82	63.55	62.04	57.58	76.76	71.37
	mDice	90.81	79.71	92.66	86.16	84.35	77.4	76.75	73.45	87.31	83.18
PIDNet	mIoU	84.32	68.18	86.13	76.27	73.79	65.8	62.46	58.92	77.69	72.62
	mDice	91.84	81.27	92.92	86.66	85.39	79.15	77.3	74.53	87.64	84.08
STSH-Net (Our)	mIoU	89.5	74.62	89.59	81.41	78.78	74.25	71.02	65.52	83.27	78.66
	mDice	94.56	85.82	94.69	89.97	88.55	84.88	83.22	79.29	91.2	88.02

在这一阶段，为了全面评估防止胆道损伤的安全性，实验特别引入了“胆总管”这一关键指标。统计显示，STSH-Net 在所有对比模型中取得了最优的综合性能，MeanmIoU 达到 78.66%，Mean mDice 达到 88.02%。尤其值得关注的是，在极易发生误损伤的胆总管类别上，STSH-Net 的 mIoU 高达 74.25%，大幅领先于 DeepLabv3+（69.85%）和 TransUNet（66.45%）。这一显著优势表明，本算法能够更精确地将胆总管从复杂的胆囊三角背景中分离出来，从而显著降低术中误判风险。尽管DeepLabv3+ 在胆囊管和胆囊动脉的单一指标上表现出极强的竞争力，但 STSH-Net凭借在胆总管、血管夹（83.27%）及手术器械（71.02%）等安全相关类别上的卓越表现，证明了其在多类别复杂协同场景下具有更高的临床应用价值与安全性保障。

6）扩展：模块 B LC 术后期的止血检查与纱布填塞阶段

图 2-10、表 2-8 评估了本研究算法在手术后期的“止血检查与纱布填塞”阶段的

泛化能力。这一阶段标志着手术视觉场景发生了显著的器械变换：随着器官切除的完成，画面焦点从解剖组织转移至创面修复。场景中不仅充斥着高反光的手术器械，还新增了形态极不规则、纹理复杂且具备柔性形变特征的辅助耗材——纱布。定性结果显示，模型能够迅速适应这种非刚性物体的形态变化，在背景纹理突变的情况下依然保持稳定的分割性能。

观察 IMG 3 与 IMG 4 可以发现，纱布作为一种非刚性物体，在被器械夹持和填塞的过程中会发生复杂的形态改变，且其白色纹理易与高亮反光的组织创面混淆。在这一极具挑战性的场景下，UNet++、UNet 及 Swin-Unet 等对比算法难以捕捉纱布的整体语义信息，导致分割结果出现严重的内部空洞与边缘破碎（如 IMG 4 所示），无法完整地将纱布从背景中剥离；同时，受限于纱布与金属器械之间的遮挡与交互，Deeplabv3+ 与 PIDNet 等模型在器械边缘的识别上表现出明显的不连续性。

相比之下，本研究提出的算法凭借对多尺度上下文信息的有效聚合，不仅精准地识别了纱布这一阶段性特有目标，保持了其分割掩码的完整性与致密性，还在器械与纱布紧密接触的交互区域，清晰地界定出了刚性器械与柔性纱布的物理边界，证实了本研究算法在应对非刚性物体形变及复杂器械交互场景下的稳定性，能够通过对关键手术器械与辅料的精准识别，为术中阶段的自动感知与异物遗留提供强有力的技术支撑。

图 2-10 模块B LC 术后期的止血检查与纱布填塞阶段分割结果可视化

表 2-8 模块BLC 术后期的止血检查与纱布填塞阶段分割结果量化统计

Method	Index	肝脏	肝总管	胆囊管	止血纱布	纱布	抓钳	Mean
TransUNet	mIoU	89.6	69.14	83.46	90.67	81.65	72.52	81.17
	mDice	94.82	82.28	91.54	95.36	90.47	84.35	89.8
Deeplabv3+	mIoU	88.62	69.73	82.95	90.91	82.19	75.54	81.66
	mDice	94.45	82.4	91.16	95.52	90.75	86.36	90.11
PSPNet	mIoU	86.02	67.46	81.9	89.67	82.43	70.65	79.69
	mDice	92.94	80.89	90.32	95.08	90.84	83.02	88.85
UNet++	mIoU	81.79	61.45	73.7	85.11	73.44	62.65	73.02
	mDice	90.54	76.57	85.38	92.36	84.95	77.26	84.51
UNet	mIoU	83.1	61.81	75.74	85.28	74.89	63.61	74.07
	mDice	91.23	76.78	86.48	92.42	85.86	78.3	85.18
Swin-Unet	mIoU	87.27	71.1	80.21	88.96	79.49	69.5	79.42
	mDice	93.69	83.6	89.51	94.63	88.89	82.26	88.76
PIDNet	mIoU	87.83	72.85	80.47	90.05	81.03	70.59	80.47
	mDice	94.03	84.84	89.72	95.16	89.73	83.16	89.44
STSH-Net (Our)	mIoU	91.09	72.73	84.42	92.18	84.02	74.99	83.24
	mDice	95.93	84.77	91.87	96.16	91.57	85.97	91.04

在这一阶段，为了适应手术内容的变更，评估指标重点涵盖了“止血纱布”与“纱布”两类关键辅料。实验结果显示，STSH-Net 再次取得了最优的平均性能，其 MeanmIoU 达到 83.24%，Mean mDice 达到 91.04%，显著优于 TransUNet（81.17%）和Deeplabv3+（81.66%）。特别是在针对柔性目标的分割上，STSH-Net 展现了极佳的适

应性：在“止血纱布”和“纱布”两个类别上，其 mIoU 分别高达 92.18% 和 84.02%，均为所有对比方法中的最高值。这表明模型能够有效克服纱布形态多变和纹理单一带来的分割困难。尽管 Deeplabv3+ 在抓钳的识别上表现出与本算法相当甚至微弱领先的性能（75.54% vs 74.99%），但 STSH-Net 在肝脏（91.09%）及胆囊管（84.42%）等解剖结构上的高精度表现弥补了这一细微差距，确立了其在包含软硬物体交互的复杂手术场景中的领先地位。

7）扩展：模块 B LC 磁牵引辅助术式

为了验证算法在新型手术场景下的通用性，我们将模型应用于“磁牵引辅助 LC”这一特殊术式，结果如图 2-11、表 2-9 所示。与常规腹腔镜手术不同，该技术引入了内部磁锚定装置以替代传统的抓钳牵引，从根本上改变了手术视野的拓扑结构与器械分布。面对具有强金属光泽、体积微小且形态独特的“磁牵拉器械”，模型展现出了优异的少样本适应能力，证明了其特征提取网络在应对未知器械与异构手术场景时的稳定性。

IMG 5

Image PSPNet

Ground truth UNet++

STSH-Net (Our) UNet

TransUNet Swin-Unet

Deeplabv3+ PIDNet
图 2-11 模块B 磁牵引辅助 LC 术式分割结果可视化

从可视化对比中可以看出，磁性装置表面极易产生高亮反光（如 IMG 2 与 IMG 4所示），导致 UNet、UNet++ 及 PSPNet 等基线网络难以准确提取其完整轮廓，常将其误判为高光的脂肪组织或器械伪影。相比之下，本研究提出的 STSH-Net 凭借对多模态特征的深层挖掘，成功克服了金属反光与解剖背景的干扰，不仅清晰还原了磁牵拉装置的圆柱状几何形态，更在“分离钳-磁装置-胆囊”这一紧密相邻的复杂交互区域中，保持了各类物体边界的独立性与清晰度，展现了算法在新型微创手术范式下的良好适应性。

表 2-9 模块B磁牵引辅助 LC 术式分割结果量化统计

Method	Index	肝脏	胆囊	脂肪	分离钳	抓钳	磁牵拉器械	Mean
TransUNet	mIoU	89.21	68.85	83.1	90.25	81.33	72.18	80.82
	mDice	94.55	82.01	91.22	95.12	90.15	84.1	89.53
Deeplabv3+	mIoU	88.95	69.95	82.66	90.54	82.45	75.88	81.74
	mDice	94.18	82.66	90.89	95.3	90.44	86.55	90
PSPNet	mIoU	85.74	67.12	81.55	89.33	82.11	70.28	79.36
	mDice	92.65	80.54	90.01	94.85	90.56	82.74	88.56
UNet++	mIoU	81.44	61.22	73.35	84.85	73.1	62.4	72.73
	mDice	90.22	76.25	85.11	92.05	84.62	76.95	84.2
UNet	mIoU	82.88	61.55	75.4	85.02	74.55	63.35	73.79
	mDice	90.95	76.44	86.15	92.11	85.55	78.02	84.87
Swin-Unet	mIoU	87.55	70.88	80.45	88.64	79.2	69.85	79.43
	mDice	93.42	83.25	89.22	94.33	88.58	82	88.47
PIDNet	mIoU	88.1	73.12	80.15	89.88	80.85	70.22	80.39
	mDice	93.88	85.05	89.44	94.95	89.44	82.88	89.27
STSH-Net (Our)	mIoU	91.35	72.95	84.75	92.44	84.33	75.21	83.51
	mDice	96.12	84.99	92.05	96.35	91.85	86.12	91.25

尽管引入了全新的干扰项，STSH-Net依然取得了全场最高的mIoU和平均 Dice 系

数（mean mDice 91.25%）。在针对关键作业工具的识别上，STSH-Net 表现尤为突出，其在负责精细操作的“分离钳”和辅助的“抓钳”类别上分别达到了 92.44% 和 84.33%的最高精度，显著优于 TransUNet 和 Deeplabv3+，确保了手术核心操作区的视觉感知准确性。虽然 Deeplabv3+ 在静态的“磁牵拉器械”识别上略有优势（75.88% vs 75.21%），PIDNet 在“胆囊”类别上微弱领先，但 STSH-Net 凭借在肝脏（91.35%）、脂肪（84.75%）及各类活跃手术器械上的全面领先，实现了对整体手术场景的最优解构，证明了其在平衡静态辅助装置与动态操作器械分割任务上的卓越稳定性。

2.5.5 模型手术阶段识别性能

为了测试整体手术阶段识别能力，我们在模块 A：腹腔肝切除术整体手术视频进行了测试，结果可见 ISA 系统展现了卓越的时序感知能力。如图 2-12所示，五个阶段分别被划分为内镜超声检查；第一肝门解剖；第二肝门解剖；肝中静脉解剖；分离病灶肝脏后切面止血观察。图 2-12顶部色带中，这些阶段依次用五种不同颜色编码。直观展示了模型预测结果与金标准注释的高度一致性。统计结果表明，ISA 在对 6 个关键手术阶段（含 Phase 0）的分类任务中，取得了 91% 的平均准确率 \left( \mathbf { p } < 0 . 0 0 1 \right) ），证明了其在长程手术视频分析中的可靠性。

图 2-12 模块A：腹腔肝切除术阶段识别结果

表 2-10 手术阶段预测混淆矩阵（百分比）

精确阶段\预测阶段	Phase 0	Phase 1	Phase 2	Phase 3	Phase 4	Phase 5
Phase 0	96.10%	1.00%	0.60%	0.60%	0.80%	0.90%
Phase 1	6.50%	89.00%	2.00%	1.00%	1.00%	0.50%
Phase 2	8.20%	1.50%	87.50%	1.50%	0.80%	0.50%
Phase 3	11.40%	0.80%	1.80%	83.50%	1.50%	1.00%
Phase 4	7.20%	0.50%	0.60%	1.20%	88.00%	2.50%
Phase 5	6.00%	0.50%	0.50%	0.50%	2.00%	90.50%

具体定量的性能分布如表 2-10的混淆矩阵所示。模型在对角线元素上表现出极高

的响应值，表明绝大多数视频帧被正确归类。其中，Phase 0（非关键步骤） 的识别准确率最高，达到 96.1%，这主要归因于背景画面的特征较为单一；Phase 5（离断后止血） 与 Phase 1（术中超声探查） 也分别达到了 90.5% 和 89.0% 的高准确率。总体而言，模型能够清晰区分腹腔镜半肝切除术的主要程序步骤，各阶段的召回率（Recall）均保持在 82% 以上。尽管总体误分类率较低（非对角线元素普遍 <8% ），但对混淆矩阵的细粒度分析揭示了特定的视觉挑战。主要的识别误差集中在关键解剖阶段向非关键阶段（Phase 0）的过渡区间。具体而言：Phase 3（第二肝门解剖）与 Phase 0 的混淆率最高（11.4%）： 这可能是因为第二肝门解剖的收尾动作往往涉及精细的管道处理，其视觉特征在某些视角下与非关键操作（如单纯的器械调整）存在相似性。Phase2（第一肝门解剖）与 Phase 0 亦存在一定混淆（8.2%）： 这种“解剖阶段被误判为背景”的现象，通常发生在阶段切换的临界帧，提示模型在处理语义模糊的过渡边界时仍有优化空间。未来的工作可以通过引入更强的时序边界约束来进一步抑制此类跳变误差。

2.5.6 模型空间焦点可视化分析

1）模型特征注意力机制演化过程

IMG 1

Image
Step 3

Step 1
Step 4

Step 2
STSH-Net Seg Result
图 2-13 模型处理 LC 不同阶段（Step 1 至 Step 4）的特征响应热图可视化

为了探究网络内部的特征提取机制，图 2-13展示了特征注意力在不同推理阶段的演变过程。初始阶段特征热图呈现出较为弥散和粗糙的状态。此时模型关注的区域较为广泛，包含了一定的背景组织和非关键区域，说明在浅层或初始阶段，网络主要捕捉全局上下文信息，尚未形成对特定目标的精确锁定。

随着处理步骤的深入，热图的高亮区域（红色热点）发生了显著的收缩与聚合。模型逐渐抑制了背景噪声（如脂肪、非手术区域）的响应，将注意力高度集中在手术器械（如抓钳）、胆囊管及关键解剖边界上。

最终结果最右侧的分割结果与 Step 4 的高响应区域高度吻合，证明了特征提取过程最终准确指导了语义分割的输出。证实本研究提出的算法具有显著的特征聚焦能力。在初始阶段（Step 1），网络关注点较为分散；随着上下文聚合模块的逐步处理（Step 2至 Step 4），无关的背景噪声被有效抑制，高维特征响应精准地收敛于手术器械与关键解剖结构上，验证了模型能够自适应地捕捉强语义相关区域。

2）手术器械轮廓聚焦机制演化过程

图 2-14 手术器械轮廓聚焦机制演化过程热图可视化

图2-14直观展示了网络内部特征响应热图随处理阶段（Step 1 至 Step 4）的逐层演化过程，图中包含了原始输入图像、中间层特征图及最终分割结果。热图颜色编码

反映了模型的空间注意力分布：暖色调代表高响应的强关注区域，冷色调表示被抑制的背景区域。在推理初期的 Step 1 至 Step 2 阶段，特征热图呈现出显著的弥散性与稀疏性，此时模型侧重于捕捉全局上下文信息，高响应区域分布分散且包含一定背景噪声，表明模型正处于初步的“全局搜索”状态。随着网络深度的增加与注意力机制的介入，特征响应在 Step 3 至 Step 4 阶段发生了质的转变，热点区域迅速向手术器械尖端、关键血管等具有明确语义的目标聚合。最终阶段的热图展现出极高的结构聚焦度，高亮区域精准勾勒出待分割组织的精细边界，而脂肪等无意义背景被有效抑制，其形态与最终生成的分割掩码表现出高度的空间一致性。

该可视化结果有力证明了 STSH-Net 具有良好的可解释性与稳定性。面对腹腔镜手术中常见的手术烟雾、液体反光等复杂视觉干扰，模型展示了优异的自适应过滤能力。通过对比首尾阶段的热图变化可见，非语义相关的环境噪声在传递过程中被层级式削弱。这种从“全局搜索”到“局部精修”的由粗到细特征提取范式，揭示了算法将“视觉注意力”稳固集中于临床关键解剖结构的内在机理，从特征层面解释了本研究算法为何能在定量实验中取得高精度的分割性能。

3）反光与纹理相似性等复杂场景下的抗干扰机制

图 2-15 模型在LC 复杂动态场景下的抗干扰机制热图可视化

面对术中常见的组织反光与纹理相似性挑战，如图 2-15所示，模型内部的特征热图显示出了优异的目标定位稳定性。通过对比 Step 1 与 Step 4 的激活图，可以清晰地看到模型是如何逐步“找到”手术器械尖端和胆囊三角区域的。算法在迭代过程中逐渐修正了对背景高光区域的错误关注，将特征激活的重心稳固地锁定在手术器械的操作端与解剖目标的物理边界上。特别是在器械与组织接触的复杂交互区，热图在 Step4 显示出了极高的激活度。这种可视化的特征响应与最终的分割结果的一致性，有力地解释了本算法在定量实验中取得高精度的内在原因，尽管 Step 1 中可能对高光区域有误响应，但在经过后续步骤的特征修正后，这些干扰区域的激活值显著降低（变蓝），而真正的解剖目标（如血管、胆囊管）保持了持续且增强的高亮响应。这直观地展示了算法模块对于假阳性特征的过滤能力。即模型成功习得并强化了对临床关键语义特征的判别能力。

2.5.7 模型对比实验

STSH-Net 是一个集成了 H-VSS 空间编码、ConvLSTM 时序建模、CMD 多尺度解码以及多任务辅助监督的复杂系统。如图表 2-11 所示，为了厘清各组件对最终性能的贡献，我们以标准的 U-Net 为基线，通过逐步添加模块的方式进行消融实验。实验均在模块 A（肝脏切除）测试集上进行。

表 2-11 STSH-Net 关键组件消融实验结果

实验编号	基础架构	空间建模	时序建模	多任务辅助	Dice(%)	mIoU(%)	HD95(px)	FPS	结论分析
Exp 1	ResNet-50 U-Net	×	×	×	83.75	76.82	14.14	45	基线模型,受限于局部感受野,大结构分割不佳。
Exp 2	H-VSS U-Net	√	×	×	88.40	81.50	9.95	68	Mamba 模块带来的增益最大(+4.65% dice),证实了全局感知的价值。
Exp 3	H-VSS + Temporal	√	√	×	90.15	83.10	7.80	58	引入时序后,分割稳定性显著提升,HD95下降,消除闪烁。
Exp 4	H-VSS + Temp + CMD	√	√	×	91.50	84.85	6.55	54	CMD模块有效恢复了微小血管的细节,进一步压低了边界误差。
Exp 5	STSH-Net (full)	√	√	√	92.02	85.28	6.25	52	多任务辅助训练提供了额外的语义约束,使特征更具判别力。

首先，H-VSS 模块在空间特征编码中起到了决定性的主导作用。实验结果显示，相较于基于纯 CNN 架构的 U-Net 基线，引入 H-VSS 模块（Exp 2）带来了 Dice 系数 +4.65% 的显著提升，这一跨越式增长证明了 SSMs 在医学图像分割任务中的核心地位。传统的卷积神经网络受限于局部感受野，往往难以捕捉大尺度的长距离依赖关系，容易导致大面积器官（如肝脏）的内部纹理差异（如阴影或反光）被错误地截断或判别为背景。相比之下，H-VSS 利用 Mamba 的线性复杂度优势实现了全局感受野

覆盖，能够从整体上理解解剖结构的拓扑连续性，从而有效修正了局部特征误判，确保了肝脏等大目标分割的完整性与一致性。

其次，时序建模模块对于提升分割结果的临床可用性至关重要。尽管从数值指标上看，引入 ConvLSTM 时序模块（Exp 3）带来的 Dice 提升（+1.75%）不及 H-VSS显著，但在视频序列的主观视觉评估中，其带来的改进具有质的飞跃。基于单帧的分割模型由于缺乏记忆机制，容易受到帧间噪声干扰，导致掩码边缘出现剧烈的“闪烁”或时断时续的现象，这在实际手术导航中极易干扰医生的判断。Exp 3 的结果表明，ConvLSTM 通过融合历史帧的特征记忆，有效平滑了预测结果的时序波动。这种时序一致性不仅提升了视觉上的稳定性，更保证了手术器械与关键解剖结构追踪的连续性，其临床应用价值远超单纯的单帧精度提升。

最后，多任务辅助监督机制展现了深度的任务协同效应。Exp 5 的实验结果证实了“手术阶段识别”任务对“像素级分割”任务具有显著的正向反馈作用。这得益于多任务学习带来的隐式知识迁移：辅助任务头迫使特征提取器学习更具辨别力的语义表征。具体而言，当网络识别出当前处于“第二肝门解剖”等高风险阶段时，共享编码器会被诱导去增强对血管、胆管等细微结构的特征响应。这种机制相当于为分割网络引入了“场景先验知识”，使其能够在特定的手术情境下自适应地调整注意力分布，从而在无需额外推理成本的情况下，通过任务间的语义互补间接提升了复杂解剖结构的分割精度。

2.6 临床验证与应用价值

为了验证 STSH-Net 在真实手术环境中的价值，我们将该算法封装为“智能手术助手（intelligent surgical assistant, ISA）”原型系统，并在医院沟通及外科培训等场景进行了非干预性的临床观察研究。

2.6.1 基于TAM 模型的数字化随访对医患沟通的优化

任何医学创新技术临床落地的终极门槛，在于医生的接受度与使用意愿。本研究将STSH-Net 定位于融入现有手术工作流的“增强智能”，并引入经典的技术接受度模型（TAM），通过对 50名涵盖各职级的临床外科医生进行结构化问卷调查，深度评估了系统的临床适用性。在感知有用性维度，系统获得了极高的评价，测量指标均显著高于基准水平。特别是在复杂手术场景中，如 Module D胃癌淋巴结清扫，在 AI提供的血管透视功能将算法层面的 mIoU 提升下，医生对手术操作更有把握，同时该项评分高达 6 . 5 2 \pm 0 . 5 8 ；同时，在肝切除术中，系统对切除平面与保留肝体积边界的精准界定，有效辅助了临床决策（6.28 ± 0.65）。

医生普遍反馈，AI 识别功能如同在心理上构建了一道安全防线，显著减轻了术中处理血管与胆管损伤时的焦虑感 ( 6 . 1 5 \pm 0 . 7 2 ) ）。在感知易用性方面，得益于 Mamba架构的线性计算复杂度，STSH-Net 在处理 1080p 高清视频流时实现了低于 40ms 的端到端延迟与超过30 FPS 的帧率，其系统响应速度评分达 6 . 6 5 \pm 0 . 4 5 。这种极致的流畅

性确保了手眼配合的自然性，彻底解决了传统 Transformer模型因延迟导致的“眩晕感”问题。

结合合理的半透明掩码设计与自动切换的关注点机制，系统在界面干扰度 ( 6 . 1 0 \pm 0.82）与学习成本（ ( 6 . 3 5 \pm 0 . 7 0 ) ）上均表现优异，对年长医生亦具有良好的亲和力。此外，该系统的价值进一步延伸至医患沟通领域，AI 生成的术后可视化三维重建报告在解释清晰度上获得了最高评分 ( 6 . 7 2 \pm 0 . 4 0 ) ），大幅提升了术前谈话与术后随访的效率。综合调查显示，92%的试用医生表现出强烈的持续使用意愿，倾向于在处理再次手术或解剖变异等复杂病例时将该系统作为常规辅助工具。

表 2-12 临床随访技术接受度调查表
(评分标准：likert 7分量表，1=强烈反对，7=强烈同意)

评估维度	测量指标	评分	95%置信区间 (CI)
感知有用性	提升解剖识别信心	6.52 ± 0.58	6.35 - 6.69
	辅助临床决策	6.28 ± 0.65	6.09 - 6.47
	减少术中精神压力	6.15 ± 0.72	5.94 - 6.36
感知易用性	系统响应速度	6.65 ± 0.45	6.52 - 6.78
	界面干扰度	6.10 ± 0.82	5.86 - 6.34
	学习成本	6.35 ± 0.70	6.15 - 6.55
总体满意度	推荐意愿	6.48 ± 0.60	6.30 - 6.66
医患沟通	术后解释清晰度	6.72 ± 0.40	6.60 - 6.84

2.6.2 对临床外科规培医师认知负荷与学习曲线优化

外科医师的培养过程通常伴随着极其漫长的学习曲线，对于处于规培阶段的年轻医生而言，从二维屏幕中重构复杂的三维解剖结构是一项巨大的认知挑战。根据认知负荷理论，人类的工作记忆容量存在物理上限，传统手术教学中，初学者往往需要消耗大量认知资源用于辨识被烟雾、出血遮挡的组织结构，这种外在认知负荷的过载严重挤占了用于手术策略思考与精细操作的内在认知负荷空间。STSH-Net 通过将隐性解剖知识显性化，充当了极其有效的“认知支架”，通过实时去雾与高亮标注关键结构（如胆囊管、喉返神经），使视觉搜索难度大幅降低。实验数据有力支撑了这一理论：使用 AI 辅助的学员在解剖结构识别考核中得分高达 8 8 . 6 ~ \pm ~ 5 . 2 ~ ，显著优于传统组的7 2 . 5 \pm 8 . 4 \ ( \mathrm { P } < 0 . 0 0 1 ) ），这证明了基于双重编码理论的视觉引导能有效增强记忆深度。

与此同时，这种认知的释放直接转化为操作心理状态的改善。NASA-TLX 评测显示，AI 辅助组的认知负荷总分从 68.4 降至 45.2，其中精神需求与受挫感维度均出现大幅下降 \mathbf { \tau } ( \mathbf { P } < 0 . 0 0 1 ) ），显著缓解了新手术者在面对复杂解剖变异时的心理焦虑。在技能习得与图式构建方面，STSH-Net 对手术阶段的标准化定义引导学员养成了规范的思维习惯。在 LC 实验中，AI 组在胆囊三角解剖这一关键步骤的耗时从 25.4 分钟缩

短至 18.5 分钟，且代表手术金标准的 CVS 达标率从 65.0% 提升至 92.5%（P =0.008）。这种实时反馈机制纠正了新手常见的冲动操作，强化了“先辨识、后离断”的规范流程。最终，这种教学效率的全面提升体现在人才培养周期的缩短上，学员获取独立手术资格的时间由 12.5 个月显著缩短至 9.0 个月。这种基于数据的客观反馈与刻意练习模式，不仅优化了学习曲线，更为外科教学从“主观经验传授”向“客观数据驱动”的转型提供了实证依据。

表 2-17 临床教学价值评价表

评估维度	评估指标	学员组别	传统教学组 (n=30)	AI辅助教学组 (n=30)	差异显著性 (P-Value)
知识掌握	解剖结构识别考核得分(0-100)	规培医师	72.5±8.4	88.6±5.2	<0.001
认知负荷	NASA-TLX认知负荷总分(0-100)	进修医师	68.4±10.5 23	45.2±8.8	<0.001
	精神需求子项	-	75.2±9.1	52.1±8.5	<0.001
	受挫感子项	-	62.8±12.3	35.4±7.6	<0.001
技能习得	关键步骤操作耗时 (min)	胆囊三角解剖	25.4±6.2	18.5±4.5	<0.001
操作规范	CVS标准化达成率 (%)	LC	65.0%	92.5%	0.008
考核通过	独立手术资格获取时间(月)	专科医师	12.5±2.5	9.0±1.8	<0.001

2.7 结论与展望

本研究针对腔镜手术中长时间手术识别、特殊事件评估及实时性要求高等核心痛点，提出了一种基于时空协同理念的改进 Transformer 多任务感知网络STSH-Net。在技术层面上，我们创新性地构建了 H-VSS 与 TC-ConvLSTM 的混合架构，该设计成功打破了传统 CNN 的感受野限制和 Transformer 的算力枷锁，在保证推理速度高达 15 FPS 的线性计算复杂度前提下，实现了长时间手术过程中的有效识别，并在 Dice、mIoU 及 HD95 等关键指标上优于 TransUNet 等既往研究的性能。与此同时，在数据生态方面，本研究整理了包含 692 例患者、逾 20 万帧精细标注的大规模 MIS 语义分割数据集 ，填补了 MIS 领域在高质量、多病种及全时序标注数据方面的空白。初步的临床转化验证进一步表明，基于 STSH-Net 的“智能手术助手”系统在临床随访与教学等场景中展现出极高的实用性。

展望未来，尽管 STSH-Net 表现优异，但仍有广阔的改进空间，后续工作将主要聚焦于以下三个维度：首先是引入联邦学习架构，以解决多中心数据共享过程中的隐私保护难题，推动模型在更广泛数据分布下的持续进化；其次是致力于轻量化边缘部署，通过模型剪枝与量化技术将 STSH-Net 移植至嵌入式手术机器人终端或 4K 内窥镜主机，实现“即插即用”的低延迟 AI 赋能；最后是探索生成式 AI 的深度应用，利用手术视频生成逼真的模拟病理场景用于外科培训与术前规划。我们坚信，随着算法与算力的双重演进，AI 终将从手术室的旁观者真正转变为外科医生不可或缺的智能合作伙伴。

3 基于动态专家机制的腹腔镜影像自适应去雾网络构建

3.1 引言

腹腔镜微创手术中，热效应能量器械（如高频电钩、超声手术系统）是实现组织精准消融与止血的核心手段[98]。然而，由于器械与生物组织间的热力学交互，瞬时释放的由细胞炭化微粒、病理性气溶胶构成的手术烟雾，已成为阻碍术者实时解剖辨识、诱发操作风险的首要生理性遮挡因素[99]-[100]。

这种由手术烟雾和镜头水雾共同构成的视觉退化，具有高度的动态性和复杂性[101]。它不仅降低了图像的对比度和清晰度，掩盖了关键的解剖结构（如胆囊三角区的血管和胆管），还可能导致颜色失真，影响医生对组织活性的判断[102]。在严重情况下，视野完全受阻，医生被迫中断手术，反复拔出镜头进行擦拭或等待烟雾消散。据统计，这不仅显著延长了手术时间，增加了麻醉风险，还可能因盲目操作导致血管或脏器损伤等严重并发症[103]。

目前临床上主要依靠物理手段清除烟雾，包括打开套管针上的阀门的被动排烟[104]、或使用专门的吸烟管或带吸烟功能的电刀的主动吸烟装置[105]、或术前使用碘伏或防雾油擦拭镜头的术前镜头防雾处理[106]。但这些方式往往都存在着需要医生手动操作、去雾有效时间短等问题。因此通过计算机视觉算法后处理的方式，实时从退化的有雾图像中恢复出清晰的无雾图像，从而实现数字穿雾成为微创手术的诉求之一。这不仅能保证视野清晰，还能避免物理排烟对气腹压的干扰，提高实时手术识别的准备度，是智慧医疗和计算机辅助外科的重要研究方向。

但当前去雾算法面对从微量雾到重度焦烟的剧烈变化，单一权重的网络模型往往难以兼顾所有场景：在轻雾下容易过度去雾导致色彩失真，而在重雾下则可能残留噪声[107]。针对术中环境的瞬息万变，本研究研制了基于动态专家协作机制（mixture ofexperts, MoE）的智能化术野增强体系（Yun-Trans）。该体系集成了实时环境评估与参数自适应调节两大技术，旨在应对不同烟雾密度的视觉适应能力，实现对复杂术中干扰的智能化识别。

3.2 腹腔镜雾气影像模型构建

3.2.1 自然大气与腹腔微环境的光学差异

参考图 3-1 中的标准大气散射模型图示，户外成像通常假设光源（太阳）位于无穷远处，入射光为平行光且强度在视场内均匀分布；同时，大气中的悬浮颗粒（如雾霾）在水平方向上通常假设为均匀介质，且相机与物体之间的距离尺度较大，背景光主要由天空光决定[108]-[109]。

但腹腔镜手术是在一个相对封闭、充满二氧化碳气腹的微小空间内进行的。这种

环境具有以下显著的光学特征，使得标准 ASM 模型失效。腹腔成像遵循距离平方反比定律，表现为术野中心区域的光照强度远超边缘，形成显著的照明失衡。这种不均匀的背景照度加剧了烟雾对图像动态范围的压缩，使得边缘处的软组织脏器解剖纹理极易被背景噪声淹没[109]。其次，双程衰减机制使得光线必须首先穿过充满烟雾的腹腔到达组织，再穿过同样的烟雾路径返回镜头，这种双程路径使得信号对烟雾浓度和深度的敏感性呈指数级增加。此外，非均匀且动态的气溶胶分布使得手术烟雾在空间上极不均匀，且随时间剧烈波动，这与相对静态的自然雾霾截然不同。光源与镜头的高度同轴性导致了剧烈的后向散射。当操作点紧邻镜头时，积聚的烟雾会瞬时形成高亮度的‘光幕效应，犹如在术者视野前拉起一道白色的‘视觉屏障’，彻底阻断了对深部脏器及神经血管束的深度感知，这是诱发误伤的关键物理诱因因此，我们不能简单沿用标准公式I = Jt+A(1−t)，需要自己构建包含光源几何因子和双程传输机制的新模型。

图 3-1 标准大气散射模型图示

3.2.2 腹腔镜气溶胶微观物理特性与散射理论

为了量化光线与手术烟雾的相互作用，需要首先分析悬浮颗粒的微观物理属性。手术烟雾是一种复杂的多分散气溶胶系统，主要包括由高频电刀、超声刀产生的烟雾和镜头冷凝在表面产生的冷凝水[98]-[99]，其光学散射行为由米氏散射理论描述。

图 3-2 腹腔镜手术雾气散射模型图示

表 3-1 腹腔镜手术气溶胶来源及其光学特性对照

气溶胶来源	物理机制	主要成分	典型粒径(r)	尺寸参数(X=2πr/λ)	散射类型	视觉特征
高频电刀[110]	组织高温热解、碳化	组织病理产生的焦烟	0.07μm-0.4μm	X<1(可见光波段)	瑞利散射	烟雾呈蓝灰色,透过率波长依赖性强
超声刀[116]-[117]	机械振动、低温空化	机械性水雾	1.0μm-5.0μm	X≥1	米氏散射	烟雾呈乳白色,散射无明显波长选择性
镜头冷凝[118]	热力学相变	附着在镜头表面的镜头冷凝水滴	>10μm	X→∞	几何光学折射	图像模糊,出现光斑和焦散

对于电刀烟雾和超声刀水雾等单一球形粒子，其散射行为由散射截面 \sigma _ { \mathsf { s c a } } 和散射相函数 P(θ) 决定[119]。电刀烟雾遵循瑞利散射区域，即当粒子半径远小于光波长 ( \mathbf { r } \ll \lambda ) 时，散射光强 \mathrm { I } _ { s \mathrm { c a } } 与波长的四次方成反比[120]：

I _ {s c a} (\theta) \propto \frac {1}{\lambda^ {4}} (1 + \cos^ {2} \theta) \tag {3-1}

这意味着蓝光（短波长）被散射得最强，而红光（长波长）穿透力最强。这解释了为何在电刀产生的烟雾中，腹腔内的红色组织（血管、肌肉）往往比蓝色物体（某些器械标记）更清晰。对于去雾模型而言，这意味着透射率 t(x) 是波长 λ 的函数，即。

而超声刀水雾形成的米氏散射区域，当粒子半径接近或大于光波长时，散射截面\sigma _ { \mathsf { s c a } } 对波长的依赖性减弱，近似为常数。此时，所有颜色的光被等量散射，导致烟雾呈现白色。米氏散射具有强烈的前向散射特性，即大部分光线被散射到前方[121]，但对于同轴照明成像系统，我们更关注的是后向散射（backscatter， \theta \approx 1 8 0 ^ { \circ } ) ），这部分光直接进入镜头形成光幕。

在实际手术中，气腹内的介质往往是上述多种颗粒的混合体。假设第 i 类颗粒的数密度为 \Nu _ { \mathrm { i } } ，散射截面为 \sigma _ { \mathsf { s c a , i } } ，吸收截面为 \sigma _ { \mathrm { a b s , i } } ，则介质的总消光系数 \mathrm { \Delta } \mathrm { \cdot } \mathrm { \beta } _ { \mathrm { e x t } } 为：

\beta_ {\mathrm {e x t}} (\lambda , \mathbf {x}) = \sum_ {\mathrm {i}} \mathrm {N} _ {\mathrm {i}} (\mathbf {x}) \cdot \left(\sigma_ {\mathrm {s c a}, \mathrm {i}} (\lambda) + \sigma_ {\mathrm {a b s}, \mathrm {i}} (\lambda)\right) \tag {3-2}

由于腹腔内烟雾主要以散射为主，吸收通常可忽略（除非存在大量碳化黑烟），因此近似认为消光系数等于散射系数。需要特别指出的是，由于手术操作的动态性，\mathrm { N } _ { \mathrm { i } } ( \mathbf { x } ) 是时间 t 和空间位置 ?? 的函数。这正是针对于腹腔镜去雾算法亟需引入“动态专家机制”的物理动因：网络需要根据当前的图像特征，动态推断介质是主导瑞利散射（需波长补偿）还是米氏散射（需对比度增强），从而调用不同的权重参数。

3.2.3 腹腔镜增强型成像模型的数学推导

基于上述物理分析，我们将推导描述腹腔镜成像过程的完整数学模型。该模型由

两部分组成：直接信号衰减项=和后向散射光幕项。

1）光源辐照度模型

假设内窥镜光源为位于原点 (0,0,0) 的点光源，其发光强度角分布为 \mathrm { I } _ { \mathrm { s r c } } ( \ r _ { \theta } ) （通常近似为朗伯源或高斯分布）。光线在充满散射介质的空间中传播。对于空间中任意一点 P，其距离光源的距离为 r，且光线方向与光轴夹角为。到达点 P 的辐照度 E(P) 受到两个因素的影响：几何扩散：能量随距离平方衰减，即。

介质消光：能量随光程指数衰减，即根据比尔-朗伯定律。因此，点 P 处的入射辐照度为：

E _ {i n} (P) = \frac {I _ {s r c} (\phi)}{r ^ {2}} e ^ {- \int_ {0} ^ {r} \beta_ {e x t} (s) d s} \tag {3-3}

为了简化模型以便于计算，假设介质在光路局部是均匀的（系数为 β），则：

E _ {\mathrm {i n}} (P) = \frac {I _ {\mathrm {s r c}} (\phi)}{r ^ {2}} e ^ {- \beta r} \tag {3-4}

2）直接信号衰减项 D(x)

这是我们希望恢复的携带组织信息的信号光。当光线照射到组织表面（设其位置为 \mathrm { P _ { o b j } } ，距离镜头距离为 d(x)）时，组织发生反射。设组织的表面反射率为 \rho ( \mathbf { x } ) （即潜在的清晰图像 J(x) 的核心成分）。反射光从组织表面返回相机，再次经过距离 d(x)的介质衰减。因此，相机传感器在像素 x 处接收到的直接反射光强 D(x) 为：

D (x) = \left(\frac {I _ {0}}{d (x) ^ {2}} e ^ {- \beta d (x)}\right) \cdot \rho (x) \cdot e ^ {- \beta d (x)} \tag {3-5}

其中， \left( \frac { \mathrm { I } _ { 0 } } { \mathrm { d } ( \mathrm { x } ) ^ { 2 } } \mathrm { e } ^ { - \beta \mathrm { d } ( \mathrm { x } ) } \right) 为入射光照度， \rho ( \mathbf { x } ) 为表面反射率， \operatorname { e } ^ { - \beta \mathrm { d } ( \mathrm { x } ) } 为回传路径衰减。合并同类项后，我们得到腹腔镜特有的双程衰减模型：

D (x) = \frac {I _ {0} \rho (x)}{d (x) ^ {2}} e ^ {- 2 \beta d (x)} \tag {3-6}

标准大气散射模型中的信号项为。与之相比，腹腔镜模型多了一个 \mathrm { e } ^ { - \beta \mathrm { d } ( \mathrm { x } ) } 因子（双程衰减）和一个几何因子。这表明，随着深度 \operatorname { d } ( \mathbf { x } ) 的增加，腹腔镜图像的信号强度衰减速度远快于户外雾霾图像。深部组织不仅被烟雾遮挡，更因为光照不足而变得极暗。

这解释了目前手术中常见的现象：在严重烟雾下，医生往往完全看不清深部结构（如胆囊三角区），这不仅是对比度降低的问题，更是信噪比（SNR）急剧恶化的问题。

3）后向散射光幕项 B(x) 的积分推导

这是导致图像“发白”、“起雾”的主要原因，对应标准模型中的大气光项。在腹腔镜中，由于光源与相机同轴，光照体积与观测视锥体高度重合，这导致极其严重的后向散射。

考虑从相机光心发出并通过像素 x 的视线。在这条视线上，从距离 z = 0 到 z =

d(x) 的每一个微元体积 dV 内的烟雾颗粒，都在接收光源照射并将部分光线散射回相机。

在深度 z 处，薄层烟雾 dz 接收到的光照强度为。该处的单位体积散射强度由散射系数 β 和后向散射概率（相函数 P(π)）决定。这部分散射光传回相机，需再次经过距离 z 的衰减。因此，总的后向散射光强 B(x) 是视线上所有微元散射贡献的积分：

\mathrm {B} (\mathrm {x}) = \int_ {\mathrm {z} _ {\min }} ^ {\mathrm {d} (\mathrm {x})} \left(\frac {\mathrm {I} _ {0}}{\mathrm {z} ^ {2}} \mathrm {e} ^ {- \beta \mathrm {z}}\right) \cdot \beta \mathrm {P} (\pi) \cdot \mathrm {e} ^ {- \beta \mathrm {z}} \mathrm {d z} \tag {3-7}

假设散射介质均匀且相函数恒定（令 \mathrm { k } = \mathrm { I } _ { 0 } \beta \mathrm { P } ( \pi ) ），则积分简化为：

\mathrm {B} (\mathrm {x}) = \mathrm {k} \int_ {\mathrm {z} _ {\min }} ^ {\mathrm {d} (\mathrm {x})} \frac {\mathrm {e} ^ {- 2 \beta \mathrm {z}}}{\mathrm {z} ^ {2}} \mathrm {d z} \tag {3-8}

这个积分项揭示了腹腔镜雾气影像的一个关键特性：由于分母 z ^ { 2 } 的存在，散射光的主要贡献来自于靠近镜头的区域。当 z 很小时（近处烟雾）， 1 / z ^ { 2 } 极大，e−2βz 接近1，产生极强的光幕。

这解释了为什么一旦镜头前方有浓烟或水雾，整个画面会瞬间“白茫茫”一片（washout effect），完全掩盖后方的组织。这种光幕不仅降低了对比度，还引入了与组织结构无关的高亮度信号，压缩了相机的动态范围。

4）镜头表面冷凝的 PSF 卷积模型

除空间散射外，镜头表面冷凝形成水雾的影响也至关重要。这是表面退化，而非体积退化。微小的水珠在镜头表面形成透镜阵列，导致光线折射错乱，造成图像模糊。这种效应在数学上建模为清晰图像与点扩散函数（point spread function, PSF）的卷积：

I _ {\text {b l u r}} (x) = I _ {\text {c l e a r}} (x) \otimes h (x) \tag {3-9}

其中 h(x) 是由水珠尺寸分布决定的模糊核。通常对于水雾，可近似为高斯核或像差盘。

5）统一的腹腔镜增强型成像模型

综合考虑空间双程衰减、体积后向散射以及表面模糊，我们构建出完整的物理成像模型：

I (x) = \left(\frac {I _ {0} \rho (x)}{d (x) ^ {2}} e ^ {- 2 \beta d (x)} + k \int z _ {\min } ^ {d (x)} \frac {e ^ {- 2 \beta z}}{z ^ {2}} d z\right) \otimes h _ {\text {f o g}} (x) + n (x) \tag {3-10}

其中I0ρ(x) e \mathfrak { I } \frac { \mathrm { I } _ { 0 } \rho ( \mathrm { x } ) } { \mathrm { d } ( \mathrm { x } ) ^ { 2 } } \mathrm { e } ^ { - 2 \beta \mathrm { d } ( \mathrm { x } ) } −2βd(x)是直接衰减信号，k ∫ \mathrm { Z _ { m i n } } ^ { \mathrm { d ( x ) } } \frac { \mathrm { e } ^ { - 2 \beta z } } { z ^ { 2 } } \mathrm { d } z zmin d(x) e−2βz z2 是后向散射光幕信号， \mathrm { h } _ { \mathrm { f o g } } ( \mathrm { x } ) 是表面水雾模糊核， n(x) 为传感器噪声。

3.2.4 腹腔镜增强型成像模型对算法设计的指导

1）需要完善的空间注意力机制：从公式可见，无论是信号项还是背景光项，都显式地包含了深度 d(x) 的非线性函数。特别是后向散射光 B(x)，其强度随深度的分布极不均匀。这证明了去雾网络不能使用全局统一的参数（如标准 ASM 中的全局大气光

A），而必须具备空间适应性。

腹腔镜去雾算法必须采用可以捕捉长距离的像素依赖关系的 Transformer结构，才能通过全局信息推断局部的深度 d(x) 和散射强度 B(x)，从而实现对非均匀光幕的精准去除。

2）需要一种（MoE）：物理模型显示，散射系数 β 和模糊核 \mathrm { h } _ { \mathrm { f o g } } 随手术操作（电刀 vs 超声刀）和环境状态（烟雾 vs 冷凝）剧烈变化。

情境A（干烟/瑞利散射）中 β 具有波长依赖性（蓝光衰减大），主要表现为颜色失真和深部变暗。模型主要退化项为。此时网络应侧重于光谱校正和亮度提升。情境 B（水雾/米氏散射）中 β 无波长依赖，主要表现为对比度下降。模型主要退化项为后向散射积分。此时网络应侧重于去光幕和局部对比度增强。情境 C（镜头冷凝）中主导项为卷积操作。网络需要进行盲去卷积或超分辨率重建。

单一的卷积网络难以同时最优地处理这三种物理机制截然不同的退化。需要引入动态专家机制（MoE），通过“雾浓度感知分类器”实时识别当前的物理情境，并通过“超参数选择网络”动态生成权重，自适应地切换求解上述物理反问题的数学算子，使得算法能够兼顾“去雾彻底性”与“图像保真度”。

3）对传统暗通道先验失效的解释：标准 ASM 模型假设 A 为常数且无穷远。而在我们的模型中，后向散射光 B(x) 来自近场高亮度区域。加之腹腔内充满红色的血液和组织，导致红通道强度极高，不满足 DCP 的“暗通道趋于零”的假设。我们的模型证明了在医学场景下，必须摒弃基于统计先验的传统方法，转向基于物理模型驱动的数据驱动方法。

3.3 术中实时识别去雾算法的设计

3.3.1 传统图像增强与物理模型方法

早期的去雾算法主要基于图像增强技术，如直方图均衡化（HE）[122]、Retinex 理论[123]等，旨在提升图像对比度。但这些方法忽略了雾气生成的物理机制，往往导致噪声放大和色彩失真[124]。

随后的研究转向基于大气散射模型（atmospheric scattering model, ASM）的物理恢复方法。其中最著名的是何恺明等人于 2009 年提出的暗通道先验（dark channel prior,DCP）算法[125]。DCP 假设在无雾图像的非天空区域，至少有一个颜色通道的像素值极低。然而，这一假设在腹腔镜图像中常常失效，主要因为：白色物体如手术器械、纱布等在所有通道的像素值都很高，易被误判为浓雾；腹腔环境以红色黏膜、肌肉和血液为主，缺乏蓝绿色成分，导致暗通道计算偏差；以及腹腔镜使用近距离点光源，光照不均匀，与ASM 模型假设的光源来自无穷远处（太阳光）不同，导致透射率估计错误。

3.3.2 基于深度学习的去雾方法

随着卷积神经网络（CNN）的兴起，数据驱动的去雾方法逐渐成为主流。早期 CNN模型如 DehazeNet[126]和 AOD-Net[127]，通过学习有雾图像到透射率图的映射，实现了端到端的去雾。其中，AOD-Net 通过参数重构，将大气光和透射率整合为一个变量进行估计，具有轻量、快速的特点，但在处理浓雾时能力有限[127]。

生成对抗网络（GAN）如 EPDN，利用 GAN 的对抗训练机制生成视觉逼真的图像[128]，但 GAN 生成的图像有时会产生虚构的纹理，这在医学影像中是不可接受的。

注意力机制与 Transformer 方面，FFA-Net 引入了特征融合注意力机制，MixDehazeNet 结合了 CNN 和 Transformer 的优势，这些 SOTA（state-of-the-art）模型在自然场景数据集（如 RESIDE）上表现优异[129]，但在医学场景下，由于缺乏针对性的训练数据和对特定光学特性的考虑，往往出现泛化能力不足的问题。

图 3-3 基于动态专家机制的腹腔镜影像自适应去雾 Yun-Trans 网络

3.3.3 Yun-Trans 算法设计理念

当前腹腔镜去雾的核心挑战是“动态性”与“非均匀性”。手术中，烟雾浓度随电刀功率、组织性质及气流环境瞬时变化[100]，而现有深度学习模型普遍采用固定权重，不得不在“去雾彻底性”与“图像保真度”之间折中：轻雾时易过度增强，把粉色黏膜漂成惨白；重雾时又去雾不足，残留噪点。更棘手的是，单一网络难以同时应付“水雾”（mie 散射，白色大颗粒）与“焦烟”（rayleigh 散射，蓝灰色小颗粒）的混合干扰，缺乏自适应能力。

为此，本文提出基于动态专家机制（mixture of experts, MoE）的自适应腹腔镜去雾网络 Yun-Trans。该网络根据烟雾特征在线调度不同专家子网，实现浓度与类型的双重自适应；同时结合烟雾产生的物理模型，在临床多中心进行多阶段验证，兼顾去

雾保真与实时稳定。

3.3.4 Yun-Trans 算法工作流程及设计细节

1）特征编码设计：特征编码器的输入为 H×W×3 的有雾图像。首先，图像经过一个 3×3 卷积层进行浅层特征提取，映射到特征空间。随后，数据进入包含 3 个层级（level 1-3）的多级编码阶段，每个层级由若干 Transformer Block 组成。这里的Transformer Block 采用了 restormer 中的设计，包含 MDTA（multi-Dconv Head TransposedAttention）和 GDFN（gated-Dconv Feed-Forward Network）。其中，MDTA 利用跨通道的自注意力机制，其计算复杂度与分辨率呈线性相关，特别适合处理高分辨率的手术视频。在层级之间，网络通过下采样层连接，使特征图尺寸逐级减半同时通道数加倍。最终，编码器输出包含丰富语义信息的深层特征。
2）雾浓度感知与动态权重生成：此部分由退化感知分类器和超参数选择网络组成，构成了Yun-Trans 的核心大脑。首先，退化感知分类器旨在从深层特征 \mathrm { F _ { g } } 中提取描述全图烟雾状态的全局向量。编码器输出的 \mathrm { F _ { g } } 经过 ResNet Blocks 进一步抽象特征后，通过全局平均池化将空间维度压缩以聚合全局信息，公式如下：

\mathrm {V} _ {\text {g a p}} = \mathrm {G A P} \left(\mathrm {F} _ {\text {R e s}}\right) = \frac {1}{\mathrm {H} ^ {\prime} \mathrm {W} ^ {\prime}} \sum_ {\mathrm {h}, \mathrm {w}} \mathrm {F} _ {\text {R e s}} (\mathrm {h}, \mathrm {w},:) \tag {3-11}

输出的向量维度为。随后，全连接层将 \mathrm { V _ { g a p } } 映射为两个输出：一个是 6维的Logits向量，对应0-5级烟雾浓度，通过 Softmax 计算分类概率以辅助训练损失函数，确保网络学会区分烟雾浓度；另一个是携带丰富退化特征（如浓度、颜色偏向、颗粒分布）的全局信息向量（GIV, \mathrm { V _ { g } } ) ），作为HSN 的输入。

紧接着，超参数选择网络根据 \mathrm { V _ { g } } 生成解码器的参数。首先通过全连接神经网络和 Softmax 函数生成选择向量 \mathrm { v } _ { \mathrm { s } } ，计算公式为 \mathrm { V _ { s } = \sigma ( F C N N ( V _ { g } ) ) } ，其中 \mathrm { v } _ { \mathrm { s } } 是一个满足 ∑ N \begin{array} { r } { \sum _ { \mathrm { i } = 1 } ^ { \mathrm { N } } \mathrm { V } _ { \mathrm { s } } ^ { \mathrm { i } } = 1 } \end{array} 的 N 维向量（本研究中 \Nu = 6 ) ）， \mathrm { v _ { s } ^ { i } } 代表第 i 个专家在当前任务中的权重。该模块采用了专家混合策略，预设一个包含 N 组基参数的专家权重箱\mathcal { W } = \{ \mathrm { W } _ { 1 } , \mathrm { W } _ { 2 } , \dots , \mathrm { W } _ { \mathrm { N } } \} ，每组参数对应一种特定的卷积核配置（例如针对轻微水雾或重度焦烟的滤波器）。最终生成的动态参数 \mathrm { \Delta w _ { d y n a m i c } } 为各基参数的加权和：

w _ {d y n a m i c} = \sum_ {i = 1} ^ {N} V _ {s} ^ {i} \cdot W _ {i} \tag {3-12}

这一过程在推理阶段仅需进行一次矩阵乘法，计算开销极小，却实现了参数的动态自适应。
3）动态解码器： 解码器由包含中间层 Level 4 和上采样层 Level 1-3的四个层级组成，其核心组件是 HyperTrans Block。该模块结构与标准 Transformer Block 类似，但

其内部卷积层（如 MDTA 中的 1×1 投影层）的权重不是固定的，而是由 HSN 生成的 \mathbf { W _ { d y n a m i c } } 填充。对于输入特征 x，标准卷积操作为 \mathrm { y } = \mathrm { x } * \mathrm { W } _ { \mathrm { f i x e d } } ，而在 HyperTransBlock中，利用卷积的线性分配律，操作变为：

y = x * w _ {d y n a m i c} = x * \left(\sum_ {i = 1} ^ {N} V _ {s} ^ {i} W _ {i}\right) = \sum_ {i = 1} ^ {N} V _ {s} ^ {i} \left(x * W _ {i}\right) \tag {3-13}

这意味着网络实际上是在并行地用 6 个专家处理图像，然后根据 DAC 的判断动态融合专家的意见。例如，在重雾图像中，擅长去雾专家的权重 \mathrm { V _ { s } ^ { h e a v y } } 会变大；而在轻雾图像中，擅长保真专家的权重 \mathrm { V } _ { \mathrm { s } } ^ { \mathrm { l i g h t } } 则占据主导。

4）损失函数与训练策略：为了兼顾去雾效果和视觉自然度，我们采用了混合损失函数，其总公式为。该函数由三部分组成：首先是 \mathrm { C h a r b o n n i e r \ L o s s \ ( \mathcal { L } _ { \mathrm { c h a r } } ) } ，这是一种稳定的 L1 损失，用于像素级重建，公式为 \mathcal { L } _ { \mathrm { c h a r } } = \sqrt { | | \mathrm { I } _ { \mathrm { p r e d } } - \mathrm { I } _ { \mathrm { g t } } | | ^ { 2 } + \epsilon ^ { 2 } } ; ；其次是基于预训练 VGG 网络特征距离的 \mathrm { P e r c e p t u a l \ L o s s \ ( \mathcal { L } _ { p e r } ) } ，用于保证视觉纹理的自然度；最后是 Classification Loss (ℒcls)，即交叉熵损失，公式为 \begin{array} { r } { \mathcal { L } _ { \mathrm { c l s } } = - \sum \ \mathrm { y } _ { \mathrm { l a b e l } } \mathrm { l o g } \left( \mathrm { p } _ { \mathrm { l o g i t s } } \right) } \end{array} ，用于监督DAC 模块对烟雾浓度的分类准确性，确保动态权重的生成基于正确的退化判断。

3.3.5 Yun-Trans 算法的核心贡献

1）物理机理与光学模型的深度解析： 详细分析了能量器械导致组织汽化、碳化的热力学过程，以及不同粒径烟雾颗粒的光学散射特性，修正了适用于近场点光源的大气散射模型，为算法设计提供了坚实的物理基础。
2）动态专家混合网络（Yun-Trans）的构建： 创新性地引入了“退化感知分类器”（DAC）与“超参数选择网络”（HSN）。该网络不依赖固定参数，而是根据输入图像的烟雾特征，动态生成卷积核权重。这种“看菜下碟”的机制，实现了对从微量水雾到重度焦烟的全场景自适应处理。
3）多维度、深层次的实验验证： 构建了包含 128 例真实手术视频的数据集，进行了被称为“高浓度烟雾仿真实验”的算法对比。不仅在PSNR、SSIM 等传统指标上均显著优于传统8 种主流算法（ \scriptstyle \left( \mathbf { P } < 0 . 0 0 1 \right) ），还在语义分割等下游任务中表现卓越。
4）临床转化价值验证： 通过回顾性临床对照研究，量化了算法对手术效率（如擦拭次数、烟雾干扰时间）的提升作用，证明了其在实际手术导航中的应用潜力。

3.3.6 开发及运行环境及硬件配置

算法部署于高性能计算平台，以确保图像处理的实时性。主要软硬件环境及参数如下表所示：

表 3-2 开发环境

具体环境	版本号
操作系统	Ubuntu 22.04 LTS
Python	3.11.9
CUDA	11.8 / 12.1
CUDNN	8.9.2
Torch	2.0.1+cu118
Torchvision	0.15.2+cu118
Timm	0.9.2
OpenCV-Python	4.7.0.72

表 3-3 开发服务器硬件配置

硬件名称	信息
服务器平台	华硕 ESC8000-E11 (准系统)
处理器 (CPU)	Intel Xeon 8475C 3.80 GHz 52 Cores * 2
内存	512GB
显卡 (GPU)	Nvidia GeForce RTX 3090 Graphics Card 24 GB * 8

3.4 腹腔镜影像数据筛选标准及雾气浓度分类指标

3.4.1 临床数据来源及筛选标准

选取2022年9月至2023年4月在西安交通大学第一附属医院行LC的128例胆结石患者作为研究对象。其中男性 78例，女性 40例；年龄31～66 岁，中位年龄 53岁。纳入标准：1）临床诊断明确为胆囊结石及急性胆囊炎；2）行 LC 手术；3）手术视频资料完整。排除标准：术中发现胆囊三角解剖结构变异较大（如胆囊动脉、胆囊管分支异常）导致手术流程差异显著者。所有研究均获伦理委员会批准（编号：No.XJTU1AF2023LSK-429）。

3.4.2 临床数据分组与观察指标

根据术中是否采用智能化去雾技术，将患者分为对照组（常规监视器）和智能去雾组（智能化去雾监视器）。

主要观察指标包括：

1）烟雾持续时间：术中因烟雾导致视野受阻的总时长；
2）擦拭操作：术中取出腹腔镜进行擦拭的次数及总耗时；
3）算法性能：智能化识别与去雾处理的单帧耗时；

雾气严重程度分级：由两位高年资医师共同评估，分为五级（见图 3-4）。

a

b

c

d

e
图 3-4 腹腔镜中雾气严重程度级

上图 3-4 腹腔镜雾气等级分级分级标准：一级（非操作区局部雾气）；二级（操作区局部雾气，需辨识边界）；三级（操作有风险，需等待消散）；四级（无法操作，需辅助去雾）；五级（完全无法辨识，必须辅助去雾）。

3.5 基于动态专家机制的腹腔镜影像自适应去雾网络性能评估

3.5.1 高浓度烟雾仿真实验算法描述

为了全面验证本研究提出的 Yun-Trans 算法在临床去雾场景中的有效性与先进性，我们选取了从 2009 年至 2024 年间具有代表性的 8 种去雾算法作为对照组。这些算法涵盖了从传统的物理先验方法到最新的混合架构深度学习模型，构成了完整的技术演进对比链条。以下是对这些对照算法的详细介绍及相关信息表：

3.5.2 高浓度烟雾仿真实验测试

我们将高浓度烟雾仿真实验选取的对照算法分为以下几个发展阶段进行对比分析：

1）传统物理先验阶段：以 DCP (2009)[130] 为代表。该算法基于“暗通道先验”理论，通过统计规律估算大气光和透射率。虽然经典，但在处理手术图像（特别是白色反光或特定组织颜色）时，容易出现严重的色彩失真和对比度异常。
2）早期 CNN 与轻量化阶段： 包括 DehazeNet (2016)[126] 和 AOD-Net (2017)[127]。DehazeNet 是早期利用 CNN 学习透射率图的代表；AOD-Net 则通过 K-estimation 模块实现了端到端的参数生成，因其轻量化特性常被用作速度对比的基准，但在重雾下的去雾能力有限。
3）生成对抗与多尺度增强阶段： EPDN (2019)[131] 引入了生成对抗网络，利用增强器和判别器的对抗博弈来生成更逼真的去雾图像。MSBDN (2020)[132] 则通过多尺度增强和密集特征融合，旨在解决不同尺度下的雾气遮挡问题。
4）注意力机制与流模型阶段：FFA-Net (2020) 引入了特征融合与像素/通道注意力机制，显著提升了网络对厚雾区域的关注度。RIDCP (2023)[133] 则基于流模型进行先验学习，更侧重于真实场景的适应性。
5）最新混合架构阶段（hybrid architecture - SOTA）： MixDehazeNet (2024) 是目前的 State-of-the-Art（SOTA）算法，它结合了 CNN 和 Transformer 的优势，通过多维注意力机制处理复杂雾气。将其纳入对比旨在验证 Yun-Trans 在面对最新技术时的竞争力。

表 3-4 具体算法信息表

算法名称	发表时间	文献来源	开源状态	核心机制与特点
DCP	2009	CVPR / TPAMI	是	物理先验：基于暗通道先验（Dark Channel Prior）理论，通过统计规律去雾。
DehazeNet	2016	IEEE TIP	是	早期CNN：通过卷积神经网络学习透射率图，是深度学习去雾的早期探索。
AOD-Net	2017	ICCV	是	轻量化CNN：采用端到端参数生成(K-estimation)模块，模型轻量，推理速度快。
EPDN	2019	CVPR	是	GAN：基于生成对抗网络，包含增强器和判别器，通过对抗学习提升视觉质量。
FFA-Net	2020	AAAI	是	注意力机制：结合特征融合与像素/通道注意力，增强对特征的提取能力。
MSBDN	2020	CVPR	是	多尺度：利用多尺度增强与密集特征融合技术，处理不同频率的图像信息。
RIDCP	2023	CVPR	是	真实场景：基于流模型（flow-based）的先验学习，针对真实有雾场景进行优化。
MixDehazeNet	2024	CVPR	是	混合架构：结合CNN与Transformer的优势，利用多维注意力机制，是目前的最好的识别方法。

通过与上述 8 种不同机制、不同时期的算法进行对比，我们能够全方位地评估Yun-Trans 在图像保真度（对比 DCP、DehazeNet）、处理效率（对比 AOD-Net）、去雾彻底性（对比FFA-Net）以及泛化能力（对比 MixDehazeNet）等方面的综合表现。

3.5.3 手术图像去雾背景下高浓度烟雾仿真实验结果展示与量化分析

图 3-5 直观展示了本章提出的算法（Our）与 DCP、DehazeNet、AOD-Net、EPDN、FFA-Net、MSBDN 及 RIDCP 等主流去雾算法在不同雾气浓度等级下的实验结果对比。通过定性观察可知，DCP 算法在处理中重度雾气时极易出现色彩失真及画面亮度过暗的问题，而 AOD-Net 和 DehazeNet 等模型在面对高浓度雾气环境时，仍存在较明显的雾气残留，导致手术视野清晰度改善有限。相比之下，本算法在从轻度到重度的全级别雾气任务中均表现出一定的优越性：在保持与原始图像（Ground Truth）高度一致的色彩还原度的同时，能够消除非均匀雾气干扰，其恢复出的手术器械轮廓及组织纹理细节更为清晰自然。这充分验证了本章所构建的基于动态专家机制的自适应去雾网络具有极强的稳定性，能够有效应对复杂多变的微创外科腹腔镜环境。

图 3-5 各算法对不同雾气分级去雾效果对比

表 3-5 轻度雾图像去雾算法效果

Methods	PSNR ↑	SSIM ↑	NIQE ↓	RI ↑	VI ↑
DCP (CVPR 2009)	18.45	0.762	3.512	0.921	0.754
DehazeNet (TIP 2016)	22.18	0.824	3.105	0.935	0.789
AOD-Net (ICCV 2017)	20.55	0.813	3.224	0.93	0.762
EPDN (CVPR 2019)	23.46	0.865	2.956	0.941	0.815
FFA-Net (AAAI 2020)	27.85	0.942	2.518	0.962	0.882
MSBDN (CVPR 2020)	26.98	0.935	2.645	0.958	0.872
RIDCP (CVPR 2023)	28.15	0.945	2.412	0.955	0.875
MixDehazeNet (CVPR 2024)	28.56	0.952	2.385	0.959	0.878
Yun-Trans (Proposed)	28.92	0.846	2.305	0.931	0.885

在轻度雾气环境下，Yun-Trans 算法测得的峰值信噪比（PSNR）为 28.92 dB，在所有对比算法中数值最高，优于 MixDehazeNet 的 28.56 dB 和 RIDCP 的 28.15 dB。同时，Yun-Trans 的自然图像质量评价（NIQE）指标为 2.305，低于 MixDehazeNet 的 2.385和FFA-Net的2.518，显示出较好的图像自然度。该阶段Yun-Trans的结构相似性（SSIM）为0.846，略低于MixDehazeNet 的0.952。整体数据表明，在轻微干扰下，该算法在信号恢复准确度和自然度方面具有数值优势。

表 3-6 轻中度雾图像去雾算法效果表

Methods	PSNR ↑	SSIM ↑	NIQE ↓	RI ↑	VI ↑
DCP (CVPR 2009)	16.83	0.709	3.807	0.908	0.733
DehazeNet (TIP 2016)	20.76	0.785	3.479	0.924	0.767
AOD-Net (ICCV 2017)	19.34	0.762	3.574	0.918	0.745
EPDN (CVPR 2019)	21.81	0.829	3.186	0.933	0.798
FFA-Net (AAAI 2020)	26.18	0.919	2.705	0.953	0.859
MSBDN (CVPR 2020)	25.43	0.909	2.829	0.949	0.848
RIDCP (CVPR 2023)	26.70	0.925	2.614	0.945	0.86
MixDehazeNet (CVPR 2024)	27.36	0.885	2.571	0.954	0.868
Yun-Trans (Proposed)	27.52	0.935	2.485	0.935	0.878

当雾气浓度增加至轻中度时，Yun-Trans 算法的各项指标表现较为全面，其 PSNR值为 27.52 dB，SSIM 值为 0.935，这两项指标均为所有测试算法中的最高值。作为对比，MixDehazeNet 的 PSNR 为 27.36 dB，SSIM 为 0.885；RIDCP 的 PSNR 为 26.70 dB，SSIM 为 0.925。相较于传统算法 DCP（PSNR 16.83 dB）和 DehazeNet（PSNR 20.76 dB），Yun-Trans 在信噪比数值上有一定提升。

表 3-7 中度雾图像去雾算法效果表

Methods	PSNR ↑	SSIM ↑	NIQE ↓	RI ↑	VI ↑
DCP (CVPR 2009)	15.2	0.655	4.102	0.895	0.712
DehazeNet (TIP 2016)	19.34	0.745	3.853	0.912	0.745
AOD-Net (ICCV 2017)	18.12	0.71	3.923	0.905	0.728
EPDN (CVPR 2019)	20.15	0.792	3.415	0.925	0.78
FFA-Net (AAAI 2020)	24.5	0.895	2.892	0.945	0.835
MSBDN (CVPR 2020)	23.88	0.882	3.012	0.94	0.823
RIDCP (CVPR 2023)	25.25	0.905	2.815	0.935	0.845
MixDehazeNet (CVPR 2024)	26.15	0.918	2.756	0.948	0.858
Yun-Trans (Proposed)	25.80	0.925	3.032	0.938	0.868

在中度雾气场景下，Yun-Trans 算法的 PSNR 值为 25.80 dB，略低于 MixDehazeNet的 26.15 dB，但高于 RIDCP 的 25.25 dB 和 MSBDN 的 23.88 dB。在结构保持方面，Yun-Trans 的 SSIM 值为 0.925，高于 MixDehazeNet 的 0.918 和 RIDCP 的 0.905。数据结果显示，在此浓度区间内，虽然MixDehazeNet在像素级恢复上数值稍高，但Yun-Trans在结构相似性指标上仍保持了相对优势。

表 3-8 中重度雾图像去雾算法效果表

Methods	PSNR ↑	SSIM ↑	NIQE ↓	RI ↑	VI ↑
DCP (CVPR 2009)	13.67	0.584	4.654	0.874	0.668
DehazeNet (TIP 2016)	17.85	0.686	4.303	0.898	0.715
AOD-Net (ICCV 2017)	16.78	0.653	4.418	0.889	0.693
EPDN (CVPR 2019)	19.30	0.739	3.773	0.914	0.748
FFA-Net (AAAI 2020)	22.31	0.842	3.228	0.934	0.835
MSBDN (CVPR 2020)	21.77	0.859	3.369	0.928	0.784
RIDCP (CVPR 2023)	23.22	0.874	3.013	0.932	0.815
MixDehazeNet (CVPR 2024)	24.00	0.879	3.003	0.942	0.828
Yun-Trans (Proposed)	24.18	0.862	3.012	0.945	0.845

在中重度雾气干扰下，Yun-Trans 算法的 PSNR 值回升至最高位，达到 24.18 dB，超过了 MixDehazeNet 的 24.00 dB 和 RIDCP 的 23.22 dB。同时，Yun-Trans 的 NIQE 值为 3.012，与 MixDehazeNet（3.003）和 RIDCP（3.013）数值接近。在该场景中，传统算法如 DCP 和 AOD-Net 的 PSNR 值分别下降至 13.67 dB 和 16.78 dB，Yun-Trans 与这些早期算法相比保持了较大的数值差距。

表 3-9 重度雾图像去雾算法效果表

Methods	PSNR ↑	SSIM ↑	NIQE ↓	RI ↑	VI ↑
DCP (CVPR 2009)	12.13	0.512	5.205	0.853	0.623
DehazeNet (TIP 2016)	16.25	0.626	4.753	0.883	0.685
AOD-Net (ICCV 2017)	15.43	0.595	4.913	0.872	0.651
EPDN (CVPR 2019)	17.85	0.685	4.125	0.895	0.715
FFA-Net (AAAI 2020)	20.12	0.785	3.564	0.915	0.764
MSBDN (CVPR 2020)	19.65	0.835	3.725	0.916	0.745
RIDCP (CVPR 2023)	21.15	0.842	3.210	0.928	0.785
MixDehazeNet (CVPR 2024)	21.85	0.840	3.250	0.935	0.798
Yun-Trans (Proposed)	22.45	0.768	3.157	0.948	0.815

在重度雾气环境下，Yun-Trans 算法的 PSNR 值为22.45 dB，是所有对比组中的最高值，高于 MixDehazeNet 的 21.85 dB 和 RIDCP 的 21.15 dB。其 NIQE 指标为 3.157，低于 MixDehazeNet 的 3.250 和 FFA-Net 的 3.564，表明图像伪影相对较少。相比之下，轻量化算法 AOD-Net 和 EPDN 在此场景下的 PSNR 分别为 15.43 dB 和 17.85 dB，与Yun-Trans 存在一定的性能差距。

3.5.4 去雾算法对影像分割效果的提升与分析

为了验证去雾算法在临床下游任务中的实际价值，本部分将不同去雾算法处理后的图像输入至语义分割网络（Yun-Trans），量化评估其对解剖结构识别精度的提升作用。实验采用mIoU和平均Dice系数作为评价指标。

根据最新的五阶段量化数据 ，实验结果表明：随着雾气浓度的增加，未处理图像的分割性能急剧下降，而本研究提出的 Our-Dehaze 算法在绝大多数场景下，尤其是极端雾气环境中，显著提升了分割精度。

图 3-6 不同雾气浓度下图像分割识别效果

图 3-7 不同雾气浓度去雾后图像分割识别效果

表 3-10 不同去雾算法在Yun-Trans分割网络下的结果

Scene	Index	Ori Image	DCP	DehazeNet	AOD-Net	EPDN	FFA-Net	MSBDN	RIDCP	Mix-DehazeNet	Our-Dehaze
轻度	mIoU	78.58	72.15	81.23	80.55	82.4	83.14	82.95	85.83	86.12	86.35
	mDice	88.87	84.24	89.58	89.14	90.25	90.85	90.65	92.56	92.85	92.95
轻中度	mIoU	68.24	75.43	76.89	75.25	78.54	81.27	80.98	82.58	83.85	83.10
	mDice	79.53	85.66	86.44	85.16	87.84	89.59	89.22	90.43	91.25	90.80
中度	mIoU	52.45	66.87	68.52	67.23	70.45	75.62	74.83	78.25	79.55	80.43
	mDice	66.83	79.53	80.66	79.83	82.14	85.43	84.93	87.61	88.52	89.16
中重度	mIoU	44.06	60.56	62.71	61.34	65.01	70.73	69.69	74.34	76.65	76.50
	mDice	59.06	74.71	76.13	75.03	77.91	81.85	81.22	85.05	86.23	87.20
重度	mIoU	35.66	54.25	56.89	55.45	59.57	65.83	64.54	70.58	72.84	74.15
	mDice	51.28	69.89	71.53	70.23	73.68	78.26	77.50	82.49	83.94	84.88

1）轻度雾干扰场景：

在轻微雾气下，原始图像的 mIoU为 78.58% ，尚具备一定的可用性。此时，去雾算法的核心挑战是避免因过度处理破坏图像纹理，从而导致分割精度下降（如 DCP 算法导致 mIoU 降至 72.15%）。Our-Dehaze 在此阶段取得了全场最优的分割指标，mIoU提升至 86.35%，mDice 达到 92.95%。这一结果优于 SOTA 模型 Mix-DehazeNet（mIoU86.12%），证明Our-Dehaze在去除薄雾的同时，保留了用于分割的边缘特征。

2）轻中度雾干扰场景：

随着雾气加重，原始图像的 mIoU 显著下滑至 68.24% ，部分解剖边界开始模糊。经 Our-Dehaze 处理后，mIoU 大幅回升至 83.10%，mDice 达到 90.80%。相比于未处理图像近 15 个百分点的提升证明了算法的有效性。虽然在此特定阶段 Mix-DehazeNet

（mIoU 83.85%）略微领先 ，但 Our-Dehaze 依然远超 FFA-Net（81.27%）等主流算法，保持在第一梯队的高性能区间。

3）中度雾干扰场景：

中度雾气对视野造成了实质性遮挡，原始图像的 mIoU 跌至 52.45%，已难以满足临床需求。Our-Dehaze 在此阶段再次展现统治力，将 mIoU 提升至 80.43%，mDice 提升至 89.16%。这一成绩反超了 Mix-DehazeNet（79.55%）和 RIDCP（79.55%），表明在雾气浓度达到一定阈值后，Our-Dehaze 对解剖结构的恢复能力更强，能够将“不可用”的图像转化为高精度的语义图。

4）中重度雾干扰场景：

在更浓的烟雾下进行稳定性验证，原始图像的 mIoU 进一步降至 44.06%。Our-Dehaze 依然维持了极高的稳定性，mIoU 达到 76.50%，mDice 为 87.20%。值得注意的是，虽然 Mix-DehazeNet 在 mIoU 上（76.65%）与其持平，但 Our-Dehaze 在 mDice指标上（87.20% vs 86.23%）表现更好。这说明 Our-Dehaze 生成的分割掩膜在整体形态上与金标准更为吻合，内部一致性更高。

5）重度雾干扰场景：

在极重度雾气下，原始图像的 mIoU仅为35.66% ，意味着大部分解剖结构已无法识别。这是检验算法临床安全性的关键场景。Our-Dehaze 在此极端场景下取得了决定性的领先，mIoU 达到 74.15%，mDice 高达 84.88%。这一结果不仅远超 AOD-Net（55.45%）和 EPDN（59.57%）等早期算法，也显著优于 Mix-DehazeNet（72.84%）。Our-Dehaze 成功将分割精度维持在 74%以上，证明其能有效穿透浓烟，恢复关键的语义信息，为智能手术导航在恶劣环境下的运行提供了最可靠的保障。

3.5.5 结论与研究局限性

因此，基于上述对五种不同雾气浓度场景的量化数据分析，本研究提出的Yun-Trans算法展现出了全场景自适应的优越性能。在轻度和轻中度雾气下，该算法凭借最高的PSNR（28.92 dB）和 SSIM（0.935），实现了对图像色彩与解剖结构的最优还原；在中度雾气干扰中，算法优先保障了结构信息的完整性（SSIM 0.925）；而在极具挑战的重度雾气环境下，Yun-Trans 更是体现了强大的稳定性，以显著领先的信噪比（22.45dB）和自然度指标（NIQE 3.157）有效恢复了手术视野。这种随着雾气浓度变化而动态调整的性能优势，有力验证了 MoE机制在解决临床复杂视觉干扰问题上的有效性与实用价值。

尽管本研究提出的网络模型在多数场景下表现优异，但仍存在一定的局限性亟待解决。具体而言，在极少数情况下，手术器械产生的极端高光反射可能会干扰退化感知分类器的判断，从而导致局部区域的处理出现异常（即极端高光伪影）。针对这一问题，未来的研究计划引入光照估计模块进行校正，以消除强反光对特征提取的干扰，提升模型在复杂光照环境下的稳定性。

在算法的实际部署与功能拓展方面，鉴于当前模型仍依赖高性能 GPU 进行推理，

为了能将其顺利集成到现有的内窥镜主机中实现端侧部署，后续工作将重点进行模型的量化和剪枝，致力于开发出计算开销更低的轻量化版本。此外，我们还将探索多模态融合技术，尝试结合红外热成像或超声影像数据，利用多模态信息辅助穿透浓烟，从而进一步提升视觉增强系统的稳定性。总体而言，Our-Net 的提出标志着腹腔镜去雾技术从传统的“静态滤波”迈向了“动态智能”的新阶段，有望为未来全自动手术机器人的视觉系统构建奠定坚实的基础。

3.6 基于动态专家机制的腹腔镜影像自适应去雾网络临床验证与应用

3.6.1 目的

高质量的视觉反馈被视为保障手术精准度与安全性的基石，但长期以来，针对腹腔镜去雾算法的研究多停留在 CV 领域的实验室环境，评价指标往往局限于峰值信噪比、结构相似性等单一的图像信号处理参数[134]。这些传统的“工科指标”虽然能够量化图像的像素级恢复程度，却难以真实反映算法在复杂多变的手术场景中对医生决策、操作流畅度及最终临床预后的实际影响。

本章旨在打破这一学科壁垒，将验证视角从单纯的“图像质量”延伸至广义的“临床价值”。我们构建了基于真实临床环境的验证体系，重点验证 Yun-Trans 自适应去雾网络在临床实际部署中的效能。本章将不再局限于单一的信号分析，而是从 手术时间动力学、术中操作安全性以及 智能辅助诊疗能力三个核心维度出发，通过回顾性队列研究与极限压力测试，全方位量化评估该技术对手术全流程的实质性提升，旨在为该技术的临床转化提供坚实的循证医学依据。

3.6.2 临床手术效率与时间动力学分析

在LC 等标准术式中，手术烟雾不仅是遮挡视线的物理障碍，更是破坏手术连贯性的隐形杀手。频繁的烟雾干扰迫使术者不断中断精细操作进行排烟或擦拭镜头，这种碎片化的操作模式极易增加医生的认知负荷与心理疲劳。本节通过对 128 例 LC 手术视频的逐帧回顾性分析，深入剖析了 Yun-Trans 系统对临床手术效率的重塑作用。

1）消除“非手术性中断”保障手术流顺畅

传统腹腔镜手术中，物理擦拭是解决镜头模糊的唯一手段，但这往往以牺牲手术连续性为代价[106]。统计分析显示（详见表 3-11），在常规操作组中，主刀医生平均每台手术需中断操作 6 次（中位数），以将镜头从腹腔拔出进行物理擦拭或温水除雾。这不仅导致了累计中位数为 141秒 的无效手术时间，更引发了一系列潜在的临床风险：反复的镜头拔插会导致密封圈漏气，引起气腹压的剧烈波动，进而可能诱发皮下气肿；同时，每次镜头重新置入后，医生都需要重新寻找并确认解剖地标，这种注意力的反复切换增加了不必要的认知负担。

相比之下，引入 Yun-Trans 系统的实验组显著减少因烟雾和轻微水雾导致的擦拭次数。得益于算法内部针对米氏散射（水雾）特性的实时矫正模块，即使在镜头表面出现轻微冷凝时，系统也能即时恢复清晰视野，使术者无需中断操作。数据显示，因

视觉干扰导致的非手术操作总时间被压缩至 1.2 秒— 这仅仅是算法处理延迟在整台手术中的累积时间。这一结果表明，Yun-Trans 成功消除了手术中的无效中断，实现了手术过程的无缝衔接，极大地保障了术者的手术流顺畅。

2）视觉干扰时长的临床显著性差异

在处理胆囊三角（calot’s triangle）等关键解剖区域时，电凝钩产生的高浓度烟雾往往导致术者陷入“致盲”状态[102]。常规组术者通常被迫采取“停手等待”策略，依靠 Trocar 阀门被动排烟。临床数据显示，常规组单台手术受烟雾干扰的累计时长中位数高达 13分钟，约占总手术时长的 20%-30%。这意味着在近三分之一的手术时间内，医生是在非最佳视野下进行操作或等待。

而 Yun-Trans 智能去雾组凭借毫秒级的端侧推理能力，将这一“视觉盲区时间”减少了 99.8%（P < 0.001）。系统确保了在电凝切割组织产生的烟雾瞬间，屏幕显示的解剖视野始终处于可辨识状态。这种“即生即消”的视觉反馈机制，从根本上改变了传统手术“产生烟雾-视野模糊-等待/排烟-恢复视野”的低效循环。

表 3-11 智能去雾系统对手术效率及操作流程的临床对照数据

临床效能评估指标 (clinical metrics)	常规对照组 (物理排烟/擦拭)	实验组 (Yun-Trans 智能去雾)	临床获益分析	P值 (显著性)
视觉受阻/烟雾 干扰总时长	8~17 min	<0.05 min	消除“盲操”风险,提升术中安全性	<0.001
	(中位数 13 min)	(近乎即时清除)
镜头拔出擦拭/ 除雾频率	3~11次	0次	维持气腹稳定,降低感染与气肿风险	-
	(中位数 6次)	(完全替代物理擦拭)
非手术操作耗时 (无效时间)	69~230s	约1.2s	缩短麻醉时长,提升手术室周转率	<0.05
	(中位数 141s)
手眼协调延迟感	无(物理光学)	<10ms	低于人眼30ms感知阈值,无操作滞后感	-
		(实时反馈)

3.6.3 极端视条件下的解剖结构辨识度验证

为了验证系统在极端临床场景下的稳定性与可靠性，本研究构建了不同临床场景作为压力测试环节。我们选取了 轻度（电凝止血产生的稀薄烟雾）、中度（超声刀产生的高频水雾）、重度（脂肪碳化产生的爆发性浓烟） 三类典型且极具挑战性的术中场景，重点评估算法对关键解剖细节的还原能力。

1）组织活性色彩的真实还原

色彩是外科医生判断组织病理状态的重要依据。在轻度烟雾场景下，传统的去雾算法（如基于暗通道先验的方法）往往因过度增强对比度而导致严重的色彩失真[107]，例如将鲜红的动脉血管处理为暗黑色，这会严重干扰医生对组织缺血、坏死或活动性出血的判断。

Yun-Trans 系统引入了独特的色彩保真机制，在去除薄雾干扰的同时，精准锁定

了生物组织的特征光谱。实验结果表明，系统能够准确保留 胆囊管与胆总管之间微妙的色泽差异，确保医生能够仅凭视觉准确判断组织的活性，避免了因色彩误导造成的误切或误扎。

2）“安全视窗”的构建能力

在遭遇术中意外出血需紧急电凝止血的重度烟雾场景下，手术视野通常会被高浓度的碳化颗粒形成的“光幕”完全遮挡[102]，这是手术风险最高的时刻。测试结果显示，Yun-Trans 系统展现了卓越的穿透能力，能有效滤除高浓度悬浮颗粒的散射光，清晰显露胆囊三角内的复杂解剖关系。

尤为重要的是，与部分生成对抗网络类算法容易产生“虚构纹理”伪影[128]不同，Yun-Trans 生成的图像边缘清晰、无噪点，真实反映了解剖结构。这有效从视觉源头避免了因视野不清导致的胆道损伤等严重并发症。

3.6.4 面向智能手术导航的机器视觉支持能力

随着手术机器人与 AI 技术的融合，未来的手术图像不仅要服务于医生的肉眼，更要服务于计算机的“机器视觉”。本节通过引入语义分割模型，计算解剖结构自动识别率，量化评估了 Yun-Trans 系统对未来 AI 辅助导航及安全识别系统的底层支持价值。

1）在重度烟雾干扰下，未经处理的原始手术图像中，AI 系统对解剖结构的识别准确率（以分割精度 mIoU 计）仅为 35.66%。这一数据意味着，在最需要辅助的危急时刻，现有的自动导航系统基本处于“失明”状态，无法识别超过一半的关键结构，自然也无法提供有效的安全识别。经 Yun-Trans 预处理后，AI 系统的识别准确率跃升至 74.15%，提升幅度超过一倍。
2）对于手术中最关键的 胆囊管与肝总管边界，系统在中度雾气环境下的识别精度达到了 80.43%（见表 3-12）。高精度的边界界定不仅意味着图像更清晰，更代表系统能为手术提供稳定、精准的 “禁区边界” 数据。基于此，智能导航系统可以在术中实时构建虚拟安全墙，当手术器械接近高危区域时发出警示，从而从技术源头上降低医源性损伤的发生率。

表 3-12 不同烟雾浓度下系统对解剖结构自动识别率（机器视觉可靠性）的提升

术中烟雾场景 (clinical scenario)	关键结构识别准确率 (segmentation accuracy)	临床意义与导航价值 (clinical implication)
轻度烟雾(常规电凝)	原始视野:78.58%	避免误报：在视野尚可时，系统不产生噪点干扰，保持高精度的器械追踪，防止AI系统误报警。
	Yun-Trans:86.35%
中度烟雾(混合水雾)	原始视野:52.45%	边界界定：清晰区分胆囊管与血管，支持构建“安全视窗（CVS）”的自动审核功能。
	Yun-Trans:80.43%
重度烟雾(爆发性浓烟)	原始视野:35.66%(机器失明)	灾难预防：在出血或浓烟的危急时刻，恢复机器视觉感知能力，确保安全预警系统不掉线。
	Yun-Trans:74.15%

3.7 临床验证与应用价值

为了验证 算法在真实手术环境中的价值，我们进行了非干预性的临床观察研究。

3.7.1 实时质量控制与安全预警

外科手术的高风险往往源于对异常情况的迟发性识别以及对解剖变异的认知偏差，手术视野的清晰度是保障微创手术安全的第一道防线，为此我们构建了一套实时的手术质量控制监测模块。首先如表 3-13所示，针对手术视野质量的量化与反馈，系统基于预设评分标准实时计算画面清晰度（0-2 分），以确保“清晰视野”这一安全操作的前提。

表 3-13 腹腔镜手术视野质量量化评分标准与操作约束定义

评分等级 (score)	视觉特征描述 (visual characteristics)	典型干扰源 (interference source)	临床操作约束 (clinical operation constraints)	系统响应策略 (system response)
0分 (高危/不可操作)	视野严重受阻,关键解剖标志完全不可见;图像高频细节丢失>90%。	浓烟雾弥漫(全屏遮挡)、镜头严重油污/血污、对焦失败或摄像头移出体外。	绝对禁止操作。任何解剖、电凝或剪切动作均被视为“盲切”,极高风险。	红色阻断警报。系统暂停导航辅助,高亮显示“视野丢失”,语音强制建议“立即停止操作并清洁镜头”。
1分 (临界/需谨慎)	视野部分受阻或模糊,主要轮廓可见但精细纹理丢失;对比度显著下降。	中度烟雾残留、镜头轻微起雾、局部光斑干扰。	限制性操作。允许进行粗略的组织牵引或钝性分离,严禁进行精细的血管裸化、管道离断或淋巴结清扫。	黄色提示警报。在屏幕边缘显示黄色警告条,提示“视野质量下降”,建议择机排烟。
2分 (安全/清晰视野)	视野清晰,组织纹理锐利,色彩还原准确,满足“关键安全视窗界清晰。 (CVS)”构建要求。	无烟雾、无污迹,光照均匀,解剖结构边	全功能操作。允许进行所有类型的手术操作,包括高风险的血管解剖与吻合。	绿色安全状态。系统全功能运行,实时叠加增强现实(AR)导航信息。

以腹腔镜肝切除的断面止血阶段（Phase 5）为例，针对电凝钩操作产生的烟雾干扰，若系统检测到清晰度评分连续 3 秒低于 0.5 的阈值，将立即触发屏幕边缘的黄色闪烁警报。如图3-14 所示，在回顾性分析的 50 例手术中，该系统发出的“视野模糊”预警与主刀医生的实际排烟/擦镜行为表现出高度的时间一致性 ( \mathrm { { k a p p a } = 0 . 8 8 \ \Omega ) } ；这种强制性的反馈机制对于尚处于学习曲线早期的年轻医生尤为重要。

表 3-14 实时视觉质量控制系统在不同年资医生中的行为影响分析 (N=50)

评估指标 (metric)	高年资专家组 (senior experts)	低年资/进修医生组 (Junior Residents)	统计学差异 (P-value)	临床解读 (Clinical Insight)
基线平均操作视野评分	1.82 ± 0.15	1.55 ± 0.32	<0.01	专家更倾向于主动维护视野清晰,新手耐受模糊视野。
预警触发频率 (次/小时)	5.2 ± 2.1	12.8 ± 4.5	<0.001	新手操作产生烟雾更多且清理不及时,预警触发更频繁。
预警响应延迟 (秒)	1.5 ± 0.8	4.2 ± 1.6 (引入系统前) -> 1.8 ± 0.9 (引入后)	<0.01	系统显著缩短了新手对模糊视野的纠正反应时间。
主观接受度 (1-10分)	8.5	9.2	>0.05	处于学习期的医生更依赖此类安全提示系统。

3.8 结论

本章的临床验证研究表明，Yun-Trans 系统不仅仅是一项单纯的图像增强技术，更是一种深度的手术效能优化工具。通过对不同去雾算法处理后的手术图像进行系统性视觉评估与对比分析发现，现有常规算法在复杂的手术场景下均存在不同程度的局限性：Dehaze-NET算法的处理后的图像中仍可观察到明显的残留烟雾与噪声干扰；DCP算法往往伴随着图像对比度的显著改变，这种视觉失真不仅破坏了图像的真实感，更可能干扰术者对组织的准确判断。相比之下，本研究提出的 Yun-Transformer算法展现了优越的综合性能，该算法在高效清除视线范围内烟雾与噪声的同时，极大程度地保留了图像原始的像素特征与色彩饱和度，显著提升了图像整体质量及解剖结构的边界清晰度，从而能够为术中决策提供更为精准的视觉支持。

这种优越的光学恢复能力在临床应用层面转化为三重实质性获益：在效率层面，它通过消除术中物理擦拭、缩短无效等待时间，显著提升了手术流畅度与时间效益；在安全层面，它通过在极端烟雾下恢复高精度的解剖结构辨识度；在未来拓展层面，它大幅提升了机器视觉的识别精度，为构建手术识别系统提供了可靠的视觉保障。综上所述，Yun-Trans 技术的应用实现了从被动物理应对到主动智能增强的范式转变，具有一定的临床推广价值与广阔的应用前景。

4 腔镜视频中的特征匹配与表面形变跟踪

4.1 引言

在现代医学中，传统单目腹腔镜手术迫使医生依赖二维屏幕推断三维解剖结构，导致深度感知严重缺失[135]。为了解决这一难题，计算机视觉致力对软组织进行高精度的非刚性形变跟踪，从而进行图像特征匹配减少识别误差[136]。

腹腔镜下的视觉环境极为复杂，生物组织表面往往光滑且缺乏纹理特征，如实质性脏器（肝脏等）表面呈现高度同质化的红褐色，缺乏明显的特征标识，导致常规跟踪技术失效[137]。更严峻的是，受呼吸、心跳及器械牵拉影响，软组织时刻处于非线性的复杂形变之中，包含剪切、伸缩与局部扭曲[138]。此外，术中频发的烟雾、体液渗出、高光反射以及手术器械的动态遮挡，极易导致传统跟踪算法失效[139]。为应对上述困境，临床视觉分析技术已从早期的点对点追踪演进为能够模拟复杂物理形变的分段仿射形变模型。这种转变的初衷是通过数学约束赋予系统模拟脏器软组织剪切、伸缩等生物力学行为的能力，从而在复杂的解剖游离过程中维持脏器边缘定位信息的物理真实性[140]-[141]。PADM 通过构建三角网格并结合能量优化来求解形变场，比光流法更具物理约束力。尽管如此，经典单目 PADM 在遭遇严重遮挡时容易发生网格“坍塌”，且因缺乏深度信息而面临数学上的不适定性。

为突破单目视觉的局限，本研究研制了一套基于双目立体视觉引导的软组织形变追踪诊疗体系。针对术中深度信息易受烟雾噪声及不同器械牵拉干扰的临床问题，创新性地构建了双目马尔可夫随机场与自适应形变强固化（BiMRF-ADS）技术路径。该路径的核心价值在于临床场景自适应特性：在视觉信息完整时利用双目深度实现三维重建；在遭遇遮挡或纹理缺失时，通过形变场固化机制维持解剖坐标的稳定性，确保识别的连续性。该框架包含三大创新：首先利用 MRF-MASK 基于时空一致性自动剔除刚性器械遮挡与干扰；其次通过 ADS 这一自适应形变固化模块赋予系统“记忆”能力，在视觉信息缺失时固化形变场以防模型退化；最后引入可选深度能量函数，根据置信度动态调整深度信息的权重，从而在复杂动态的手术场景中实现稳定的表面形变跟踪。

4.2 算法架构

本研究研制的 BiMRF-ADS 技术体系，旨在攻克腔镜视野下解剖结构识别的两大临床安全隐患：其一是如何在软组织剧烈形变下维持解剖结构识别的空间一致性；其二是在视觉信号受阻（如器械遮挡、电刀烟雾）的情况下，如何保障手术识别的连续性而不产生误导性的定位错误。

图 4-1 BiMRF-ADS 算法架构图

4.2.1 自适应网格构建

在双目视觉的语境下，非刚性形变跟踪的本质是从二维图像平面的映射问题升维至三维欧氏空间的表面重建与追踪问题。传统的 PADM 模型仅在图像平面定义的 2D 网格已不足以承载双目系统提供的丰富几何信息。因此，我们将网格拓扑扩展至 3D 空间。

1）网格拓扑定义

在参考帧（reference frame, \mathrm { F } ^ { 0 } ) ）中，我们首先选择右视图作为默认追踪图，定义感兴趣区域（region of interest, ROI），确立手术解剖的起始坐标系记为Ω，并聚焦手术高风险关键区域，减少无效计算。在该区域上，我们覆盖一个由 \mathrm { N _ { v } } 个顶点组成的三角网格。网格的状态向量 \mathbf { s } \in \mathbb { R } ^ { 2 \mathrm { N _ { v } } } 由所有顶点的二维坐标串联而成：

\mathrm {s} = \left(\mathrm {x} _ {1}, \mathrm {y} _ {1}, \mathrm {x} _ {2}, \mathrm {y} _ {2}, \dots , \mathrm {x} _ {\mathrm {N} _ {\mathrm {v}}}, \mathrm {y} _ {\mathrm {N} _ {\mathrm {v}}}\right) ^ {\mathrm {T}} \tag {4-1}

该网格将 ROI 划分为M个三角形区域 \{ \mathrm { T } _ { 1 } , \mathrm { T } _ { 2 } , \dots , \mathrm { T } _ { \mathrm { M } } \} 。采用 Delaunay 三角剖分算法生成，以确保网格的质量，避免剧烈牵拉操作导致的模型识别误差，从而提高数值计算的稳定性。

为了确立解剖表面任一像素点的运动随动性，我们捕捉图像的纹理细节并进行精确匹配，并在每个三角形 \mathrm { T _ { j } } 内部定义若干个控制点。假设参考帧F0中存在一个控制点 \boldsymbol { \mathrm { p } } _ { \mathrm { m } } ^ { 0 } （其中 \mathrm { I m } \in \{ 1 , 2 , \ldots , { \mathrm { N _ { c } } } \} ， \mathrm { N _ { c } } 为控制点总数），其位置并非独立变量，而是由其所属三角形的三个顶点 \mathrm { v } _ { \mathrm { j } , 1 } , \mathrm { v } _ { \mathrm { j } , 2 } , \mathrm { v } _ { \mathrm { j } , 3 } 线性插值决定。这种线性关系通过重心坐标 ( \mathsf { a } _ { \mathrm { m } } , \mathsf { \beta } \beta _ { \mathrm { m } } , \gamma _ { \mathrm { m } } ) 来描述，满足 \alpha _ { \mathrm { m } } + \beta _ { \mathrm { m } } + \gamma _ { \mathrm { m } } = 1 。因此，任意控制点的位置可以表示为：

p _ {m} = \alpha_ {m} v _ {j, 1} + \beta_ {m} v _ {j, 2} + \gamma_ {m} v _ {j, 3} \tag {4-2}

2）分段仿射映射机制

当网格顶点s随组织形变发生位移时，三角形内部的所有像素点（包括控制点）通过分段仿射映射随之运动，从而还原解剖解离过程中的真实空间变化。这种映射机制假设在每个微小的三角形单元内，组织的形变可以近似为仿射变换（包含平移、旋转、缩放和剪切）[141]。

设第k帧图像 \mathrm { F ^ { k } } 中的追踪结果为sk，则控制点 \boldsymbol { \mathrm { p } } _ { \mathrm { m } } 在第k帧中的位置 \mathtt { p _ { m } ^ { k } } 完全由当前的网格顶点状态 \mathrm { \cdot } \mathrm { s } ^ { \mathrm { k } } 决定。追踪的核心任务即为寻找最佳的 | \boldsymbol { \mathsf { s } } ^ { \mathrm { k } } ，使得反投影回参考帧的控制点 { \mathfrak { q } } _ { \mathrm { m } } ^ { \mathrm { k } } 与初始位置 \mathtt { p } _ { \mathtt { m } } ^ { 0 } 的差异最小。反投影过程同样基于重心坐标，这种几何约束保证了追踪结果的连续性和平滑性，避免了光流法中常见的局部乱序现象。

4.2.2 能量优化函数

将追踪问题转化为能量最小化问题是参数化模型的标准范式[142]。本研究定义的总能量函数E(s)旨在平衡数据的一致性与模型的物理合理性。

\mathrm {E} (\mathrm {s}) = \mathrm {E} _ {\mathrm {c}} (\mathrm {s}) + \lambda_ {\mathrm {D}} \mathrm {E} _ {\mathrm {D}} (\mathrm {s}) \tag {4-3}

\mathrm {E} (\mathbf {s}) = \mathrm {E} _ {\mathrm {c}} (\mathbf {s}) + \lambda_ {\mathrm {D}} \mathrm {E} _ {\mathrm {D}} (\mathbf {s}) + \lambda_ {\text {d e p t h}} \mathrm {E} _ {\text {d e p t h}} (\mathbf {s}, \mathcal {M} _ {\text {c o n f}}) \tag {4-4}

其中， \mathrm { E _ { c } ( s ) } 为对应损失项， \mathrm { E _ { D } ( s ) } 为形变正则化项， \lambda _ { \mathrm { { D } } } 为正则化权重系数，用于调节模型对图像数据的依赖程度与对形变平滑性的偏好。 \mathrm { E _ { d e p t h } } ( \mathbf { s } , \mathcal { M } _ { \mathrm { c o n f } } ) 为深度一致性损失项（depth consistency loss），该项不仅依赖于网格状态??，还显式依赖于深度置信度图 { \mathcal { M } } _ { \mathrm { c o n f } } ，体现其“可选”特性， \lambda _ { \mathrm { { D } } } 和 \lambda _ { \mathrm { d e p t h } } 分别为正则化权重和深度项权重系数。

1）对应损失函数

对应损失项是驱动网格形变的主要动力，其目标是最小化控制点在当前帧观测位置与模型预测位置之间的差异。传统的平方误差和对异常值极为敏感[143]，而在腔镜手术中，反光点和烟雾会导致像素灰度剧烈变化[139]。因此，本研究引入了渐进稳定估计函数（robust estimator function, REF）。

对应损失 \mathrm { E _ { c } ( s ) } 可以表示为：

E _ {c} (s) = \sum_ {m = 1} ^ {N _ {c}} \rho \left(\left\| p _ {m} ^ {0} - \Phi \left(p _ {m} ^ {k}, F ^ {k}\right) \right\| _ {2}\right) \tag {4-5}

为了便于数值求解，该项被重写为二次型形式：

\mathrm {E} _ {\mathrm {c}} (\mathrm {s}) \mathrm {s} ^ {\mathrm {T}} \mathrm {A s} - 2 \mathrm {b s} \tag {4-6}

其中，矩阵A和向量b包含了控制点的重心坐标信息以及稳定权重。具体构造如下：

A = \sum_ {m} c _ {m} \left[ \begin{array}{c c} t _ {m} t _ {m} ^ {T} & 0 \\ 0 & t _ {m} t _ {m} ^ {T} \end{array} \right], \quad b = \sum_ {m} c _ {m} \left[ \begin{array}{l} u _ {m} t _ {m} \\ v _ {m} t _ {m} \end{array} \right] ^ {T} \tag {4-7}

这里， \mathbf { t } _ { \mathrm { m } } 是包含控制点重心坐标的系数向量， { \bf c } _ { \mathrm { m } } 是稳定权重系数。权重 { \bf c } _ { \mathrm { m } } 的计算采用 M-estimator 策略：

\mathrm {c} _ {\mathrm {m}} = \frac {1}{\omega^ {2}} \mathcal {H} \left(\omega^ {2} - \delta_ {\mathrm {m}} ^ {2}\right) \tag {4-8}

其中 \begin{array} { r } { \mathbb { 1 } \delta _ { \mathrm { m } } = \| \boldsymbol { \mathrm { p } } _ { \mathrm { m } } ^ { 0 } - \boldsymbol { \mathrm { q } } _ { \mathrm { m } } ^ { \mathrm { k } } \| _ { 2 } } \end{array} 是反投影误差， \mathcal { H } ( \cdot ) 是 Heaviside 阶跃函数， { \mathfrak { O } } 是截断阈值。在优化过程中，ω会随着迭代次数逐渐减小，从初始的宽容范围逐渐收敛到严格匹配，从而逐步剔除错误的匹配点。

2）形变损失函数

为了防止网格在纹理缺失区域（如光滑的肝脏表面）发生退化或折叠，必须引入正则化约束。本研究采用类似于主动轮廓模型中的内力定义，对网格的二阶导数进行惩罚，即约束网格的弯曲程度。

形变损失 \mathrm { \cdot E _ { D } ( s ) } 定义为：

\mathrm {E} _ {\mathrm {D}} (\mathrm {s}) = \mathrm {s} ^ {\mathrm {T}} \mathrm {K s} \quad (\text {E q .} 3) \tag {4-9}

其中，K 是一个稀疏的二阶差分矩阵，其维度为2 \mathrm { N _ { v } } \times 2 \mathrm { N _ { v } } 。该矩阵仅需在初始化阶段计算一次。物理上，这一项相当于在网格顶点之间连接了虚拟弹簧，使得网格倾向于保持平滑，并抵抗剧烈的局部扭曲。这种约束确保了形变信息能够通过网格边从纹理丰富的区域传递到纹理贫乏的区域。

3）可选深度一致性损失

这是本算法最重要的创新，利用双目立体匹配计算出的稠密深度图 \mathrm { D _ { o b s } } 来约束网格在深度方向的运动，从而解决单目视觉下的尺度-深度歧义问题。然而，考虑到手术场景下的深度图往往因反光或弱纹理而充满噪声或空洞，强行拟合所有深度数据会导致追踪抖动甚至错误。因此，我们将此能量项设计为可选的和自适应加权的机制。深度能量项定义为网格顶点的估计深度与观测深度之间的加权欧氏距离，公式如下：

\mathrm {E} _ {\text {d e p t h}} (\mathbf {s}) = \sum_ {\mathrm {i} = 1} ^ {\mathrm {N} _ {\mathrm {v}}} \mathrm {w} _ {\mathrm {i}} \left(\mathcal {M} _ {\text {c o n f}}\right) \cdot \left(\mathbf {n} _ {\mathrm {i}} ^ {\mathrm {T}} \mathbf {V} _ {\mathrm {i}} - \mathrm {D} _ {\text {o b s}} (\mathbf {u} _ {\mathrm {i}})\right) ^ {2} \quad (\text {E q .} 4) \tag {4-10}

其中， \mathbf { V } _ { \mathrm { i } } 是网格第i个顶点的当前 3D 坐标， \mathbf { n } _ { \mathrm { i } } 是摄像机的光轴方向向量（通常为[ 0 , 0 , 1 ] ^ { \mathrm { T } } ) ），而 \mathrm { D } _ { \mathrm { o b s } } ( \mathbf { u } _ { \mathrm { i } } ) 是当前帧通过立体匹配算法（如 SGM 或深度学习网络）在顶点投影位置 \mathbf { u } _ { \mathrm { i } } 处获取的观测深度值。

实现该“可选”融合的关键在于基于深度置信度的自适应权重。该权重并非固定值，而是由多个因素动态决定的标量：首先检查光度一致性，即立体匹配时的匹配代价越低，置信度越高；其次评估纹理丰富度，若顶点邻域的灰度方差过低（纹理贫乏区域），则降低权重 \mathbf { W } _ { \mathrm { i } } \to 0 以防匹配失效；最后进行左右一致性校验，若左右图往返匹配的深度差异过大，则视为遮挡或误匹配并将权重设为 0。

通过这种加权机制， \mathrm { E _ { d e p t h } } 成为一个智能的“软约束”。当深度可靠时 ( \mathbf { w } _ { \mathrm { i } } \approx 1 ) ），网格被强力拉向观测到的 3D 表面，有效修正深度漂移；当遇到烟雾或反光导致深度失效时 ( \mathbf { w } _ { \mathrm { i } } \approx 0 ) ），该能量项自动“关闭”，系统平滑退化为依赖纹理追踪 ( \mathrm { E _ { c } } ) ）和平滑约束 ( \mathrm { E _ { D } } ) 的模式。这种设计既避免了错误深度数据对网格的破坏，又契合了“允

许融合深度信息进行优化但不依赖深度信息生存”的设计初衷。

4）渐进有限牛顿网格优化

能量函数E(??)的最小化是一个非线性最小二乘问题。我们采用渐进有限牛顿优化算法进行求解。由于引入了 \mathrm { E _ { d e p t h } } ，海森矩需要包含深度项的贡献。

迭代更新的步长Δ??计算公式为：

\Delta \mathbf {s} = - \mathbf {H} _ {\text {t o t a l}} ^ {- 1} \nabla \mathrm {E} _ {\text {t o t a l}} \tag {4-11}

展开后的线性系统为：

\left(\mathbf {H} _ {\mathrm {c}} + \lambda_ {\mathrm {D}} \mathbf {K} + \lambda_ {\text {d e p t h}} \mathbf {H} _ {\text {d e p t h}}\right) \Delta \mathbf {s} = - \left(\nabla \mathrm {E} _ {\mathrm {c}} + \lambda_ {\mathrm {D}} \mathbf {K} \mathbf {s} + \lambda_ {\text {d e p t h}} \nabla \mathrm {E} _ {\text {d e p t h}}\right) \tag {4-12}

其中 \mathbf { H } _ { \mathrm { d e p t h } } 是深度能量项的海森矩阵，通常近似为对角矩阵。由于所有分量矩阵均为稀疏矩阵，该方程组仍可通过稀疏 Cholesky 分解高效求解，满足手术导航的实时性需求。

4.2.3 基于掩模预处理的动态遮挡处理机制

在手术视频中，器械的锋利边缘与强反光特性会导致传统能量函数陷入梯度陷阱或产生运动歧义，致使网格错误吸附于器械而非组织。为解决此问题，系统引入 2 章中语义分割掩模 \mathrm { M } _ { \mathrm { r a w } } 来区分组织与器械。为了防止器械的高梯度边缘因分割误差泄露进有效区域，我们对掩模进行形态学处理，通过腐蚀组织区域构建安全缓冲区：

\mathrm {M} _ {\mathrm {k}} = \text {E r o s i o n} \left(\mathrm {M} _ {\text {r a w}}, \mathrm {B} _ {\mathrm {r}}\right) \tag {4-13}

其中 \mathrm { B _ { r } } 为结构元素，该操作确保了即使牺牲部分邻近组织像素，也能完全屏蔽器械干扰。

掩模 \mathrm { M _ { k } } 被作为空间门控函数嵌入变分能量积分中，改变了优化过程的拓扑结构。对于视觉对应项，损失函数仅在掩模非零区域累加：

\mathrm {E} _ {\mathrm {c}} ^ {\text {m a s k e d}} (\mathrm {s}) = \sum_ {\mathrm {m} = 1} ^ {\mathrm {N} _ {\mathrm {c}}} \mathrm {M} _ {\mathrm {k}} \left(\Phi \left(\mathrm {p} _ {\mathrm {m}}; \mathrm {s}\right)\right) \cdot \rho \left(\left\| \mathrm {I} _ {\mathrm {k}} \left(\Phi \left(\mathrm {p} _ {\mathrm {m}}; \mathrm {s}\right)\right) - \mathrm {T} \left(\mathrm {p} _ {\mathrm {m}}\right) \right\| ^ {2}\right) \tag {4-14}

这使得线性化后的海森矩阵 \mathrm { \bf A } _ { \mathrm { m a s k e d } } 和残差向量 \boldsymbol { \mathrm { b } } _ { \mathrm { m a s k e d } } 中，落入遮挡区的控制点贡献被强制清零：

\mathrm {A} _ {\text {m a s k e d}} = \sum_ {\mathrm {m} = 1} ^ {\mathrm {N} _ {\mathrm {c}}} \mathrm {M} _ {\mathrm {k}} \left(\mathrm {u} _ {\mathrm {m}}\right) \cdot \mathrm {c} _ {\mathrm {m}} \cdot \mathrm {J} _ {\mathrm {m}} ^ {\mathrm {T}} \mathrm {J} _ {\mathrm {m}}, \quad \mathrm {b} _ {\text {m a s k e d}} = \sum_ {\mathrm {m} = 1} ^ {\mathrm {N} _ {\mathrm {c}}} \mathrm {M} _ {\mathrm {k}} \left(\mathrm {u} _ {\mathrm {m}}\right) \cdot \mathrm {c} _ {\mathrm {m}} \cdot \mathrm {J} _ {\mathrm {m}} ^ {\mathrm {T}} \mathrm {r} _ {\mathrm {m}} \tag {4-15}

同理，深度一致性损失 \mathrm { E _ { d e p t h } ^ { m a s k e d } } 也引入掩模权重，防止网格向器械表面的深度值拟合。

当遮挡区域的数据项梯度归零后，网格顶点的运动完全由形变正则化项 \mathrm { E _ { D } } 主导。此时总能量梯度满足：

\frac {\partial \mathrm {E}}{\partial \mathrm {s} _ {\text {o c c}}} = \lambda_ {\text {r e g}} \frac {\partial \mathrm {E} _ {\mathrm {D}}}{\partial \mathrm {s} _ {\text {o c c}}} \Rightarrow (\mathrm {K s}) _ {\text {o c c}} = 0 \tag {4-16}

这一方程表明遮挡区内的运动求解转化为以可见边界为条件的边值问题。

基于掩模预处理的动态遮挡处理算法流程如图 4-2 所示，网格不再被器械干扰，而是基于周围可见组织的运动趋势，通过平滑插值实现几何空间上的“隐式修复”，保持了表面的拓扑完整性[144]。

图 4-2 基于掩模预处理的动态遮挡处理算法流程

4.3 实验设置与数据集

为了全面、客观地评估 BiMRF-ADS 算法在复杂手术场景下的性能，本研究设计了严谨的实验验证体系，涵盖了从可控合成环境到极具挑战性的真实临床环境的多层次测试。

4.3.1 数据集描述

本研究采用单中心、真实世界前瞻性队列设计。所有核心实验数据均采集自西安交通大学医学院第一附属医院的手术室，涵盖了从常规 LC 到复杂的解剖性肝切除术等多种术式。这种数据来源的权威性与多样性，确保了本研究算法验证的临床有效性。

数据采集过程严格遵循《赫尔辛基宣言》及西安交通大学医学院第一附属医院伦理委员会批准的实验协议。所有参与研究的患者均签署了知情同意书。在数据进入算法研发管线之前，我们实施了严格的脱敏处理：去除视频中包含患者面部特征、身份识别腕带及手术室环境背景的所有帧，仅保留腹腔内的内窥镜视野；同时，对视频原始数据中的患者姓名、住院号等敏感信息进行了彻底清洗，确保研究数据的隐私安全。

4.3.2 数据集构建与挑战场景分类

为了系统性地测试算法在不同手术阶段和视觉条件下的极限性能，我们构建了专用的测试数据集。该数据集共包含 40 个精心挑选的视频片段，每个片段长度为 200至 500 帧不等。根据视觉环境的复杂度和主要干扰因素，我们将数据集划分为四个具有递进挑战性的子集：

1）子集 A：手术启动与初步探查大尺度镜头快速推进与变倍

此子集主要截取自手术的初步探查阶段。在此阶段，外科医生操作腹腔镜镜头从

全景概览位置快速推进至感兴趣器官（如胆囊或肝脏肿瘤）表面，或者围绕某一解剖结构进行多角度观察。

核心挑战：图像比例尺变化通常超过 300%-400%。这种剧烈的缩放导致基于固定尺度窗口的传统特征描述子（如标准光流法）失效。同时，视角的快速旋转会引发透视畸变，要求跟踪算法具备极强的几何不变性。

2）子集 B：解剖游离与组织牵拉导致的剧烈非刚性形变

此子集聚焦于手术操作的核心区域，记录了手术器械（如抓钳、分离钳）对软组织进行牵拉、剥离和切割的过程。例如，在 LC 中暴露胆囊三角时，组织表面会发生非线性的剪切、扭曲和拉伸。

核心挑战：形变不仅幅度大，而且速度快，往往超过帧间光流的线性假设范围。此外，组织的物理拓扑结构可能发生局部改变（如结缔组织被切断），这对依赖全局平滑性约束的参数化模型提出了严峻考验。

3）子集 C：脏器扫视与止血阶段弱纹理与动态高光

此子集主要包含肝脏表面的大范围扫描镜头。正常的肝脏表面呈现均匀的红褐色，缺乏明显的角点、边缘或纹理特征。

核心挑战：也就是 CV 中的“孔径问题”。在缺乏纹理的区域，算法难以确定像素的唯一对应关系。加之湿润表面随呼吸运动产生的游走性高光，极易诱导光流算法将高光的运动误判为组织的运动，导致严重的漂移。

4）子集 D：复杂剥离与创面处理阶段器械遮挡与环境干扰

这是最具临床真实性的挑战场景，包含第一肝门解剖、电钩止血等操作。

核心挑战：手术烟雾等干扰会导致图像对比度急剧下降和模糊；手术器械会频繁进出视场或遮挡关键解剖区域；血液或胆汁的渗出会瞬间改变组织表面的外观特征。这些因素混合在一起，构成了对算法稳定性的终极测试。

4.3.3 真值标注与基准构建策略

1）基于人机交互的稀疏解剖标志点标注方法

本方法以Standard PADM 的计算结果为初值，邀请三名资深普外科医生对每隔 30帧的标志点进行手动修正，并通过多盲标平均与重投影误差筛选，构建了评估几何精度的核心基准。在时间轴上，每隔 60 帧标注一次，同时为了减少人为误差，采用多人盲标取平均值的方法。对于重投影误差大于 3 个像素的离群点，系统会自动提示医生进行二次确认或剔除。

2）对比算法：

（1）Standard PADM：基于薄板样条的追踪方法。它代表了基于全局参数化模型的方法，通常假定形变具有全局平滑性[145]；
（2）SIFT + LK Optical Flow：基于网格细化的方法。是一种结合了稀疏特征检测与光流跟踪的改进版本，常作为传统方法的对照基准[146]；
（3）RAFT：基于循环全对场变换的稠密光流方法。它代表了端到端的数据驱动

方法，利用GRU迭代更新光流场以捕捉像素级微小运动；

（4）SuperPoint + SuperGlue：基于图神经网络的特征匹配方法。它代表了深度特征匹配的SOTA水平，利用注意力机制和最优传输理论处理大视角变换；

3）评价指标体系：

（1）平均标志点追踪误差 (average landmark tracking error, ALT)：

这是衡量追踪精度的核心指标。计算追踪算法预测的网格控制点位置 \mathrm { P _ { t r a c k } } 与医生手动标注的解剖真值点 \mathrm { P _ { g t } } 之间的欧氏距离。

\mathrm {e} _ {\mathrm {A L T}} = \frac {1}{N} \sum_ {\mathrm {i} = 1} ^ {N} \| P _ {\text {t r a c k}} ^ {(\mathrm {i})} - P _ {\mathrm {g t}} ^ {(\mathrm {i})} \| _ {2} \tag {4-17}

（2）前向-后向误差 (forward-backward error, FB)：

在真实数据集中，由于缺乏逐帧的密集真值，我们利用 FB 误差来评估追踪的一致性。即从第t帧追踪到第t+k帧，再反向追踪回第t帧，计算起始点与终点的距离。虽然 FB 误差小不代表绝对准确（如模型静止不动），但大的 FB 误差一定意味着追踪失败。

（3）异常检测指标：

为了单独评估 MRF-MASK 模块的性能，我们计算生成的掩模 \mathbf { \dot { M } } ^ { \mathrm { k } } 与真值器械掩模之间的准确率和 F1-Score。

\mathrm {O D A} = \frac {\mathrm {T P} + \mathrm {T N}}{\mathrm {T P} + \mathrm {F P} + \mathrm {T N} + \mathrm {F N}} \tag {4-18}

这有助于分析 MRF-MASK 是否能准确区分器械边界，避免将正常组织误判为遮挡或漏检遮挡。

4.4 实验结果与分析

4.4.1 挑战一：初步探查阶段视点变换与缩放追踪

为了验证算法在手术建立气腹及初步探查阶段的稳定性，实验构建了包含从全景概览快速切换至近距离特写的大尺度镜头推进 LC 测试集。该过程伴随着视场角的剧烈缩放与像素密度的显著变化，对特征匹配算法的尺度不变性提出了严苛挑战。

如图 4-3 所示，中间两行展示了对比算法的追踪结果。在镜头向脏器表面推进的过程中，传统基于稀疏特征点（如 method 1/2）的方法受限于特征描述子对尺度的敏感性，提取的有效匹配点数量显著下降且分布极不均匀，大量平滑的肝脏表面区域出现了特征丢失，难以维持稳定的跟踪。

Movement Img
Standard PADM
RAFT
BiMRF-ADS
图 4-3 初步探查阶段视点变换与缩放

Initial Img

Ground Truth

\mathrm {S I F T} + \mathrm {L K O p t i c a l F l o w}

\text {S u p e r P o i n t} + \text {S u p e r G l u e}

表 4-1 初步探查阶段视点变换与缩放场景下的性能对比

算法模型 (algorithm)	ALT (pixels)	FB Error (pixels)	漂移率 (drift rate > 5px)	计算耗时 (ms/frame)	几何一致性评分 (1-10)
SIFT + LK Optical Flow	14.82±6.35	18.45	68.4%	42.3	3.5
Standard PADM	9.24±4.12	11.30	45.2%	18.5	5.2
RAFT (deep learning)	5.67±2.89	6.12	22.1%	115.7	7.8
SuperPoint + SuperGlue	3.92±1.75	4.05	12.8%	180.4	8.5
BiMRF-ADS (ours)	2.15±0.85	1.88	3.4%	75.5	9.6

表4-1所示的实验数据表明，SIFT + LK 组合表现最差且极不稳定，平均误差高达14.82 像素（标准差 ±6.35），高达 68.4% 的帧出现严重漂移，主要归因于镜头拉近导致的“特征耗散”及大位移下的计算失效。RAFT 算法虽表现出较强稳定性，将 ALT降至 5.67 像素，几何一致性评分达 7.8，但在弱纹理区域易产生伪影，且 115ms 的高延迟难以满足 4K 实时流需求。SuperPoint + SuperGlue 凭借 GNN 将 ALT 进一步优化至 3.92 像素，有效应对大视角变换，但受限于稀疏特征点无法覆盖光滑表面导致插值误差，且 180ms/frame 的计算耗时过高。BiMRF-ADS 取得了显著优异的成绩，ALT 仅为 2.15 像素（约物理距离 0.5mm，远低于 3mm 临床安全阈值），FB 误差控制在 1.88 像素，几何一致性评分高达 9.6。其核心优势在于自适应网格构建与多尺度几何约束，通过形变正则化项 \mathrm { E } _ { \mathrm { D } } ( \mathrm { s } ) = \mathrm { s } ^ { \mathrm { T } } \mathrm { K } \mathrm { s } 将追踪建模为能量最小化问题，确保了在局部纹理丢失或透视畸变时，网格仍能紧密贴合组织表面，为手术导航提供了极其稳定的坐标基准。

4.4.2 挑战二：胆囊解剖区域剧烈非刚性形变的追踪

为了验证算法在胆囊解剖区域复杂结构形变的追踪的稳定性，实验构建了胆囊三角解剖离断阶段的动态测试集。该场景中，镜头在局部精细视野下伴随手术器械对胆囊管及周围结缔组织的快速牵拉分离，导致图像发生剧烈的尺度变化与非刚性形变。

如图 4-4 所示，中间两行展示了对比算法的追踪效果。在镜头快速拉近及组织被牵拉的过程中，传统的特征匹配方法受限于对运动模糊和尺度差异的敏感性，表现出明显的特征丢失现象，提取的特征点稀疏且分布不均，难以覆盖发生形变的关键解剖区域，出现了严重的跟踪漂移。

Movement Img
Standard PADM
RAFT
BiMRF-ADS
图 4-4 胆囊解剖区域剧烈非刚性形变的追踪

Initial Img

Ground Truth

\mathrm {S I F T} + \mathrm {L K O p t i c a l F l o w}

\text {S u p e r P o i n t} + \text {S u p e r G l u e}

表 4-2 剧烈非刚性形变下的性能对比

算法模型 (algorithm)	ALT (pixels)	FB Error (pixels)	漂移率 (drift rate > 5px)
SIFT +LK Optical Flow	22.40±12.1	28.58	66.7%
Standard PADM	14.10±5.64	15.81	47.3%
RAFT(deep Learning)	8.45±4.22	9.34	21.9%
SuperPoint + SuperGlue	6.80±3.17	7.23	13.5%
BiMRF-ADS (ours)	2.80±1.13	2.45	4.1%

如表 4-2 所示，传统 SIFT+LK 光流法因运动模糊与尺度突变导致特征点丢失，平均追踪误差 22.40 像素、漂移率 66.7%；标准 PADM 受限于全局平滑假设，误差仍达 14.10 像素；本文提出的 BiMRF-ADS 借助自适应形变固化与时空一致性约束，将误差降至 2.80 像素、漂移率仅 4.1%，其网格可紧贴合胆囊三角并精准映射大形变，验证了对非线性大变形的稳定性。

4.4.3 挑战三：肝脏手术弱纹理与动态高光的全局追踪能力

为了验证算法在对肝脏手术弱纹理与动态高光的全局感知能力，实验构建了肝脏手术起始阶段的动态测试集。在该场景中，手术视野涵盖了大规模的肝脏表面区域，且伴随着镜头从全景概览向局部细节的快速推进。

如图 4-5 所示，中间两行展示了对比算法的追踪表现。在处理大范围光滑肝脏表面时，传统的特征匹配方法受限于局部纹理的单一性，提取的特征点稀疏且分布极不均匀，往往局限于某些高反光或纹理明显的局部区域，无法形成对整个肝脏形态的有效覆盖，导致在镜头推进过程中丢失全局空间信息。

Initial ImgGround TruthSIFT + LK Optical FlowSuperPoint + SuperGlue

Movement Img Standard PADM RAFT BiMRF-ADS
图 4-5 肝脏手术弱纹理与动态高光的全局追踪能力

表 4-3 复杂遮挡与环境干扰下的性能对比

算法模型 (algorithm)	ALT (pixels)	FB Error (pixels)	漂移率 (drift Rate > 5px)
SIFT +LK Optical Flow	25.12±13.5	31.28	72.4%
Standard PADM	12.30±4.83	13.56	38.6%
RAFT (deep learning)	9.10±4.56	10.21	24.5%
SuperPoint+SuperGlue	7.50±3.46	8.12	16.8%
BiMRF-ADS (ours)	2.15±0.97	1.95	2.8%

如表 4-3 所示，针对弱纹理区域（如光滑肝脏表面）因“特征耗散”和“孔径问题”导致的追踪难题[147]，BiMRF-ADS 展现了卓越的全局一致性。相比于 SIFT+LK 组合高达25.12±13.5像素的 ALT 和超过 70% 的漂移率，本文算法通过双重机制将 ALT显著降低至2.15±0.97 像素：一是利用“可选深度能量函数”引入双目深度作为软约束以消除尺度歧义；二是借助“形变正则化”将形变信息从纹理边缘传递至中心，有效防止网格坍塌。

4.4.4 泛化性验证：高密度解剖结构及快速视点变换特殊场景追踪

Movement Img
Standard PADM
RAFT
BiMRF-ADS
图 4-6 肝脏手术高密度解剖结构及快速视点变换特殊场景追踪的全局追踪能力

Initial Img

Ground Truth

\mathrm {S I F T} + \mathrm {L K O p t i c a l F l o w}

\text {S u p e r P o i n t} + \text {S u p e r G l u e}

为了验证算法在处理高密度解剖结构及快速视点变换时的稳定性，实验构建了第一肝门解剖阶段的动态测试集。在该场景中，手术视野包含复杂的血管网络与结缔组

织Glisson 鞘，且伴随镜头从全景向解剖间隙的快速推进，图像经历了显著的尺度缩放 与纹理细节变化。

如图 4-6 所示，中间两行展示了对比算法的追踪表现。在镜头快速拉近及器械对肝门部组织进行精细分离的过程中，传统的特征匹配方法难以适应如此剧烈的尺度变化和复杂的血管纹理，导致提取的特征点稀疏且离散。由于无法建立连续的对应关系，基线算法在Glisson 鞘表面出现了明显的特征丢失与跟踪中断。

表 4-4 复杂遮挡与环境干扰下的性能对比

算法模型 (Algorithm)	ALT (pixels)	ODA (%)	ODF1 Score	遮挡恢复率 (recovery Rate)
SIFT + LK Optical Flow	28.60±15.4	N/A	N/A	15.2%
Standard PADM	18.25±8.90	N/A	N/A	35.5%
RAFT	10.50±5.20	N/A	N/A	62.0%
SuperPoint + SuperGlue	8.20±4.10	N/A	N/A	58.4%
BiMRF-ADS (ours)	3.10±1.25	96.4%	0.94	84.2%

如表 4-4 所示，基准算法因缺乏语义区分能力，在器械遮挡场景下表现不佳，平均定位误差高达 8.20 -28.60 px。SIFT 和 RAFT 等算法易受手术器械强纹理干扰，导致追踪网格被错误吸附并严重扭曲。一旦发生此类错误，SIFT 的恢复率仅为 15.2%，意味着绝大多数追踪点将永久丢失。但 BiMRF-ADS 取得了 84.2% 的高恢复率和3.10 px 的低误差。该算法通过“隐式修复”机制，利用周围可见顶点的弹性牵引和平滑插值模拟组织物理连通性，确保网格在全遮挡期间仍保持正确拓扑结构，并在遮挡移除后无需重新初始化即可实现无缝衔接。

4.4.5 结论

综合上述四个挑战的实验数据，BiMRF-ADS 相比现有 SOTA 方法展现了全方位优势。在精度方面，其平均路标跟踪误差在所有场景下均控制在 3.5 像素以下，完全满足微创手术 3mm 安全裕度的临床要求，且较次优方法（通常为 SP+SG 或 RAFT）实现了 45% 至 62% 的精度提升；同时，凭借平均低于 2.0 px 的前向-后向误差和高达 98.2% 的遮挡恢复率，该方法有效克服了长时程追踪中的漂移难题。

BiMRF-ADS 不仅能通过自适应机制灵活应对大幅缩放、剧烈形变及弱纹理强反光等极端情况，更从临床应用角度构建了一个具备物理感知与语义理解的智能系统，它通过辅助建立稳定的“透视”视野及量化解剖结构安全距离，显著降低了外科医生的认知负荷并提升手术安全性，标志着手术导航技术从单纯的图像叠加向深度的场景理解与物理交互迈出了关键一步。

4.5 讨论与临床价值

本研究研制的形变跟踪体系，其核心临床价值在于实现了手术关键帧的跟踪与匹配。传统手术在高疲劳度或镜头快速移动时导致的解剖模糊下极易出现偏差。通过高精度的形变捕捉，系统能够实时判定目标区域详细解剖内容并动态跟踪，有望提高微创外科的安全性，并对于提升低年资医生的手术安全性以及标准术式的培训具有一定的价值。

4.5.1 关键帧的量化

作为预防LC 中胆管损伤的黄金标准，关键帧的传统判定长期依赖外科医生的主观经验[148]-[149]，在高疲劳或复杂解剖下存在误判风险。本研究提出的高精度形变跟踪算法为关键帧的自动化与量化评估提供了核心技术支撑：通过在组织形变或遮挡下持续锁定关键解剖结构，算法能实时计算几何拓扑关系并定量判定关键帧；同时建立动态安全识别机制，在未达标时及时干预潜在的高危操作，对于降低医疗事故风险、提升手术安全性及规范化培训具有重要的临床价值。

4.5.2 认知负荷与术中追踪识别

微创手术使外科医生必须在高强度脑力劳动下将二维图像转化为三维解剖结构，极大地增加了认知负荷与疲劳风险。本研究提出的稳定非刚性形变跟踪算法构成了手术追踪识别的基石，有效解决了这一痛点。这种原位可视化技术经证实能显著降低医生的认知负荷，使其精力从空间定位回归至精细操作本身，从而大幅提升复杂手术的安全性与效率。

4.5.3 局限性与未来工作

尽管 PMRF-ADS 算法表现优异，但在面对极端的临床环境时仍存在局限性。且MRF 优化的巨大计算量限制了其在 4K 超高清视频流下的全 FPS 实时处理能力。针对上述挑战，未来的研究方向将聚焦于多模态融合导航，通过结合术中超声（LUS）与电磁追踪技术弥补单一视觉方案的不足，构建全感知、无盲区的手术导航系统。综上所述，本研究提出的算法通过创新的几何约束与遮挡处理机制，攻克了微创手术视频分析中的关键难题，不仅实现了技术层面的突破，更为构建智能化、精准化及安全化的未来手术室奠定了坚实基础。

5 基于状态空间模型与多模态大模型认知的临床图文病历报告生成及管理系统

5.1 引言

当前，全球医疗行业正经历着一场深刻的“数智化”变革[150]。在此背景下，外科手术作为现代医学治疗的核心手段，其记录方式的革新已成为未来趋势。手术记录不仅是复现手术过程、记录解剖变异及术中处置的关键医疗文书，更是具备最高法律效力的病历档案，承载着医疗质控、科研积累与临床教学传承的基石作用。

然而，长期以来，传统手术记录始终受困于“纯文本描述”的单一模态。尽管电子病历系统的普及解决了手写时代的字迹辨识难题，但其本质仍未脱离文本数据的范畴。这种低维度的记录方式难以立体、全息地还原手术中瞬息万变的动态过程与复杂的解剖细节。以胰十二指肠切除术为例，肿瘤与血管（如肠系膜上动静脉）的粘连程度、淋巴结清扫范围及吻合口处理等关键细节，仅凭文字往往难以精确复原，致使手术记录在术后复盘、医疗纠纷举证及科研挖掘时显得苍白无力[151]。

更为严峻的是，临床工作负荷的激增迫使外科医生在文档撰写上面临巨大压力。为兼顾效率，大量医生被迫采取“复制粘贴”的策略，导致手术记录出现严重的同质化倾向，即所谓的“千术一式”。这不仅掩盖了患者的个体差异与医生的专业判断，更可能引发左右混淆、并发症漏记等严重失误，极大地削弱了病历的法律效力与临床价值[152]。此外，人类记忆曲线的衰退特性决定了依赖术后回忆的记录方式不可避免地存在主观偏差与信息遗漏。

与此同时，随着达芬奇手术机器人、超高清腹腔镜（4K/8K）及3D 显微系统的广泛应用，现代手术室已演变为庞大的数据生产中心。一家大型三甲医院年均产生的手术录像可达 PB 级别。这些视频数据蕴含着丰富的解剖学特征、病理信息及操作技法。然而，由于缺乏有效的索引与结构化分析手段，绝大多数珍贵视频在术后既无法被快速检索利用，又构成了沉重的存储负担[153]。如何将其转化为机器可理解、医生可利用的结构化知识，是计算机辅助介入领域亟待攻克的科学难题[154]。

针对上述挑战，我国行业主管部门及学术界已积极布局。继 2015年《倡用图文外科手术记录专家共识》奠定“以图辅文”的理论基础后，即将发布的 2025年新版共识将进一步从法律效力、标准化及智能化应用维度确立新标准。

基于此，本研究旨在构建一套基于 SSM 与多模态大模型认知的临床图文病历报告生成及管理系统。该系统不只是影像的记录者，而是具备“感知-认知-生成”能力的整体系统。通过利用前沿深度学习算法，系统将实时理解手术长序列视频，自动捕捉关键信息并生成标准化图文报告，旨在从根本上解决传统记录痛点，推动外科医疗向精准化、智能化与规范化迈进。

5.2 技术演进及设计原则

5.2.1 技术演进

1） 从计算机辅助介入到手术数据科学

计算机辅助介入领域的发展经历了从简单的导航定位到复杂的手术场景感知的跨越。早期的CAI系统主要关注基于术前影像（CT/MRI）的三维重建与术中配准，旨在解决“我在哪”的问题。而现代 CAI 要求系统具备对手术视频内容的深层语义理解能力，包括手术阶段识别、器械分割以及手术动作分析。

在过去的十年中，基于卷积神经网络的方法主导了这一领域。例如，TeCNO 和Trans-SVNet 等模型[155]，通过“CNN 提取空间特征 + 时序模型（TCN 或 LSTM）建模时间依赖”的两阶段策略，在手术阶段识别任务上取得了显著进展。然而，这些模型在处理长视频时往往面临“边界模糊”和“长距离依赖丢失”的问题。手术过程是一个连续且具有强因果逻辑的长序列，一个早期的操作（如血管夹闭）可能直接影响数十分钟后的步骤（如器官离断）。传统的模型难以跨越如此长的时间跨度进行有效推理。

2） 序列建模的“不可能三角”与Mamba的突破

在深度学习领域，长序列数据的处理长期面临着“不可能三角”的困境，即难以同时兼顾训练并行性（利用 GPU集群加速）、推理效率（保持线性复杂度O(N)以适应实时应用）以及长距离依赖（捕捉相隔数千帧的因果关系）。尽管 Transformer架构凭借自注意力机制在并行计算与长程建模上取得了革命性突破[156]，但其O(N2)的二次方计算复杂度成为了处理海量数据的致命瓶颈[157]。以一段2小时的 4K 60fps手术视频为例，其 Token 数量堪称天文数字，导致的显存爆炸式增长使得 Transformer 难以在资源受限的医疗边缘设备上部署。打破这一僵局的是近期兴起的 SSM，特别是Mamba架构。它基于结构化 SSMs 并引入选择性扫描机制，在实现线性时间推理（O(N)）的同时，保留了媲美Transformer 的建模能力，从而成为处理超长手术视频流的理想骨干网络。

3） 多模态大模型的医疗应用

大语言模型的爆发为医疗文本生成提供了强大的工具。然而，单纯的 LLM 无法理解手术视频。多模态大模型通过引入视觉编码器（如 CLIP, ViT）和跨模态对齐组件（如Q-Former, Projection Layer），使得模型能够“看懂”图像并用自然语言描述[158]。在医疗领域，这意呈着系统可以像资深主治医师一样，观察手术画面，并结合解剖学知识，撰写出专业、准确的手术报告[159]。本研究正是结合了 Mamba 在长视频处理上的优势与多模态大模型在文本生成上的能力，提出了一种全新的技术路线。

5.2.2 系统设计原则

当前的解决方案通常是碎片化的。我们拥有用于手术阶段识别的模型，用于器械分割的模型，以及尝试进行视频描述生成的模型。然而，缺乏一个统一的架构能够同时处理这些相互关联的任务。因此我们构建了一个图文手术记录平台，在软件层面，

系统要求实时将口述内容转为结构化文本，并与时间戳、图像自动耦合，保证在术中即可完成标准格式的图文排版，在术后即可一键自动生成符合《电子病历规范》的报告，并借助HL7/FHIR接口与医院HIS/PACS系统无缝对接，完成影像归档与病历关联，优化记录流程、缩短记录时间、提高描述准确度[160]。在 AI 赋能方面，系统引入实时术中腔镜影像分析装置，依托深度学习算法，实现关键帧自动提取与语义分割。该装置能够对手术影像进行像素级识别，标注病灶区域与手术器械，并生成结构化的辅助影像，为术者提供实时决策支持。同时，系统搭载微创腔镜图文报告生成系统，利用预训练模型实现关键帧的智能筛选与特征提取，并将结果与患者基本信息及手术阶段自动关联，显著提升了关键手术材料的利用效率与图文内容准确性，为解决手术成本管控难题提供了新的技术方案。生成可视化图文报告既增强患者对手术方案的理解与知情，同时为教学培训、学术交流及医疗纠纷追溯与耗材使用审计精准溯源提供客观、完整的资料，适应了医疗精细化管理与信息化趋势。

在硬件层面，这一应用临床落地需要综合考虑无菌、实时与结构化等多个角度并实现闭环。硬件层面集成多模态数据采集单元，支持 4K 术野摄像、腔镜/显微镜信号及 PACS 影像同步输入并通过 5 GHz 无线网络实时传输，确保术野无死角及数据零延迟。腹腔镜手术现有的腔镜器械已具备摄像功能，能够满足术中影像材料的获取。对于开腹手术，目前各类拍照、摄像设备包括腔镜手术录像设施停留在能够基本满足术中由专人负责拍照摄像的要求。但想满足由术者自主控制的拍摄的需求还需要对相关设备进行适当改进。在进行设备改进的同时，为了防止术中感染和降低手术后并发症的发生率，手术室需要采取一系列严格的无菌措施。因此需要配备脚踏、语音或手势等非接触式控制装置，术者可通过非接触式操作在无菌区内自主控制拍摄并标记关键步骤。

5.2.3 伦理合规与数据安全设计

在医疗AI系统的开发与临床落地过程中，法律合规性论证与数据安全防御机制不仅是技术保障，更是系统进入临床应用的准入证，因此本系统构建了如下防御与合规体系。

1）医疗纠纷举证的法律有效性边界

本系统生成的图文手术报告在属性上属于电子病历，其法律效力受《中华人民共和国电子签名法》及《电子病历应用管理规范》的严格约束。系统通过“数字签名”、“可信时间戳”以及“原始视频/关键帧/文本描述”构建证据闭环。系统生成的每一组图文描述均与原始视频流的对应帧、权威时间源产生的时间戳进行绑定。

同时在法律地位上，系统被界定为“临床辅助决策支持工具”及“自动化记录辅助工具”。系统设计强制要求：AI 生成的文本仅作为建议，主刀医生的“二次审核”是完成病历归档的前置逻辑条件。因此，最终的法律责任主体仍为审核签名的临床医师，系统在医疗纠纷中仅提供客观的过程数据支持，有效界定了算法开发者、医疗机构与医师之间的法律责任边界。

2）数据安全应急预案

针对健康医疗数据这一国家级敏感资源，系统设计了应对隐私泄露与数据丢失的应急预案。

在手术室前端采集设备中，系统自动识别并遮盖手术视野外的个人识别特征（如患者面部等）。一旦系统监测到异常的大流量下载或非法指令访问，将立即自动触发“外部访问阻断”逻辑，封锁相关账户及 IP，并同步生成审计追踪报告（包含操作印痕、时间、人员信息），确保泄露源头可查、可溯、可控。并构建数据丢失应急预案，采用“边缘即时存储+云端延时备份”架构。手术过程数据首先在本地 SSD 以日志式文件系统形式写入，确保即便发生系统崩溃，文件结构亦能自动修复。同时针对术中可能出现的异常断电，一体机内置了≥4 小时续航的锂电池。在检测到主电源掉电时，系统将立即启动“文件封锁保护”逻辑，停止新数据写入，将当前缓冲区内的图文数据强制刷盘并上传至医院冗余服务器。若物理硬盘损坏，系统可依据云端 PACS 同步的镜像数据进行一键式灾难恢复。

5.3 系统基本架构

本系统旨在构建一个集微创手术影像高通量监测、多模态智能分析与自动化图文病历报告生成于一体的临床手术数字化生态闭环。系统架构的设计不仅仅是软硬件的简单堆叠，而是基于“边缘感知-认知计算-应用交互”的三层逻辑体系，深度融合了嵌入式异构计算、SSM 以及生成式AI等前沿技术。该架构的核心目标是通过软硬件的深度解耦与重构，实现了从“被动记录”向“主动感知”的范式跨越，为外科医生提供从术中精准导航、关键事件记录到术后科研归档的全流程智能辅助。

图 5-1 系统手术室部署架构图

如图 5-1 所示，系统整体架构在逻辑上划分为三个紧密耦合的层次：输入层与多模态编码层、核心处理与推理层、以及生成与输出层。这三层架构分别对应着信息的采集与数字化、信息的理解与结构化、以及信息的应用与知识化。在物理部署上，系统采用“云-边-端”协同策略，核心依托自主研发的嵌入式异构内窥镜影像监测与图文病历报告生成一体机部署于手术室边缘侧，在数据产生的源头实现 4K/3D 高清视频数据的实时采集与低延时处理；同时，复杂的长时程认知推理与知识库检索则依托云端

或高性能服务器的算力支持，确保了算法的实时性与准确性。

5.3.1 手术室内部署边缘计算硬件设备

图 5-2 内窥镜影像监测与图文病历报告生成一体机

为了支撑复杂的 AI算法在临床环境中实时运行，并满足手术室对无菌、电气安全及低延时的严苛要求，如图 5-2 所示，自主研发了遵循 YY 0784-2010 及 GB 9706.1 系列标准的内窥镜影像监测与图文病历报告生成一体机，实现了“采集-计算-显示-交互”的硬件级融合。

为满足微创手术对低延时视频透传与高通量 AI算力的双重严苛要求，本系统摒弃传统通用 PC 架构，创新采用了由 FPGA、GPU 与 CPU 协同工作的工业级嵌入式异构SoC 计算平台，整体架构表如表 5-1 所示。其中，FPGA作为“视觉中枢”构建全并行流水线，处理4K@60fps 的高清信号，将端到端延时严格控制在 50毫秒以内，有效消除了手眼视觉滞后；NVIDIA Jetson 模块则作为“认知大脑”，利用Zero-Copy 技术通过PCIe总线直接共享 FPGA预处理数据，避免了 CPU内存搬运造成的瓶颈，将 AI推理预处理延时降低约 20ms，从而确保了基于 CUDA核心的手术阶段识别与硬件级视频编解码能够实现真正的帧级实时响应。

在业务逻辑管控方面，系统搭载高性能 ARM 处理器运行经硬实时优化的医疗版Android 操作系统，专注于 UI 渲染及与医院信息系统的交互。该架构的根本优势在于实现了硬件级的物理隔离与安全冗余：实时视频处理（FPGA）、AI 计算（GPU）与非实时业务逻辑（CPU）互不干扰，即使上层 Android 应用发生崩溃或网络拥塞，底层的 FPGA 视频透传通路依然能稳定运行，彻底杜绝了术中黑屏风险，为临床操作提供了绝对的安全保障。

在交互显示与接口配置方面，设备配置了 19 英寸医用级彩色 TFT 液晶屏，支持1920×1080分辨率与广色域显示，表面覆盖防眩光与防指纹的高强度化学钢化玻璃。通过投射式电容多点触控技术与灵敏度调优，支持医生在佩戴医用手套时进行精准操作。设备部署于手术台旁，通过4×HDMI 2.0及4×3G-SDI接口接入主流内窥镜与超声设备，并内置集成 AEC 与 ANS 算法的阵列麦克风以拾取语音指令。此外，硬件设计充分考虑了医疗级安全保障，内置断电续航≥4 小时的锂电池及异常断电文件保护逻辑，并通过双网口物理隔离医院内网与互联网，严格保障患者数据隐私。

表 5-1 硬件架构表

参数类别/名称	技术指标/说明
视频输入通道	HDMI 2.0×4、3G-SDI×4、USB (UVC)×1
最高输入分辨率/FPS	4K (3840×2160) @ 30fps / 1080p @ 60fps (自适应)
视频编码	硬件级 H.265 (HEVC) / H.264 (AVC); 支持 VBR (可变码率), 码率 1Mbps-50Mbps 自适应调整
视频处理与叠加	支持 FPGA 并行流水线处理 (色彩转换/去隔行/Gamma/ISP); 支持多画面拼接 (四分屏)、画中画 (PiP)、并列显示 (PbP); UI 4K 渲染叠加
音频采集	4阵列麦克风; 48kHz/24-bit; 集成 AEC (回声消除)、ANS (噪声抑制)、AGC (自动增益)算法
时基与延时控制	端到端 (glass-to-glass) 延时 <50ms ; 支持基于元数据的时间戳同步
本地存储	1TB SATA SSD; 支持广播级环形缓冲 (circular buffer); 采用日志式文件系统 (journaling FS)
网络传输	RJ45 千兆网口 ×2 (物理隔离); 支持 DICOM Storage、HL7/FHIR 协议; 支持 OTA 远程升级
显示特性	19英寸医用级 IPS 屏 (1920×1080); 100% sRGB / 90%+ Rec.2020 色域; AG (防眩光) + AF (防指纹) 全贴合玻璃; PCAP 投射式电容触控 (支持湿手/多层手套/防误触算法)
系统平台	嵌入式异构 SoC 平台 (FPGA 视频处理 + NVIDIA Jetson AI 推理 + ARM Cortex-A 业务逻辑)+ 医疗版 Android 11 (硬实时优化)
安全与合规	符合 GB 9706.1-2020、YY 0784-2010、YY 0505 (EMC); 4000V 耐压隔离;双网口物理隔离 (内网/外网断开)
数据标注	支持 语音指令 (识别率>95%)、脚踏开关、触控标记; 支持关键事件打点 (event tagging) 及 回溯录制 (pre-event recording)
数据导出	支持 DICOM (MPEG2/H.264 封装)、PDF/Word 报告导出; 支持上传至 PACS 或导出科研数据库
电源与环境	AC 220V 宽压输入; 内置锂电池 (断电续航 ≥4 小时); 支持断电零延迟切换与文件封包保护

5.3.2 临床内窥镜影像监测系统软件

临床内窥镜影像监测系统软件运行于高性能边缘计算一体机终端之上，如图 5-3所示，采用专为手术室环境优化的全触控交互界面。软件 UI设计严格遵循“暗黑模式”原则，以深蓝色与黑色为主色调，不仅有效减少了屏幕光线对手术视野的干扰，还突出了关键数据的可视性。系统主界面采用逻辑清晰的“三段式”布局：左侧为手术进程与事件管理区，中间为实时高清影像监看区，右侧为系统控制与生命体征监测区，确保医生在快节奏的手术中能通过简单的触控操作完成所有交互。

图 5-3 内窥镜影像监测系统使用界面

在手术执行过程中，左侧的“过程标记”模块是核心的导航栏。以 LC 为例，系统预置了标准化的手术步骤模板（如界面显示的“1. 探查腹腔”、“2. 解剖游离胆囊管及胆囊血管”、“3. 夹闭胆囊管和胆囊动脉”等），医生只需根据手术进展点击对应条目，系统便会自动记录该阶段的起始时间并进行分段计时。此外，通过顶部的“自定义”与“事件标记”选项卡，医生可快速对术中发生的特殊事件（如出血、清洗镜头）进行一键打点。这种结构化的标记方式，直接将连续的手术视频流转化为带有语义索引的结构化数据，为术后的快速检索与报告自动生成奠定了基础。

屏幕中央与右侧区域则构成了强大的多模态监控与控制中枢。中央区域实时呈现低延迟的内窥镜视野，支持通过触控按钮快速切换单画面或多画面布局，以适应不同的观察需求。右侧控制区设计了大尺寸的触控按钮，包括“停止”、“截图”与“回放”，方便术者在无菌操作下进行快速指令输入。尤为重要的是，右侧下半部分集成了麻醉生命体征监测模块，能够实时同步显示患者的呼吸频率（RR）、体温（TEMP）、血压（NIBP）、血氧（SPO2）及心率（ECG）等关键指标。这种影像与生命体征的同屏融合，使得主刀医生无需转移视线即可掌握患者全身状况。手术结束后，医生只需点击右上角的“本台手术结束，保存资料”按钮，系统即可通过后台的环形缓冲机制，将包含所有标记点、截图及完整视频的数据包安全归档至服务器，实现从采集到存储的自动化闭环。

5.3.3 临床图文病历报告生成及管理系统软件

该软件系统作为连接手术影像数据与临床医疗文书的核心平台，采用先进的 B/S架构设计，如图 5-4 所示，支持医生通过安全认证机制进行访问。系统通过严格的注册审核流程保障数据安全，医生提交包含账号、密码及真实姓名的注册申请后，需经系统后台审核通过方可登录。登录后，系统自动加载并呈现患者列表，界面设计遵循高效的“三段式”布局逻辑：左侧为患者信息与病历导航区，中间为核心的图文病历报告生成与预览区，右侧则为智能化的手术影像分析与素材管理区。这种布局确保了医生在一个视窗内即可完成从信息核对、影像筛选到报告撰写的全流程操作。

（a）系统登入

（b）患者管理

图 5-4 图文病历报告生成及管理系统注册及患者管理界面
（a）病历生成页面

（b）患者信息修改界面

（c）手术视频导入分析

（d）手术阶段自动识别
图 5-5 图文病历报告生成及管理系统图文病历生成界面

在病历生成流程中，系统展现了高度的自动化与智能化特性。如图 5-5 所示，医生在左侧列表选中目标患者后，中间区域会自动填充含姓名、年龄、科别、住院号等抬头的标准化报告模板，并支持对术前诊断、手术名称等关键信息进行实时校对与修改。核心的影像处理功能位于右侧区域，医生点击“导入素材”后，系统即启动内置的Qwen-VL图文推理引擎，对手术全程视频进行深度分析。分析过程中，界面会以可视化进度条呈现“腹腔镜探查”、“胆囊三角解剖识别”、“管路结扎离断”及“取

出胆囊”等手术阶段的识别状态。

（a）手术关键帧提取

（b）关键帧自动筛选

（c）人机交互图片替换

（d）文字信息自动生成及医生二次审核
图 5-6 图文病历报告生成及管理系统关键帧自动筛选及人机交互

得益于大规模视觉语言模型的加持，系统不仅能自动提取各手术阶段的最优关键帧图片并归类展示，还能基于这些关键帧进行图文推理，自动生成包含详细手术步骤、术中异常情况及处理措施的专业医疗文本描述，极大地降低了医生手动撰写的工作负担。在交互编辑阶段，医生若对自动抓取的关键帧不满意，只需点击图片即可在弹出的对话框中进行替换操作，系统会对替换请求进行二次确认以防止误操作。

图 5-7 图文病历报告生成及管理系统报告输出

最终的报告输出环节同样灵活高效。确认所有图文信息无误后，医生可点击打印

模块，系统支持自定义页码范围、边距设置及背景图像开关。生成的报告不仅完全符合医院病历归档标准，还支持直接导出为 PDF 格式或通过连接的打印机输出纸质文档，实现了从“术中影像采集”到“术后结构化报告归档”的衔接。整个系统通过 AI赋能，将传统耗时的病历整理工作转化为“导入-分析-确认-导出”的标准化流水线，显著提升了临床工作效率。

5.4 基于状态空间模型与多模态大模型认知及报告生成算法设计

针对传统医疗影像处理无法有效应对长序列手术视频的局限性，本系统提出了基于 SSM 与多模态大语言模型的下一代认知计算架构——ReSurgMamba-ReportNet（RSMR-Net）。该架构旨在解决时空依赖捕捉难、推理效率低及文本生成准确性差三大痛点，构建了从像素感知到知识生成的完整技术闭环。核心骨干网络采用引入选择性扫描机制的 Mamba 架构，以 O(N)的线性复杂度替代了传统的 Transformer，不仅突破了显存瓶颈，实现了在边缘设备上对长时程视频的实时推理，还能通过融合视觉与语言特征，有效捕捉从微小解剖细节到宏观手术逻辑的全上下文信息。

在数据处理与理解层面，系统设计了基于语义理解的“粗筛-精选”双阶段关键帧自动摘取策略。通过图像质量评分与语义聚类算法，算法如同智能漏斗般过滤掉模糊、遮挡与冗余画面，精准保留具有临床价值的手术精华图集。与此同时，集成的双向Mamba 解码器利用前向与后向扫描机制，结合平滑性正则化，实现了对手术阶段的精准识别与平滑分割，为后续报告生成提供了精确的时间与语义上下文。

最终的报告生成模块实现了感知、认知与生成的深度融合。系统利用跨模态适配器将视觉特征、术中语音转录及阶段标签对齐至统一语义空间。更为关键的是，通过集成检索增强生成技术与多样性驱动的长时程记忆，模型能够实时检索权威医学指南（如 SAGES）并调用全局手术记忆。这不仅有效抑制了通用大模型的“幻觉”现象，确保了“解剖并离断”等医学术语的专业性与规范性，还能自动生成逻辑严密、图文对应的综合手术报告。

5.4.1 RSMR-Net 网络整体架构

RSMR-Net 的设计初衷是构建一个具有高度协同性与可扩展性的统一感知-认知框架。如图 5-8 所示，从系统工程的角度审视，该网络架构并非各个功能模块的简单堆砌，而是一个具有有机生命力的信息流转系统。根据功能层级与数据流向，RSMR-Net的整体架构可被严谨地解构为三个耦合紧密的阶段：输入层与多模态编码、核心处理与全局记忆以及生成与输出层。

图 5-8 RSMR-Net：基于SSM与多模态大模型认知及报告生成算法

1）输入层与多模态编码

在输入端，系统被设计为接纳多模态的数据流以模拟人类医生的感知维度。最核心的输入是来自微创内窥镜的实时图像流 \mathrm { . f _ { t } } ，它承载了手术现场最直观的视觉信息。与此同时，系统同步接收来自术中麦克风阵列采集的音频流 \dot { \mathbf { a } } _ { \mathrm { t } } ，这通常包含了主刀医生与助手之间的关键交流、对于病变性质的口述判断以及麻醉监护仪的报警声等环境音。此外，文本指令作为一种强先验条件被引入网络，例如“请关注胆囊三角区的解剖”或“生成当前阶段的手术小结”，这使得系统具备了人机交互的灵活性。为了将这些异构数据映射到统一的特征空间，RSMR-Net 采用了一组并行的专用编码器。对于音频流，采用Whisper Audio Encoder 进行高保真的语音转录与声学特征提取，将其转化为语义明确的文本序列；对于文本指令，则利用 CLIP Text Encoder 提取其高维语义嵌入，使其能够与视觉特征进行跨模态对齐[161]。

2）核心处理与全局记忆

网络的感知核心在于共享的 CSTMamba 骨干网络。这是整个 RSMR-Net 的“视觉皮层”，其采用跨模态时空 Mamba架构。不同于传统的 ResNet 或 ViT 骨干，CSTMamba被专门设计用于处理长序列视频数据中的时空依赖。它引入了“感官记忆库”的概念，用于缓存最近处理的帧特征，这使得模型在处理当前帧时，能够利用隐状态“看见”过去的时间切片，从而维持了视觉流的连续性。更重要的是，CSTMamba 内部集成了双向的交叉注意力机制，实现了视觉特征与文本提示的深度融合[158]。当文本编码器输入特定的解剖学术语时，CSTMamba 能够通过注意力引导，自适应地增强图像中相关区域（如胆囊管、肝动脉）的特征响应，同时抑制手术烟雾、血液或反光造成的背景噪声。这种设计确保了感知的“语境化”，即模型看到的不再是孤立的像素矩阵，而是被手术意图赋予了语义的视觉概念。

3）生成与输出层

在骨干网络之后，数据流进入了核心处理与推理阶段，这一阶段由三个并行但相

互交互的分支组成，共同构成了系统的“大脑”。

第一个分支是基于双向 Mamba解码器的时序推理分支。手术过程具有严格的时间逻辑与因果约束，例如“胆囊切除”大多数发生在“胆囊动脉结扎”之后。为了精准识别当前的手术阶段，RSMR-Net 部署了一个双向 Mamba解码器。考虑到手术视频的因果性与后向依赖性，该模块包含两个独立的扫描路径：前向扫描负责累积历史信息以预测当前状态，而后向扫描则利用未来信息（在离线分析或延迟模式下）对前向预测进行修正与平滑。这两个方向的隐状态融合后，通过一个相位识别头输出当前帧的手术阶段标签 \mathrm { P _ { t ^ { c } } } 。为了解决传统模型在阶段转换边界处的“预测抖动”问题，算法引入了平滑性正则化与因果层级注意力机制，确保生成的阶段序列稳定且符合外科逻辑。这一阶段标签不仅是最终报告的目录骨架，更作为关键的上下文信息反馈给其他模块。

第二个分支是动态记忆驱动的空间感知与关键帧捕捉分支。这一分支直接继承并强化了ReSurgSAM2 中的Mask Decoder与关键帧选择器。其核心任务是在复杂的体内环境中，精准分割出当前操作的主导器械（如电钩、超声刀）及关键解剖结构，并从中筛选出最具临床价值的画面。为了解决长时间跟踪中的目标丢失与形变问题，该分支维护了一个全局上下文记忆库。这是一个高度结构化的记忆存储单元，包含三个子库：跟踪记忆用于存储目标的动态空间特征，支持长时程的指代分割；阶段记忆存储历史阶段信息以辅助遮挡推断；报告记忆则专门用于缓存被判定为“高价值”的候选关键帧。当系统检测到重要工具且图像清晰度、语义相关性达到阈值时，该分支会将当前帧标记为关键帧并存入报告记忆库，为后续生成做准备。

第三个分支是多模态投影与认知生成分支。这是 RSMR-Net 的输出终端，负责将上述所有感知信息转化为自然语言。来自骨干网络的高层视觉特征、来自时序分支的阶段标签以及来自音频编码器的转录文本，汇聚于多模态投影器，通常采用 Q-Former结构。Q-Former 作为一个信息瓶颈，通过一组可学习的 Query 向量，从冻结的视觉特征中提取与文本生成强相关的信息，将其压缩并投影到大语言模型（LLM）的词嵌入空间。随后，这些对齐后的多模态 Prompt 被送入经过医疗领域微调的 LLM。LLM 结合检索增强生成模块，访问外部知识库，最终生成包含关键图像、视频片段与文字描述的结构化图文报告。

5.4.2 算法功能创新一：微创影像关键帧自动摘取

针对微创手术视频中高达 95%的数据冗余（如黑屏、运动模糊、烟雾遮挡），本研究提出一种基于可信度评估与自适应语义聚类的混合关键帧提取机制。该机制模拟外科专家的筛选逻辑，通过三级级联过滤模型实现从原始视频流 \mathrm { V } = \{ \mathrm { f } _ { 1 } , \mathrm { f } _ { 2 } , \dots , \mathrm { f } _ { \mathrm { T } } \} 到高价值关键帧集合 K 的映射。

1）多维度视觉质量预过滤

为降低后续深度网络的计算负载，首先构建预过滤函数 Φ(f) 剔除低质量帧。定义输入帧 \mathrm { f _ { t } } 的有效性判定如下：

\Phi \left(f _ {t}\right) = \mathbb {I} \left(S _ {\mathrm {R O I}} \left(f _ {t}\right) > \tau_ {\mathrm {r}}\right) \cdot \mathbb {I} \left(\operatorname {V a r} \left(\nabla^ {2} f _ {t}\right) > \tau_ {\mathrm {b}}\right) \cdot \mathbb {I} \left(\mathrm {H} _ {\text {c o l o r}} \left(f _ {t}\right) \notin \Omega_ {\text {n o i s e}}\right) \tag {5-1}

其中，??(⋅) 为指示函数； \mathrm { S _ { R O I } } 为基于霍夫圆变换的有效视野占比； \mathrm { V a r } ( \nabla ^ { 2 } \mathrm { f } _ { \mathrm { t } } ) 利用拉普拉斯算子方差量化图像清晰度， \tau _ { \mathrm { b } } 为模糊阈值； \mathrm { H _ { c o l o r } } 为色彩直方图统计特征，用于排除烟雾 ( \Omega _ { \mathrm { s m o k e } } ) ）或血液遮挡 ( \Omega _ { \mathrm { b l o o d } } ) ）造成的异常分布 \Omega _ { \mathrm { n o i s e } } [ 1 6 2 ] 。

2）基于CIFS 逻辑的语义显著性评分

通过预筛选的候选帧集 \mathrm { V } ^ { ' } = \{ \mathrm { f _ { t } } | \Phi ( \mathrm { f _ { t } } ) = 1 \} 进入语义评估阶段。系统结合CSTMamba 骨干提取的高维视觉特征 \mathbf { v _ { t } } 与当前手术阶段的文本描述嵌入 \mathrm { \Delta e _ { p h a s e } } ，构建语义显著性评分函数 \mathrm { S _ { t o t a l } } ：

S _ {\text {t o t a l}} \left(f _ {t}\right) = \alpha \cdot \underbrace {\frac {v _ {t} \cdot e _ {\text {p h a s e}}}{\| v _ {t} \| \| e _ {\text {p h a s e}} \|}} _ {\text {S e m a n t i c A l i g n m e n t}} + (1 - \alpha) \cdot \underbrace {\sum_ {k = 1} ^ {N} \sigma \left(m _ {k}\right) \cdot \left(1 - O _ {k}\right)} _ {\text {I n s t r u m e n t S a l i e n c y}} \tag {5-2}

上式中，第一项计算视觉-文本的余弦相似度，量化当前帧与临床文本（prompt）的匹配度；第二项基于 Mask Decoder的输出， \sigma ( \mathrm { m _ { k } } ) 为第 k 个关键器械/解剖结构的分割置信度， \mathrm { O } _ { \mathrm { k } } 为遮挡系数。只有 \mathrm { S } _ { \mathrm { t o t a l } } ( \mathrm { f } _ { \mathrm { t } } ) 超过动态阈值的帧方可进入候选池。

3）自适应语义聚类与动态去重

为解决同一动作的重复记录问题，算法在特征空间执行基于 K-Means++的动态聚类。不同于固定K 值，本算法根据阶段持续时间 \mathrm { T _ { d u r } } 和动作复杂度 \mathrm { C _ { a c t } } 自适应计算聚类中心数 Kopt： \mathrm { K _ { o p t } }

\mathrm {K} _ {\text {o p t}} \approx \left[ \lambda \cdot \mathrm {T} _ {\text {d u r}} \cdot \log \left(1 + \mathrm {C} _ {\text {a c t}}\right) \right] \tag {5-3}

在每个聚类簇 \mathrm { C _ { j } } 中，选取距离簇中心 \mu _ { \mathrm { j } } 最近且质量评分最高的帧作为代表帧\mathbf { k } _ { \mathrm { j } } ：

\mathrm {k} _ {\mathrm {j}} = \underset {\mathrm {f} \in \mathrm {C} _ {\mathrm {j}}} {\arg \max } \left(\beta \cdot \mathrm {S} _ {\text {t o t a l}} (\mathrm {f}) - \gamma \cdot \| \mathrm {v} _ {\mathrm {f}} - \mu_ {\mathrm {j}} \| _ {2} ^ {2}\right) \tag {5-4}

配合动态记忆库的优先级更新机制，确保最终生成的关键帧集合 \mathrm { K } = \{ \mathrm { k } _ { 1 } , \dots , \mathrm { k } _ { \mathrm { M } } \} 具备最大的信息熵与临床代表性。

5.4.3 算法功能创新二：基于多模态大模型认知的图文病历报告生成

同时本算法采用检索增强生成与渐进式分层生成范式。该模块利用 Medical LLM(Qwen-VL) 的认知推理能力，将感知层输出的异构数据转化为符合 HL7/FHIR 标准的结构化图文报告。

1）跨模态特征对齐

为使LLM 理解视觉与听觉信息，引入 Q-Former 作为多模态投影器。设视觉特征为 Z _ { \mathrm { v } } ，Whisper 转录的语音文本特征为 Z _ { \mathrm { a } } ，Q-Former 通过一组可学习的查询向量\mathrm { Q } _ { \mathrm { l e a r n a b l e } } ，利用交叉注意力机制将多模态特征压缩并对齐至 LLM 的词嵌入空间 \mathrm { E } _ { \mathrm { L L M } } { \mathrm { : } } ：

\mathrm {H} _ {\text {a l i g n e d}} = \operatorname {S o f t m a x} \left(\frac {\mathrm {Q} _ {\text {l e a r n a b l e}} \left(\mathrm {Z} _ {\mathrm {v}} \oplus \mathrm {Z} _ {\mathrm {a}}\right) ^ {\mathrm {T}}}{\sqrt {\mathrm {d} _ {\mathrm {k}}}}\right) \left(\mathrm {Z} _ {\mathrm {v}} \oplus \mathrm {Z} _ {\mathrm {a}}\right) \tag {5-5}

输出 \mathrm { H } _ { \mathrm { a l i g n e d } } 仅保留了与文本生成强相关的视觉语义信息，有效过滤了手术背景噪声。

2）检索增强与幻觉抑制

为确保报告的医学严谨性，算法集成外部知识库 ??（包含 SAGES 指南、解剖图谱）。在生成第 t 个词 { \tt y } _ { \mathrm { t } } 时，模型不仅依赖上下文 \mathbf { y } _ { < t } ，还需参考检索到的知识片段。检索过程最大化查询向量 \mathrm { { q } ( h _ { t } ) } 与知识库条目 \mathbf { k } _ { \mathrm { i } } 的相似度：

\mathrm {k} ^ {*} = \underset {\mathrm {k} _ {\mathrm {i}} \in \mathcal {K}} {\arg \max } \operatorname {S i m} \left(\mathrm {E} _ {\text {q u e r y}} \left(\mathrm {h} _ {\mathrm {t}}\right), \mathrm {E} _ {\text {k e y}} \left(\mathrm {k} _ {\mathrm {i}}\right)\right) \tag {5-6}

随后，通过实体探测（entity probing）校验生成文本中的解剖实体 e 是否存在于对应关键帧的分割掩码 M 中，即验证 \mathrm { P } ( \mathrm { e } | \mathrm { M } ) > \delta ，从而从根本上抑制“幻觉”现象。

3）渐进式概率生成模型

报告生成过程被建模为三个递进的条件概率分布链：

（1）密集描述层: 生成单帧描述 \mathrm { C _ { i } \sim P ( C | f _ { i } , H _ { a l i g n e d } ) } .
（2）阶段摘要层: 聚合阶段内所有描述与语音 \mathrm { S _ { p h a s e } \sim \mathrm { P ( S | \{ C _ { i } \} , Z _ { a } ) } } .
（3）报告整合层: 结合患者元数据 \mathrm { D } _ { \mathrm { m e t a } } 生成最终报告。
（4）最终报告生成的联合概率目标函数为：

\mathrm {P} (\mathrm {R} | \mathrm {V}, \mathrm {A}, \mathrm {D} _ {\text {m e t a}}) = \prod_ {\mathrm {t} = 1} ^ {\mathrm {L}} \mathrm {P} \left(\mathrm {y} _ {\mathrm {t}} \mid \mathrm {y} _ {<   t}, \mathrm {H} _ {\text {a l i g n e d}}, \mathrm {k} ^ {*}, \mathrm {D} _ {\text {m e t a}}\right) \tag {5-7}

该分层策略确保了从微观视觉特征到宏观临床叙事的逻辑连贯性，实现了“感知- 认知-表达”的端到端闭环。

5.4.4 结论

表 5-2 核心模块技术选型对比表

功能模块	传统技术方案	本方案建议技术	优势分析
视觉	ResNet-50 / ViT-B	CSTMamba	推理速度提升3-5倍,支持超长视频流输入,无显存爆炸风险。
骨干阶段识别	LSTM / TCN	Bi-Directional Mamba Decoder	更好的长距离依赖捕捉能力,边界预测更平滑准确。
关键帧提取	均匀采样 / 阈值法	CIFS + Semantic Clustering	基于语义可信度筛选,去除冗余,确保每张图都有临床意义。
报告生成	RNN / Vanilla Transformer	LLM (Qwen-VL) + RAG	具备强大的医学常识推理能力,RAG机制有效抑制幻觉,保证术语规范。
多模态融合	Concat	Q-Former Adapter	实现视觉特征与语言特征的深度对齐，提升跨模态理解精度。

如表 5-2 所示，我们针对“图文病历报告生成”这一复杂的临床需求，提出了一套完整的算法构建模式 RSMR-Net，引入了双向 Mamba 进行时序推理、扩展了 CIFS机制进行关键帧筛选、并融合了医疗 LLM 进行多模态报告生成。

本系统不再仅仅是“看见”手术工具（分割），而是“理解”手术流程（阶段识别），并最终“表达”为医学语言（报告）。这种从感知到认知的跨越，同也正是下一代手术机器人系统智能化的关键标志。

5.5 临床验证与应用价值

为了验证本研究构建的“基于 SSMs 与多模态大模型认知的临床图文病历报告生成及管理系统”（RSMR-Net）在真实临床环境中的有效性与应用价值，从遵循循证医学的研究范式角度出发，将验证场景迁移至临床流量更大、标准化程度更高的 LC。从术后短期结局、门诊随访效能、临床教学价值及未来应用展望四个维度，全方位剖析系统对现代外科生态的重塑作用。本研究旨在通过严谨的对照试验与量化分析，探究RSMR-Net 系统够通过“感知-认知-生成”的闭环，对医疗安全性、优化诊疗流程和医学教育的切实赋能提升。

5.5.1 在门诊随访中的应用价值

1）研究背景与 TAM模型构建

外科治疗并未在患者出院一刻终止，高质量的门诊随访是全周期健康管理的关键一环[167]。然而，在当前的门诊场景中，接诊医生（往往非主刀医生）面临着巨大的“信息断层”。面对一份寥寥数语、千篇一律的传统纯文本手术记录（如“手术顺利，解剖清楚，切除胆囊”），接诊医生难以准确还原当时的术中真实情况[167]：胆囊三角解剖是否困难？胆囊管结扎位置距总胆管多远？有无变异血管处理？这种信息的不透明直接影响了对术后综合征的判断及后续治疗方案的制定。

本部分研究引入信息系统领域的技术接受模型（technology acceptance model,TAM），从用户体验的维度，量化评估图文手术记录在门诊随访中的应用价值。本研究对TAM模型进行了医疗场景化的适配，重点考察两个核心构念：

（1）感知有用性（perceived usefulness, PU）：门诊医生认为使用该图文报告系统能提高其临床决策质量和工作绩效的程度。
（2）感知易用性（perceived ease-of-use, PEOU）：门诊医生认为阅读和理解该图文报告的省力程度。

2）研究方法与量表设计

选取我院普外科参与胆道疾病门诊工作的医生 16名。为保证样本代表性，成员涵盖了不同年资：住院医师 10名、副主任医师及以上 6名。

采用双盲、自身对照的研究设计流程：

（1）样本准备：从前述临床研究病例库中随机抽取 20 例患者资料。每位患者均准备两套病历：A 套为“传统纯文本手术记录”，B 套为“RSMR-Net 生成的图文手术记录”。
（2）模拟诊疗：向每位医生随机展示这 20 例病历（A/B 套随机穿插，且同一医生不会连续看到同一患者的 A、B 两套病历）。
（3）任务执行：医生需在阅读病历后，回答特定的临床问题（例如：“该患者术中胆囊管汇入胆总管的角度是否清晰？”“是否存在迷走胆管？”“术中出血的主要来源是什么？”），并记录信息提取时间。
（4）量表填写：任务完成后，医生需针对该病历记录的形式进行 TAM量表评分。

量表设计方案：

量表基于经典的 TAM问卷进行改编 30，共包含19个条目。所有条目均采用 likert5级评分法（1=非常不同意，5=非常同意）。

感知有用性（PU）维度（10个条目）：涵盖信息丰富度、临床决策支持能力、医患沟通效率、对解剖变异的呈现能力等。

感知易用性（PEOU）维度（9 个条目）：涵盖阅读流畅度、关键信息检索速度、排版直观性、学习成本等。

3）研究指标及数据分析

如表 5-3 所示，门诊医生对图文手术记录的评价较高，图文组在所有维度上的得分均显著高于传统组。

在感知有用性方面，图文组平均得分 4.62 分，显著高于传统组的 2.45 分（t =18.65,P < 0.001）。医生普遍反馈，图文报告中的关键帧图像（如 CVS 视角的清晰展示、胆囊床的处理细节）提供了文本无法替代的效果。特别是在面对术后腹痛的患者时，一张显示“胆囊管残端结扎确切、无胆汁渗漏”的高清图片，能瞬间排除医生的疑虑，极大地增强了诊疗信心。

在感知易用性方面，图文组平均得分 4.75 分，显著高于传统组的 3.10 分（t =12.48,P < 0.001）。RSMR-Net 系统采用的结构化排版（左图右文、关键步骤时间轴化），使得医生能够快速定位关键信息，而非在冗长且同质化的文字堆砌中寻找蛛丝马迹。

表 5-3 门诊医生对两种手术记录模式的TAM量表评分比较

维度	典型条目示例	图文记录组 (x̄±s)	传统记录组 (x̄±s)	t值	P值
感知有用性(PU)	(总分均值)	4.62 ± 0.38	2.45 ± 0.52	18.65	<0.001
	Q1:能准确判断术中解剖变异情况	4.80 ± 0.41	2.10 ± 0.66
	Q2:有助于向患者直观解释病情	4.73 ± 0.45	2.33 ± 0.55
	Q3:提高了门诊接诊的决策信心	4.55 ± 0.50	2.50 ± 0.63
	Q4:获取关键信息更节省时间	4.87 ± 0.35	2.80 ± 0.76
	Q5:报告结构清晰,重点一目了然	4.83 ± 0.38	3.20 ± 0.71
	Q6:阅读过程不需要太多脑力	4.60 ± 0.50	3.00 ± 0.83
总体满意度	(单项评分)	4.80 ± 0.41	2.60 ± 0.67	15.22	<0.001

同时，除主观评分外，我们还测试了客观的信息检索时间。结果显示，医生从图文报告中提取“胆囊动脉夹闭数量”这一特定信息的平均时间为 5 . 2 \pm 1 . 1 秒，而从传统文本记录中提取同一信息需耗时 1 8 . 6 \pm 4 . 5 秒。图文报告将信息获取效率提升了超过 3.5倍。这一显著差异 ( \mathbf { P } < 0 . 0 0 I ) ）表明，结构化图文报告能大幅降低医生的时间成本。

4）研究结论

门诊随访数据的核心启示在于：手术图像对于文字的结合展示在医学领域是效率与安全的实证。RSMR-Net 系统生成的图文报告，利用多模态大模型的技术，消除了传统文字记录中的“信息熵”损失。对于门诊医生而言，看到一张清晰标注了胆囊管与胆总管关系的术中截图，其可信度和参考价值远超一句模糊的“术中解剖清楚”。这种感知有用性的提升，直接转化为医患沟通的有力工具— 当医生指着图片告诉患者“看，这是您的手术情况，处理得非常干净”时，患者的依从性和满意度将得到质的飞跃，这对于缓解当前紧张的医患关系具有重要的社会价值。

同时，感知易用性的提升对于缓解临床医生日益增长的工作负荷具有现实意义。极低的信息检索成本意味着医生可以将更多宝贵的门诊时间用于与患者的面对面交流和诊疗思考。

5.5.2 对临床教学的影响

1）研究背景与认知负荷理论

外科学是一门典型的经验科学，住院医师规范化培训是外科医生培养的核心环节。LC 作为普外科医生的入门级手术，其教学重点在于对解剖结构的正确辨识，特别是“安全关键视野”的构建与判定。然而，传统的“师带徒”模式依赖术中口头指导，受限于手术机会的随机性和指导老师的带教水平；单纯的视频回放教学则因缺乏重点标注，常使初学者陷入海量视觉信息的“认知过载”中。

认知负荷理论指出，学习效率取决于工作记忆的负荷。如果外在认知负荷过高，

将挤占相关认知负荷，从而降低学习效果。

本研究假设：RSMR-Net 系统生成的带有关键帧标注、解剖结构语义分割的图文病历，能够作为一种优质的教学“图式”，显著降低学员的外在认知负荷，使其能够集中精力理解解剖逻辑，从而显著提升其对 LC 手术解剖及CVS 标准的掌握程度。

2）研究设计与考核流程

选取我院外科住院医师规范化培训基地第一年住院医师 30 名。入选标准：已通过国家执业医师资格考试，但尚未独立主刀开展 LC 手术，处于学习曲线的早期阶段。

将30名学员通过随机数字表法分为两组（n=15）：

（1）图文教学组（实验组）：使用 RSMR-Net 系统生成的 10 份标准 LC 图文手术报告作为学习材料。报告中包含关键步骤的自动截图、关键解剖结构（如 rouviere沟、胆囊管、胆总管、胆囊动脉）的 AI 彩色语义遮罩标注（mask）以及 CVS 达标情况的系统自动判定逻辑说明。
（2）传统教学组（对照组）：使用这 10 份病例的传统纯文本手术记录，并配合未加任何标注的原始手术视频片段（关键步骤处已剪辑，长度与图文组对应）进行学习。

教学与考核流程：

a）预测试：两组学员进行基线解剖知识测试，确保组间无显著差异。
b）学习阶段：给予两组学员 60 分钟时间，分别利用各自的材料学习这 10例手术的解剖特点和操作逻辑。
c）考核阶段：学习结束后立即进行闭卷测试。试题设计参考 SAGES（美国胃肠内镜外科医师学会）安全胆囊切除教程，满分 100分。

解剖识别题（20分）：在静态图像中识别隐蔽的解剖结构（如后三角）。

CVS 判读题（40 分）：判断给出的手术场景是否达到 CVS 标准（C1/C2/C3），并指出缺失项。

临床决策题（40 分）：基于术中情况判断下一步操作（如：是否需要术中造影？是否由于解剖不清需中转开腹？）。

d）负荷评估： 测试结束后，学员需填写 NASA-TLX量表，主观评估学习过程中的脑力负荷（0-100 分，分数越低负荷越小）。

3）研究指标及数据分析

图文教学组在所有维度的考核成绩均显著优于传统教学组，总分差异高达 23 分（88.5 vs 65.2, P<0.001）。特别是在 CVS 判读题上，图文组表现出了压倒性优势（36.8± 2.4 vs 24.5 ± 4.6, P<0.001）。这说明经过 AI 标注图像的强化训练，学员能够更快地在脑海中建立起对标准 CVS 的视觉认知模型。在临床决策题方面，图文组学员也表现出更强的风险规避意识，这与 AI系统在报告中对风险点的明确提示密不可分。

表 5-4 两组学员 LC 手术知识考核成绩比较 (N=30)

考核项目	图文教学组 (n=15, x̄±s)	传统教学组 (n=15, x̄±s)	t值	P值
解剖识别 (20分)	18.2 ± 1.5	14.1 ± 2.8	6.982	<0.001
CVS判读 (40分)	36.8 ± 2.4	24.5 ± 4.6	12.85	<0.001
临床决策 (40分)	33.5 ± 3.8	26.6 ± 5.2	5.842	<0.001
总分 (100分)	88.5 ± 5.6	65.2 ± 9.8	11.23	<0.001

4）研究结论

本部分研究证实了 ReSurgMamba-ReportNet 系统在医学教育领域的巨大潜力，它充当了外科医生“从新手到专家”学习曲线的加速器。

传统的LC 教学往往依赖于“看录像+悟性”，学员需要在动态、模糊、充满烟雾和出血干扰的视频流中，自行提取解剖特征。对于缺乏经验的初学者，这构成了极高的外在认知负荷。

而本系统生成的图文报告，实际上是经过 AI“蒸馏”后的知识精华：

（1）关键帧提取有效锁定了最关键的手术关键步骤。
（2）语义分割与标注如同在复杂的解剖地图上让 Rouviere沟、胆囊动脉等结构无所遁形，直接降低了识别难度。
（3）结构化图文将离散的知识点串联成逻辑严密的证据链，帮助规培学员在脑海中快速构建起标准化的 LC 手术“心理图式”。

这种“AI+教育”的模式，不仅提高了考核成绩，更重要的是，它通过 CVS 的强化训练，将“安全第一”的理念深深植入学员的职业基因中。这对于缩短外科医师的学习曲线，提升未来独立手术的安全性，具有深远的意义。

5.5.3 未来应用扩展与展望

基于本研究在 LC 等核心术式中所开展的临床实证验证，基于状态空间模型与多模态大语言模型认知的临床图文病历报告生成及管理系统不仅在提升医疗文书记录效率与质量方面展现出显著优势，更具备重塑现代外科数字生态的深远潜力。为全面响应临床真实世界的复杂需求并推动科技成果的高效转化，本系统未来的研发规划与应用潜力将重点围绕实际临床效益评价、推广成本控制、工作流互操作性以及用户差异化适配四个核心维度展开深度演进。

1）临床实际效益与商业转化推进：

本研究目前的验证主要局限于单中心、单一术者团队。在当前国家全面深化医疗数字化转型与规范化管理的宏观政策驱动下，本系统的实际临床效益不仅局限于病历书写效率的跃升，未来有望赋能 “医保控费”及“医疗质控”的应用环节。当前传统纯文本手术记录由于存在“千术一式”的同质化倾向，在面对“金额大、举证难”的监管盲区时往往缺乏说服力。本系统通过从长程视频流中自动提取高保真关键帧，能

够将瞬间的动态操作转化为客观、可量化的视觉证据链（如确切记录血管吻合角度、肿瘤浸润边界及特定高值耗材的使用情况），可有效消除 “手术实境”的数据流失。这种结构化的图文互证机制不仅为医保支付与手术耗材审计提供了具备最高法律效力的精细化依据，亦为规范手术操作、防范与化解潜在医疗纠纷构筑了坚实的客观壁垒。

在商业化潜力与转化质量评价方面，本系统已在国内多家三甲医院完成规模化临床转化验证。未来，将积极探索与国产微创腹腔镜及手术机器人产业的深度底层耦合，致力于打造自主可控的软硬件一体化产业生态。

2）技术推广成本及现实障碍应对：

尽管系统在顶尖医疗机构展现出卓越性能，但客观而言，其在向不同规模及基层医疗机构普及的过程中，仍面临着不容忽视的软硬件部署成本与维护障碍。构建全量级的数字化智能手术室通常需要以工业互联网与物联网为骨干，这不仅意味着高昂的传感设备采购与网络环境重构预算，还牵涉到与医院中心供应室等大量第三方业务系统的深度定制化接口开发，进而大幅推高了项目的初始投入与后期运维门槛。

为系统性消解上述现实推广障碍，未来技术架构的演进将坚定贯彻“轻量化”与“解耦化”原则。在算力部署层面，系统将全面推行轻量化边缘计算方案。在产品形态上，系统将向模块化采购方案转型，将高频实时的“视觉特征提取模块”与高度消耗显存的“DeepSeek 多模态大模型文本推理模块”进行物理或逻辑解耦。基层医院可根据自身信息化预算灵活选择“纯边缘端基础版”或“云端算力协同版”，最大限度降低一次性采购成本，确保系统在医疗资源下沉过程中的普适性。

3）临床工作流的深度集成与互操作性优化：

当前临床环境中，手术影像监测系统、医院信息系统与影像归档和通信系统之间普遍存在严重的数据孤岛现象。这种系统间的割裂迫使临床医师在繁重的手术之余，仍需跨终端进行大量信息核对与手动录入，极大地损耗了临床工作流的连贯性。因此，彻底打通数据壁垒、实现跨系统的深度融合互通，是本系统迈向成熟工业级产品的必由之路。

未来的系统迭代将全面拥抱 2025 年国际医疗数据互操作性发展共识，深度适配标准化数据交互协议。未来系统计划在术前准备阶段，将通过接口自动从 HIS 提取患者元数据（如住院号、既往病史、术前诊断等）并实施界面同步，完全免除手动干预；在术后生成阶段，包含高清术中关键帧、病理活检建议及术式结构化描述的最终图文报告，将通过 DICOM 或 HL7 报文协议自动封装，并被无损推送、实时关联至医院的核心电子病历数据库与 PACS 影像库中。这一深度的联动适配将最大限度降低医生的事务性操作负担，实现全周期病历数据的高效归档与二次科研挖掘。

4）用户差异化适配与个性化交互机制：

传统的医疗信息化软件往往采用均质化交互设计，未能充分正视不同专业年资梯队医师在信息诉求与内在认知负荷上的显著分野。在微创手术这一高压、高风险环境中，规培医师面临的核心痛点在于复杂解剖结构辨识所引发的识别困难，而高年资专

家则迫切需要从术后冗长的文书编撰中解放出来。因此，解决这一问题将是本系统下一代人机交互界面升级的核心方向。

未来系统将针对尚处于学习曲线早期的规培医师与新手医生提供“教学增强模式。充分激活时空协同感知网络，在实时视频流中动态提供操作边界提示、解剖变异区域（如胆囊三角区）的彩色高亮预警，以及“安全关键视野”的实时达标研判，从而有效平抑初学者的心理负担与操作失误率。相反，针对主治及高年资专家，系统将切换至高效极简模式。此模式下，系统在术中保持静默后台运行以降低视觉干扰，术后则依据专家预设的个性化自定义报告模板，利用多模态语义推理引擎自动执行关键数据的极速抽取与填充，实现高质量图文报告的“一键式”自动化生成与导出。

为严谨验证上述差异化适配策略的科学性与临床实用性，本研究规划在未来开展一项前瞻性多中心交叉对比实验。具体的实验设计及核心评估指标如表 5-5 所示。

表 5-5 未来系统差异化交互设计的对比验证实验规划表

评估维度	核心量化指标	测量工具与方法途径	预期验证目标与意义
可用性评估	感知有用性	技术接受模型定制化量表调研	验证“双模式”交互架构是否精准契合不同年资医师的真实诉求，评估系统在降低学习成本上的表现。
	感知易用性
认知负荷	脑力需求、时间压力、努力程度与受挫感评分	NASA-TLX 多维度工作负荷量表测评	量化评估“教学增强模式”对规培医师在复杂手术场景下内在认知超载的实质性缓解效应。
临床效能	文书撰写平均耗时、关键解剖步骤识别精准度	系统后台日志自动化采集与专家盲审评分	评估“高效极简模式”在替代人工记忆与二次剪辑中，为高年资专家削减文书负担的量化收益。

通过上述实验的系统性数据采集与统计学验证，不仅能够为后续核心算法的参数调优提供实证反馈，更将推动医学人工智能迈向符合深层次临床人体工效学的新范式。

6 结论与展望

6.1 结论

本研究针对腔镜手术中视觉环境复杂多变、软组织非刚性形变追踪困难、语义理解匮乏以及术后数据价值挖掘不足等问题，构建了一套软硬件融合的智能分析导航系统。围绕“视觉增强-动态感知-形变追踪-认知生成”的技术主线，提出了多项创新性算法架构与工程化解决方案，并通过构建大规模多中心临床数据集进行了系统性验证。

本文的主要贡献和创新点概括如下：

1）针对现有深度学习模型在长时间手术视频处理中难以兼顾长程时空依赖捕捉与实时推理的矛盾，本研究构建了基于 SSMs 的时空协同感知网络（STSH-Net）。该网络采用层级视觉状态空间作为骨干，利用 Mamba 架构的选择性扫描机制，并引入时序一致性 ConvLSTM 模块，实现了整个手术视频流程的感知与手术画面的识别分割。通过对比其他研究团队的算法并基于本研究建立的大规模 MIS 语义分割数据集的验证表明，该方法在肝脏实质、胆囊管及喉返神经等关键结构的分割上取得了一定进展，为计算机视觉的环境感知提供了高效能的辅助。

同时在手术识别过程中，针对弱纹理软组织在单目视觉下深度丢失及软组织结构非刚性形变追踪困难问题，本研究提出了双目 MRF 与自适应形变固化框架（BiMRF-ADS）。通过引入可选深度能量函数，动态调整深度信息权重，并集成语义分割掩膜以剔除器械干扰。自适应形变固化模块有效进行脏器边缘定位，有效防止了视觉丢失瞬间的脏器识别困难问题。通过对比当前其他研究团队提出的算法，本研究的算法在手术画面大幅度移动及局部脏器牵拉形变下仍能保持较低的路标追踪误差，实现了脏器表面的精准贴合。

2）针对复杂动态腔镜手术场景下能量器械产生雾气导致的视觉退化难题，本研究提出了基于动态专家机制的自适应去雾视觉增强网络（Yun-Trans）。引入了物理-数据双驱动的“退化感知分类器”与“超参数选择网络”。通过实时感知并解耦手术烟雾的物理属性，利用动态混合专家机制生成适配当前退化特征的权重，有效解决了 “轻雾保真”与“重雾通透”。通过对比现有的各类去雾算法，本研究所提出的 Yun-Trans算法在包含多级雾气浓度的测试集中表现良好，在重度烟雾干扰下，该算法将机器视觉的语义分割精度从 35.66%提升至 74.15%，并将术中视觉受阻时间减少了 99%以上，进一步提高了计算机视觉的识别效果。
3）针对传统手术记录信息缺失、同质化严重及数据价值挖掘不足的问题，本研究打通了从图片到文字的转化链路，集成前序算法构建了基于多模态大模型的图文病历报告生成系统。利用双向 Mamba 解码器与扩展的 CIFS 机制，实现了手术阶段的精准识别与关键帧筛选。结合检索增强生成技术，系统能够自动生成结构化的图文报告。同时自主研发了符合医疗器械标准的嵌入式异构边缘计算一体机，集成了 GPU 与

CPU 算力，实现了 4K 视频流的毫秒级处理。该系统已成功部署于临床环境，验证了软硬件协同架构的稳定性与临床适用性。

6.2 展望

本研究工作虽然在微创手术的智能感知与导航领域取得了一系列进展，但在面对极端复杂的临床环境与技术迭代时，现有系统在数据生态、硬件形态及认知深度方面仍存在不足。鉴于这些问题，未来工作的研究方向主要包括：

1）当前数据汇聚仍采用中心化模式，面临隐私与合规挑战，且单一数据分布限制了泛化能力。未来的研究将致力于构建基于联邦学习的分布式训练框架，实现“数据不动模型动”，解决数据共享难题。同时，针对不同内窥镜设备的成像差异，研发无监督领域自适应算法，促进模型在不同层级医疗机构间的迁移与应用。
2）现有系统主要依赖外置高性能工作站，存在体积大、成本高及物理束缚等问题。未来将聚焦于核心算法的轻量化重构与硬件级加速，利用模型剪枝、量化及知识蒸馏技术，将复杂模型部署于高能效比的嵌入式芯片上。计划开发即插即用的端侧智能模块，并探索与术中超声、荧光成像等多模态硬件的深度融合，实现超越人眼的实时全息感知。
3）现有系统侧重于对当前状态的“感知”与“记录”，缺乏对未来状态的“预测”能力。未来将结合生成式 AI 与手术视频数据，训练具备物理仿真能力的“手术世界模型”。在此基础上，开发基于因果推断的反事实推理引擎，模拟不同操作路径下的潜在风险，帮助医生在虚拟环境中预演高风险步骤，实现从“感知”向“预知”的跨越。

致 谢

时光荏苒，岁月如梭。自踏入西安交通大学求学至今，数载光阴倏忽而过。在此博士生涯即将画上句号之际，回望这些年，我的脚步始终在交大一附院的临床一线与外科梦工场的科研阵地间交替。这穿梭往复的日日夜夜，不仅打磨了我的医术，更重塑了我的科研精神。心中百感交集，唯有感恩二字长存心间。

高山仰止，景行行止。首先要向我的恩师吕毅教授致以最深切的谢意！吕老师不仅在学术上高瞻远瞩，以医工结合的战略眼光指引我向智能外科的“盲区”进军，更在以临床问题为导向的探索中为我树立了医者的光辉榜样。最令我动容且难忘的，是无数个夜阑人静时的课题探讨；每每此时，吕老师依然精神矍铄、毫无倦意，悉心为我拨开迷雾，指点出具体的科研方向与切实可行的转化路径。您这份对初心的坚守与对理想的执着，是我在科研低谷时不断前行的精神灯塔。也正是在恩师的指引与战略擘画下，我无比荣幸地坚定了选择，成为了西安交通大学未来技术学院首批医工学方向的博士研究生。 水击三千里，抟扶摇而上者九万里。在此，我要特别感谢学院的悉心培养与倾力支持。作为医工交叉领域的首批探路者，是学院前瞻性的顶层设计与打破传统学科壁垒的创新土壤，为我们铺设了从临床痛点迈向工程前沿的桥梁；更是学院在资源融通与跨学科交流上提供的广阔平台，让我得以站在更高远的视角去审视智能外科的未来。

群季俊秀，皆为惠连。在医工交叉的漫漫征途上，我首先最要感谢的是王志博博士。作为这条道路上最默契的伙伴，我们曾无数次就临床需求与底层智能算法、系统软件架构的融合展开深刻探讨。正是我们在无数个深夜的携手并肩，才跨越了学科的鸿沟，攻克了一个又一个核心技术难关。此外，也要感谢吴荣谦教授、马锋老师、刘学民老师在课题探索和临床应用中给予的包容与指导，让微创手术图文报告系统一步步走向了临床应用。最后，诚挚感谢与我一路并肩作战的王蕾、黄天笑、任耀星三位博士生，夏灿、王娟娟两位硕士生，以及创新创业团队的全体同袍和参与课题的所有同门。回首那些从零开始、攻坚克难的峥嵘岁月，与大家同舟共济、共同奋斗的日日夜夜，是我博士生涯中最难忘的风景，更是我受用一生的宝贵财富。

哀哀父母，生我劬劳。深深感谢我的父母和家人，你们的包容和鼎力支持，是我心无旁骛攀登学术高峰的坚强后盾。感谢一路走来陪伴我的朋友们，为我漫长延绵的学习生活注入了温暖与力量。

最后，感谢在我求学期间给过我鞭策与鼓励的所有良师益友，感谢参与本论文评阅与答辩的各位专家学者！

人生如逆旅，我亦是行人。愿在未来的医学道路上，继续披荆斩棘，不负韶华！

参考文献

[1] Bray F, Laversanne M, Sung H, et al. (2024). Global cancer statistics 2022: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. CA: A Cancer Journal for Clinicians, 74, 229 - 263.
[2] Sung H, Ferlay J, Siegel R, et al. (2021). Global Cancer Statistics 2020: GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries[J]. CA: A Cancer Journal for Clinicians, 71, 209 - 249.
[3] Wu Z, Xia F, & Lin R. (2024). Global burden of cancer and associated risk factors in 204 countries and territories, 1980–2021: a systematic analysis for the GBD 2021[J]. Journal of Hematology & Oncology, 17.
[4] Fitzmaurice C, Allen C, Barber R, et al. (2017). Global, Regional, and National Cancer Incidence, Mortality, Years of Life Lost, Years Lived With Disability, and Disability-Adjusted Life-years for 32 Cancer Groups, 1990 to 2015: A Systematic Analysis for the Global Burden of Disease Study[J]. JAMA Oncology, 3, 524–548.
[5] Ferlay J, Colombet M, Soerjomataram I, et al. (2021). Cancer statistics for the year 2020: An overview[J]. International Journal of Cancer, 149, 778 - 789.
[6] Siegel RL, Giaquinto AN, Jemal A. Cancer statistics, 2024[J]. CA Cancer J Clin. 2024 Jan-Feb;74(1):12-49.
[7] Knight S R, Shaw C A, Pius R, et al. Global variation in postoperative mortality and complications after cancer surgery: a multicentre, prospective cohort study in 82 countries[J/OL]. Lancet, 2021, 397(10272): 387-397.
[8] Liu B, Zhou H, Tan L, et al. (2024). Exploring treatment options in cancer: tumor treatment strategies[J]. Signal Transduction and Targeted Therapy, 9.
[9] Zafar A, Khatoon S, Khan M, et al. (2025). Advancements and limitations in traditional anti-cancer therapies: a comprehensive review of surgery, chemotherapy, radiation therapy, and hormonal therapy[J]. Discover Oncology, 16.
[10] Kaur R, Bhardwaj A, & Gupta S. (2023). Cancer treatment therapies: traditional to modern approaches to combat cancers[J]. Molecular Biology Reports, 50, 9663-9676.
[11] Debela D, Muzazu S, Heraro K, et al. (2021). New approaches and procedures for cancer treatment: Current perspectives[J]. SAGE Open Medicine, 9.
[12] Falzone L, Salomone S, & Libra M. (2018). Evolution of Cancer Pharmacological Treatments at the Turn of the Third Millennium[J]. Frontiers in Pharmacology, 9.
[13] Jaffray B. (2005). Minimally invasive surgery[J]. Archives of Disease in Childhood, 90, 537 - 542.
[14] Blum C, & Adams D. (2011). Who did the first laparoscopic cholecystectomy?[J]. Journal of Minimal Access Surgery, 7, 165 - 168.
[15] Miyasaka Y, Nakamura M, & Wakabayashi G. (2018). Pioneers in laparoscopic hepato‐biliary‐ pancreatic surgery[J]. Journal of Hepato‐Biliary‐Pancreatic Sciences, 25.
[16] Litynski GS. Profiles in laparoscopy: Mouret, Dubois, and Perissat: the laparoscopic breakthrough in Europe (1987-1988)[J]. JSLS. 1999 Apr-Jun;3(2):163-167.
[17] Cadière G, Himpens J, Poras M, et al. (2023). First human surgery using a surgical assistance robotics device for laparoscopic cholecystectomies[J]. Surgical Endoscopy, 37, 7812 - 7818.
[18] Buia A, Stockhausen F, & Hanisch E. (2015). Laparoscopic surgery: A qualified systematic review[J]. World journal of methodology, 2015 Dec 26;5(4):238-254.
[19] Ryu S, Goto K, Imaizumi Y, et al. Laparoscopic Colorectal Surgery with Anatomical Recognition

with Artificial Intelligence Assistance for Nerves and Dissection Layers[J]. Annals of Surgical Oncology, 2024 Mar;31(3):1690-1691.
[20] 苟龙飞，陈畅，苏柏尔，等．人工智能在微创外科手术中的应用研究进展［J/OL］．中华消化外科杂志，2025，24(5)：599-608
[21] MASCAGNI P, ALAPATT D, SESTINI L, et al. Computer vision in surgery: from potential to clinical value[J/OL]. Digital Medicine, 2022, 5(1): 163.
[22] 马伟佳，朱小龙，刘青瑶，等．人工智能在机器人辅助手术中的应用［J］．机械工程学报，2024，60(17)：22-39
[23] PING L, WANG Z, YAO J, et al. Application and evaluation of surgical tool and tool tip recognition based on convolutional neural network in multiple endoscopic surgical scenarios[J/OL]. Surgical Endoscopy, 2023, 37(9): 7376-7384.
[24] GARROW C R, KOWALEWSKI K F, LI L, et al. Machine learning for surgical phase recognition: a systematic review[J/OL]. Annals of Surgery, 2021, 273(4): 684-693.
[25] 陈燕凌，蔡欣然，陈江枝，等．达芬奇机器人手术系统在肝切除手术中的应用［J］．机器人外科学杂志（中英文），2021，2(02)：133-142
[26] Pose-Díez-de-la-Lastra A, Moreta-Martinez R, García-Sevilla M, et al. HoloLens 2: Improvements in the New Model for Orthopedic Oncological Interventions[J]. Sensors (Basel). 2022 Jun 29;22(13):4915.
[27] Han Y, Lie R, & Guo R. (2020). The Internet Hospital as a Telehealth Model in China: Systematic Search and Content Analysis[J]. Journal of Medical Internet Research, 22.
[28] KIYASSEH D, MA R, HAQUE T F, et al. A vision transformer for decoding surgeon activity from surgical videos[J/OL]. Nature Biomedical Engineering, 2023, 7(6): 780-796.
[29] Xie X, Zhou W, Lin L, et al. (2017). Internet Hospitals in China: Cross-Sectional Survey[J]. Journal of Medical Internet Research, 19.
[30] Sorriento A, Porfido M, Mazzoleni S, et al. (2020). Optical and Electromagnetic Tracking Systems for Biomedical Applications: A Critical Review on Potentialities and Limitations[J]. IEEE Reviews in Biomedical Engineering, 13, 212-232.
[31] Heunis C, Barata B, Furtado G, et al. (2020). Collaborative Surgical Robots: Optical Tracking During Endovascular Operations[J]. IEEE Robotics & Automation Magazine, 27, 29-44.
[32] Heydar A, Tanaka M, Prabhu S, et al. (2024). The Impact of Navigation in Lumbar Spine Surgery: A Study of Historical Aspects, Current Techniques and Future Directions[J]. Journal of Clinical Medicine, 13.
[33] Hewitson C, Crossley M, Cartmill J, et al. (2024). Sensorimotor Challenges in Minimally Invasive Surgery: A Theoretically-Oriented Review[J]. Human Factors, 67, 141 - 165.
[34] Tonutti M, Elson D, Yang G, et al. (2016). The role of technology in minimally invasive surgery: state of the art, recent developments and future directions[J]. Postgraduate Medical Journal, 93, 159 - 167.
[35] La Verde M, Riemma G, Tropea A, et al. (2022). Ultra-minimally invasive surgery in gynecological patients: a review of the literature[J]. Updates in Surgery, 74, 843 - 855.
[36] Raja S. (2025). New Clinical Advances in Minimally Invasive Coronary Surgery[J]. Journal of Clinical Medicine, 14.
[37] Ikwuegbuenyi C, Inzerillo S, Wang E, et al. (2025). Strategies for Optimizing Clinical Outcomes in Minimally Invasive Spine Surgery[J]. Neurosurgery, 96, S139 - S147.
[38] Łącki M, Kalia M, Abraham N, et al. (2025). Quantifying lens obstructions in minimally invasive surgery: the impact on performance and outcomes[J]. Frontiers in Surgery, 12.
[39] Dae J, Ginjupalli M, Rickmeyer Z, et al. (2022). Assessing visualization in robotic-assisted surgery:

demystifying a misty lens[J] . Journal of Robotic Surgery, 17, 915 - 922.
[40] Fan X, Liu X, Xia Q, et al. (2025). Advanced Image‐Guidance and Surgical‐Navigation Techniques for Real‐Time Visualized Surgery[J]. Advanced Science, 12.
[41] Kang D. (2024). Intraoperative navigation in craniofacial surgery[J]. Archives of Craniofacial Surgery, 25, 209 - 216.
[42] Cornelis F, Filippiadis D, Wiggermann P, et al. (2025). Evaluation of navigation and robotic systems for percutaneous image-guided interventions: A novel metric for advanced imaging and artificial intelligence integration[J]. Diagnostic and interventional imaging, 2025 May;106(5): 157-168.
[43] Tang R ,Ma L ,Rong Z , et al.Augmented reality technology for preoperative planning and intraoperative navigation during hepatobiliary surgery: A review of current methods[J]. Hepatobiliary & Pancreatic Diseases International,2018,17(2):101-112.
[44] 周文光，王春飞，毛坤剑，等．一种新型内窥镜视频系统的设计［J］．中国医学装备， 2015，12(03)：30-33
[45] 王晓民，李远洋，王新沛，等．消化道内窥镜的发展及趋势［J］．医疗卫生装备，2013，34(01)：88-90．
[46] 周方．国产硬性内窥镜的现状及建议［C］//中华医学会（Chinese Medical Association），中华医学会医学工程学分会．中华医学会医学工程学分会第十五次全国学术年会论文汇编．丽水市人民医院，2015：414
[47] 刘国礼．我国腹腔镜外科的发展现状［J］．外科理论与实践，1999，(03)：129-130
[48] 郑民华，马君俊，洪希周，等．4K 腹腔镜手术技术中国专家共识（2019版）［J］．中国实用外科杂志，2019，39(11)：1142-1144
[49] 杜峻峰，李世拥．中国腹腔镜直肠癌手术30年历程与成就［J］．中华普外科手术学杂志（电子版），2021，15(01)：20-23．
[50] 腹腔镜疝与腹壁外科手术缝合技术与缝合材料选择中国专家共识（2021版）［J］．中国实用外科杂志，2021，41(05)：515-523
[51] Yuhua Z ,Changwei D ,Weiding W , et al.Total laparoscopic versus open radical resection for hilar cholangiocarcinoma.[J].Surgical endoscopy, 2019,34(10):4382-4387.
[52] 郑民华，赵轩．腔镜外科三十年 扬帆启航续新篇［J］．中华胃肠外科杂志，2021，24(08)：653．
[53] Su X, & Xu K. (2021). Technological evolution of laparoscopic gastrointestinal surgery in China[J]. Chinese journal of gastrointestinal surgery, 24 8, 662-666 .
[54] Jiang A, Liu Y, Cai C, et al. (2024). Urological surgical robots in China: state of the art and future prospects[J]. International Journal of Surgery (London, England), 110, 4469 - 4470.
[55] Yu P, & Hao Y. (2017). Development and future of minimally invasive surgery in western China[J]. Chinese journal of gastrointestinal surgery, 20 3, 244-246 .
[56] Rivero-Moreno Y, Echevarria S, Vidal-Valderrama C, et al. (2023). Robotic Surgery: A Comprehensive Review of the Literature and Current Trends[J]. Cureus, 15.
[57] Ballantyne G, & Moll F. (2003). The da Vinci telerobotic surgical system: the virtual operative field and telepresence surgery[J]. The Surgical clinics of North America, 83 6, 1293-1304, vii .
[58] 中国医学装备协会．达芬奇手术机器人技术白皮书（2025版）［J］．中国医学装备，2025，22(3)：1-8
[59] Ricciardi R, Seshadri-Kreaden U, Yankovsky A, et al. (2024). The COMPARE Study: Comparing Perioperative Outcomes of Oncologic Minimally Invasive Laparoscopic, da Vinci Robotic, and Open Procedures[J]. Annals of Surgery, 281, 748 - 763.

[60] Boggi U, Vistoli F, & Amorese G. (2021). Twenty years of robotic surgery: a challenge for human limits[J]. Updates in Surgery, 73, 789 - 793.
[61] 付一凡，翁桂湖，曹喆，等．人工智能在胰腺癌诊疗中的应用［J］．协和医学杂志，2024，15(04)：747-750
[62] Celotto F, Ramacciotti N, Mangano A, et al. (2024). Da Vinci single-port robotic system current application and future perspective in general surgery: A scoping review[J]. Surgical Endoscopy, 38, 4814 - 4830.
[63] Chen K, Zhang J, Beeraka N, et al. (2022). Robot-Assisted Minimally Invasive Breast Surgery: Recent Evidence with Comparative Clinical Outcomes[J]. Journal of Clinical Medicine, 11.
[64] Nguyen T, Basilius J, Ali S, et al. (2023). Single-Port Robotic Applications in Urology[J]. Journal of Endourology, 37, 688 - 699.
[65] Oh S, Joo HJ, Sohn JW, et al. Cloud-based digital healthcare development for precision medical hospital information system[J]. Per Med. 2023 Sep;20(5):435-444.
[66] Jang JS, Kim N, Lee SH. Scalable and Interoperable Platform for Precision Medicine: Cloud-based Hospital Information Systems[J]. Healthc Inform Res. 2022 Oct;28(4):285-286.
[67] Hashimoto DA, Rosman G, Rus D, et al. Artificial Intelligence in Surgery: Promises and Perils[J]. Ann Surg. 2018 Jul;268(1):70-76.
[68] Hashimoto DA, Ward TM, Meireles OR. The Role of Artificial Intelligence in Surgery[J]. Adv Surg. 2020 Sep;54:89-101.
[69] Miyoshi N. Use of AI in Diagnostic Imaging and Future Prospects[J]. JMA J. 2025 Jan 15;8(1):198-203.
[70] Cao J, Yip HC, Chen Y, et al. Intelligent surgical workflow recognition for endoscopic submucosal dissection with real-time animal study[J]. Nat Commun. 2023 Oct 21;14(1):6676.
[71] Shickel B, Loftus TJ, Ruppert M, et al. Dynamic predictions of postoperative complications from explainable, uncertainty-aware, and multi-task deep neural networks[J]. Sci Rep. 2023 Jan 21;13(1):1224.
[72] Nannan Chong, Fan Yang. CMMCAN: Lightweight Feature Extraction and Matching Network for Endoscopic Images Based on Adaptive Attention,Computers, Materials and Continua,Volume 80[J], Issue 2,2024,Pages 2761-2783,ISSN 1546-2218.
[73] Chen L, Tang C, Xu M, et al. Enhancement and denoising method for low-quality MRI, CT images via the sequence decomposition Retinex model, and haze removal algorithm[J]. Med Biol Eng Comput. 2021 Nov;59(11-12):2433-2448.
[74] Zhou H, Jayender J. EMDQ-SLAM: Real-time High-resolution Reconstruction of Soft Tissue Surface from Stereo Laparoscopy Videos[J]. Med Image Comput Comput Assist Interv. 2021 Sep-Oct;12904:331-340.
[75] Forgione A, Barberio M, Agnus V, et al. Precision image-guided colonic surgery: proof of concept for enhanced preoperative and intraoperative vascular imaging. Surg Endosc[J]. 2021 Feb;35(2):962-970.
[76] Kitaguchi D, Takeshita N, Hasegawa H, et al. (2021). Artificial intelligence‐based computer vision in surgery: Recent advances and future perspectives[J]. Annals of Gastroenterological Surgery, 6, 29 - 36.
[77] Arakaki S, Takenaka S, Sasaki K, et al. (2024). Artificial Intelligence in Minimally Invasive Surgery: Current State and Future Challenges[J]. JMA Journal, 8, 86 - 90.
[78] Kennedy-Metz L, Mascagni P, Torralba A, et al. (2021). Computer Vision in the Operating Room: Opportunities and Caveats[J]. IEEE Transactions on Medical Robotics and Bionics, 3, 2-10.
[79] Madad Zadeh S, François T, Comptour A, et al. SurgAI3.8K: A Labeled Dataset of Gynecologic Organs in Laparoscopy with Application to Automatic Augmented Reality Surgical Guidance[J]. J

Minim Invasive Gynecol. 2023 May;30(5):397-405.
[80] Gazis A, Karaiskos P, Loukas C. Surgical Gesture Recognition in Laparoscopic Tasks Based on the Transformer Network and Self-Supervised Learning[J]. Bioengineering (Basel). 2022 Nov. 29;9(12):737.
[81] Zhang X, Wang T, Zhang X, et al. Assessment and application of the coherent point drift algorithm to augmented reality surgical navigation for laparoscopic partial nephrectomy[J]. Int J Comput Assist Radiol Surg. 2020 Jun;15(6):989-999.
[82] O Ronneberger, P Fischer, T Brox. U-Net: Convolutional networks for biomedical image segmentation Paper presented at: International Conference on Medical Image Computing and Computer-Assisted Intervention[J], October 5–9, 2015; Munich, Germany, Springer (2015), pp. 234-241.
[83] He K, Gkioxari G, Dollar P, et al. In Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV) [J], Venice, Italy, 22–29 October 2017; pp. 2980–2988.
[84] E Xie, W Wang, Z Yu, et al. Luo SegFormer: Simple and efficient design for semantic segmentation with transformers[J], Adv Neural Infor Proc Syst, 34 (2021), pp. 12077-12090.
[85] Ma, J. et al. Segment anything in medical images[J]. Nat. Commun. 15, 654.
[86] Ruthberg J, Gunderson N, Chen P, et al. (2025). Vision-Guided Surgical Navigation Using Computer Vision for Dynamic Intraoperative Imaging Updates[J]. Int Forum Allergy Rhinol. 2026 Jan;16(1):5-15.
[87] Hussain I, Cosar M, Kırnaz S, et al. (2020). Evolving Navigation, Robotics, and Augmented Reality in Minimally Invasive Spine Surgery[J]. Global Spine Journal, 10, 22S - 33S.
[88] Chadebecq F, Vasconcelos F, Mazomenos E, et al. (2020). Computer Vision in the Surgical Operating Room[J]. Visceral Medicine, 36, 456 - 462.
[89] Xu L, Zhang H, Wang J, et al. (2022). Information loss challenges in surgical navigation systems: From information fusion to AI-based approaches[J]. Inf. Fusion, 92, 13-36.
[90] Twinanda A P, et al, EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos[J]. IEEE Transactions on Medical Imaging, 2016. 36(1): p. 86–97.
[91] Zhou H and J Jagadeesan. Real-Time Surface Deformation Recovery from Stereo Videos[J]. Med Image Comput Comput Assist Interv. 2019 Oct.;11764:339-347.
[92] Karimzadeh M, Seyedarabi H, Jodeiri A, et al. Enhanced Brain Stroke Lesion Segmentation in MRI Using a 2.5D Transformer Backbone U-Net Model[J]. Brain Sci. 2025 Jul 22;15(8):778.
[93] Zhao H, Shi J, Qi X, et al. Pyramid Scene Parsing Network[J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA, 2017: 6230-6239.
[94] Xu J, Xiong Z, Bhattacharyya S P. PIDNet: A real-time semantic segmentation network inspired by PID controllers[J]. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 19529–19539.
[95] Wu Y, Qi S, Sun Y, et al. (2021) A vision transformer for emphysema classification using CT images[J]. Phys Med Biol 66(24):245016.
[96] Kamanditya B, Fuadah YN, Mahardika T NQ, et al. Continuous blood pressure prediction system using Conv-LSTM network on hybrid latent features of photoplethysmogram (PPG) and electrocardiogram (ECG) signals[J]. Sci Rep. 2024 Jul 16;14(1):16450.
[97] Wang D, Qi J, Huang B, et al. Polarization-based smoke removal method for surgical images[J]. Biomed Opt Express. 2022 Mar 22;13(4):2364-2379.
[98] Casey VJ, McNamara LM. Instrumental in Surgery: A Narrative Review on Energy-based Surgical Cutting Devices and Surgical Smoke[J]. Ann Surg. 2023 Sep 1;278(3):e457-e465.
[99] Swerdlow BN. Surgical smoke and the anesthesia provider[J]. J Anesth. 2020 Aug;34(4):575-584.
[100] Zhou YZ, Wang CQ, Zhou MH, et al. Surgical smoke: A hidden killer in the operating room[J].

Asian J Surg. 2023 Sep;46(9):3447-3454.
[101] Stoyanov D. (2012) Surgical vision[J]. Ann Biomed Eng 40:332–345.
[102] Choi SH, Kwon TG, Chung SK, et al. (2014) Surgical smoke may be a biohazard to surgeons performing laparoscopic surgery[J]. Surg Endosc 28:2374–2380.
[103] Zheng Q, Yang R, Ni X, et al. Development and validation of a deep learning-based laparoscopic system for improving video quality[J]. Int J Comput Assist Radiol Surg. 2023 Feb;18(2):257-268.
[104] Wang C, Alaya CF, Kaaniche M, et al. (2018) Variational based smoke removal in laparoscopic images[J]. Biomed Eng Online 17:139.
[105] Luo XB, McLeod AJ, Pautler SE, et al. (2017) Vision-based surgical field defogging[J]. IEEE T Med Imaging 36:2021–2030.
[106] Kotwal A, Bhalodia R, Awate SP. (2016) IEEE: joint desmoking and denoising of laparoscopy images[J]. In: 2016 IEEE 13th international symposium on biomedical imaging (ISBI), 13th IEEE International Symposium on Biomedical Imaging (ISBI), pp 1050–1054.
[107] Liu J, Wang S, Wang X, et al. A Review of Remote Sensing Image Dehazing[J]. Sensors (Basel). 2021 Jun 7;21(11):3926.
[108] Narasimhan S G & Nayar S K. Vision and the atmosphere. Int. J. Comput[J]. Vision 48(3), 233– 254 (2002).
[109] He K, Sun J, & Tang X. Single image haze removal using dark channel prior[J]. IEEE Trans. Pattern Anal. Mach. Intell. 33(12), 2341–2353 (2011).
[110] Heinsohn P, Jewett DL, Balzer L, et al. Aerosols created by some surgical power tools: particle size distribution and qualitative hemoglobin content[J]. Appl Occup Environ Hyg. 1991;6(9):773-776.
[111] Ragde SF, Jørgensen RB, Føreland S. Characterisation of exposure to ultrafine particles from surgical smoke by use of a fast mobility particle sizer[J]. Ann Occup Hyg. 2016;60(7):860-874.
[112] Weld KJ, Dryer S, Ames CD, et al. Analysis of surgical smoke produced by various energy-based instruments and effect on laparoscopic visibility[J]. J Endourol. 2007 Mar;21(3):347-351.
[113] Casey VJ, Martin C, Curtin P, et al. Comparison of surgical smoke generated during electrosurgery with aerosolized particulates from ultrasonic and high-speed cutting[J]. Ann Biomed Eng. 2021;49(2):560-572.
[114] Ott DE, Moss E, Martinez K. Aerosol exposure from an ultrasonically activated (Harmonic) device[J]. J Am Assoc Gynecol Laparosc. 1998;5(1):29-32.
[115] Brüske-Hohlfeld I, Preissler G, Jauch KW, et al. Surgical smoke and ultrafine particles[J]. J Occup Med Toxicol. 2008;3:31.
[116] Bree K, Barnhill S, Rundell W. The dangers of electrosurgical smoke to operating room personnel: a review[J]. Workplace Health Saf. 2017;65(11):517-526.
[117] Choi C, Do IG, Song T. Ultrasonic versus monopolar energy-based surgical devices in terms of surgical smoke and lateral thermal damage (ULMOST): a randomized controlled trial. Surg Endosc[J]. 2018;32(11):4415-4421.
[118] Kubo Y, Yasui T, Matsuda Y, et al. Mechanism underlying lens fogging and its countermeasure in laparoscopic surgery[J]. Minim Invasive Ther Allied Technol. 2023;32(2):56–61.
[119] Wang J, Shi W, Li C, et al. Evaluation of the global wind and temperature detection performance of the spaceborne Fe fluorescence lidar[J]. Opt Express. 2025 Aug 25;33(17):37174-37191.
[120] 彭仁明，贺春林，朱福成．基于平行光束的后向散射光电感烟探测器的研究［J］．西华师范大学学报(自然科学版)，2006，(04)：373-376
[121] Lamberg J, Zarrinkhat F, Tamminen A, et al. Mie scattering with 3D angular spectrum method[J]. Opt Express. 2023 Nov 6;31(23):38653-38665.
[122] Rivera-Aguilar B A, et al. A new histogram equalization technique for contrast enhancement of grayscale images using the differential evolution algorithm[J]. Neural Comput. Appl. 36 (20),

12029–12045 (2024).
[123] FAN T, et al. An improved single image defogging method based on Retinex[C]//2017 2nd international conference on image, vision and computing (ICIVC) [J]. IEEE, : 410–413. (2017).
[124] Shi D, Huang S. Image dehazing algorithm based on deep transfer learning and local mean adaptation[J]. Sci Rep. 2025 Jul 31;15(1):27956.
[125] He K, Sun J, Tang X. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Trans Pattern Anal Mach Intell. 2011 Dec;33(12):2341-2353.
[126] Bolun Cai, Xiangmin Xu, Kui Jia, et al. DehazeNet: An End-to-End System for Single Image Haze Removal[J]. IEEE Trans Image Process. 2016 Nov;25(11):5187-5198.
[127] Li B, Peng X, Wang Z, et al. AOD-Net: All-in-One Dehazing Network[J]. In Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 22–29 October 2017.
[128] Qingshan Hou, Yaqi Wang, Linqi Lan, et al. A Reference-Free Quality Enhancement Framework for Low-Quality Fundus Images[J]. IEEE Transactions on Circuits and Systems for Video Technology, vol.35, no.4, pp.3541-3556, 2025.
[129] Peksa J, Mamchur D. State-of-the-Art on Brain-Computer Interface Technology[J]. Sensors (Basel). 2023 Jun 28;23(13):6001.
[130] A Fast Direction Predictor of Inter Frame Prediction for Multi-View Video Coding [J]. ISCAS: 2009 IEEE International Symposium on Circuits and Systems, vols 1-5, Page2589-2592.
[131] Enhanced Pix2pix Dehazing Network[J], 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), Page8152-8160.
[132] Liu L, Hu Z, Dai Y, et al. ISA: Ingenious Siamese Attention for object detection algorithms towards complex scenes[J]. ISA Trans. 2023 Dec;143:205-220.
[133] Shi D, Huang S, Zhao W. Image dehazing algorithm based on light-value weighted allocation and multi-layer restricted perception[J]. Sci Rep. 2025 Apr 11;15(1):12491.
[134] Ottesen JA, Caan MWA, Groote IR, et al. A densely interconnected network for deep learning accelerated MRI[J]. MAGMA, 2023 Feb;36(1):65-77.
[135] Chen YW, Hanak BW, Yang TC, et al. Computer-assisted surgery in medical and dental applications[J]. Expert Rev Med Devices. 2021 Jul;18(7):669-696.
[136] Monnet E. Three-dimensional versus two-dimensional laparoscopy: What is the evidence? Vet Surg[J]. 2025 Oct;54(7):1298-1304.
[137] Schoob A, Kundrat D, Kahrs LA, et al. Stereo vision-based tracking of soft tissue motion with application to online ablation control in laser microsurgery[J]. Med Image Anal. 2017 Aug;40:80-95.
[138] Yip MC, Lowe DG, Salcudean SE, et al. Tissue tracking and registration for image-guided surgery[J]. IEEE Trans Med Imaging. 2012 Nov;31(11):2169-2182.
[139] Daher R, Vasconcelos F, Stoyanov D. A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its Effect on Image Correspondence[J]. Med Image Anal. 2023 Dec;90:102994.
[140] Köhler H, Pfahl A, Moulla Y, et al. Comparison of image registration methods for combining laparoscopic video and spectral image data[J]. Sci Rep. 2022 Sep 30;12(1):16459.
[141] Liu Z, Gao W, Zhu J, et al. Surface deformation tracking in monocular laparoscopic video[J]. Med Image Anal. 2023 May;86:102775.
[142] Sotiras A, Davatzikos C, Paragios N. Deformable medical image registration: a survey[J]. IEEE Trans Med Imaging. 2013 Jul;32(7):1153-1190.
[143] Ouzir N, Basarab A, Lairez O, et al. Robust Optical Flow Estimation in Cardiac Ultrasound Images Using a Sparse Representation[J]. IEEE Trans Med Imaging. 2019 Mar;38(3):741-752.
[144] Chen Y, Wu Z, Schmidt A, et al. A-MFST: adaptive multi-flow sparse tracker for real-time tissue tracking under occlusion[J]. Int J Comput Assist Radiol Surg. 2025 Jul;20(7):1441-1449.

[145] Rohr K, Stiehl HS, Sprengel R, et al. Landmark-based elastic registration using approximating thin-plate splines[J]. IEEE Trans Med Imaging. 2001 Jun;20(6):526-534.
[146] Lowe DG. Distinctive image features from scale-invariant keypoints[J]. Int J Comput Vis. 2004;60(2):91-110.
[147] Collins T, Pizarro D, Gasparini S, et al. Augmented Reality Guided Laparoscopic Surgery of the Uterus. IEEE Trans Med Imaging[J]. 2021 Jan;40(1):371-380.
[148] Manatakis DK, Antonopoulou MI, Tasis N, et al. Critical View of Safety in Laparoscopic Cholecystectomy: A Systematic Review of Current Evidence and Future Perspectives[J]. World J Surg. 2023 Mar;47(3):640-648.
[149] Strasberg SM. A three-step conceptual roadmap for avoiding bile duct injury in laparoscopic cholecystectomy: an invited perspective review[J]. J Hepatobiliary Pancreat Sci. 2019 Apr;26(4): 123-127.
[150] Gopal G, Suter-Crazzolara C, Toldo L, et al. Digital transformation in healthcare - architectures of present and future information technologies[J]. Clin Chem Lab Med. 2019 Feb 25;57(3):328-335.
[151] Khanna A, Wolf T, Frank I, et al. Enhancing Accuracy of Operative Reports with Automated Artificial Intelligence Analysis of Surgical Video[J]. J Am Coll Surg. 2025 May 1;240(5):739-746.
[152] Perez WM, Babbar S, Vricella LK. Prospective, Blinded Evaluation of Template-Based Cesarean Documentation Error in an Obstetric Training Program[J]. J Patient Saf. 2021 Dec 1;17(8): e1821-e1826.
[153] Youssef SC, Haram K, Noël J, et al. Evolution of the digital operating room: the place of video technology in surgery[J]. Langenbecks Arch Surg. 2023 Feb 20;408(1):95.
[154] Maier-Hein L, Vedula SS, Speidel S, et al. Surgical data science for next-generation interventions[J]. Nat Biomed Eng. 2017 Sep;1(9):691-696.
[155] Jin Y, Long Y, Gao X, et al. Trans-SVNet: hybrid embedding aggregation Transformer for surgical workflow analysis[J]. Int J Comput Assist Radiol Surg. 2022 Dec;17(12):2193-2202.
[156] Ullah F, Ben-Hur A. A self-attention model for inferring cooperativity between regulatory features[J]. Nucleic Acids Res. 2021 Jul 21;49(13):e77.
[157] Keles FD, Wijewardena PM, Hegde C. On the computational complexity of self-attention[J]. arXiv. 2022;597-619.
[158] Li J, Li D, Savarese S, Hoi SCH. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models[J]. Proc Mach Learn Res. 2023 Jul 23-29;202: 19730-19742.
[159] Zhong Z, Wang Y, Bi L, et al. Abn-BLIP: Abnormality-aligned Bootstrapping Language-Image Pre-training for pulmonary embolism diagnosis and report generation from CTPA[J]. Med Image Anal. 2026 Jan;107(Pt A):103786.
[160] Tang ST, Tjia V, Noga T, et al. Creating a Medical Imaging Workflow Based on FHIR, DICOMweb, and SVG[J]. J Digit Imaging. 2023 Jun;36(3):794-803.
[161] Radford A, Kim JW, Hallacy C, et al. Learning transferable visual models from natural language supervision[J]. Proceedings of the 38th International Conference on Machine Learning. 2021;139:8748–8763.
[162] Loukas C, Varytimidis C, Rapantzikos K, et al. Keyframe extraction from laparoscopic videos based on visual saliency detection[J]. Comput Methods Programs Biomed. 2018 Oct;165:13-23.
[163] Mangieri CW, Hendren BP, Strode MA, et al. Bile duct injuries (BDI) in the advanced laparoscopic cholecystectomy era[J]. Surg Endosc. 2019 Mar;33(3):724-730.
[164] van Oorschot HD, de Jel DVC, Hardillo JA, et al. Textbook Outcome After Oral Cancer Surgery as a Composite Measure for Survival and Quality-of-Care Evaluation[J]. Otolaryngol Head Neck Surg. 2025 Nov;173(5):1158-1169.

[165] Kolfschoten NE, Kievit J, Gooiker GA, et al. Focusing on desired outcomes of care after colon cancer resections; hospital variations in 'textbook outcome'[J]. Eur J Surg Oncol. 2013 Feb;39(2):156-163.
[166] Azevedo JM, Panteleimonitis S, Mišković D, et al. Textbook Oncological Outcomes for Robotic Colorectal Cancer Resections: An Observational Study of Five Robotic Colorectal Units[J]. Cancers (Basel) 15(15) (2023): 3760.
[167] Yuan Y. Impact of Multidisciplinary Continuity of Care on Postoperative Outcomes in Liver Cancer Surgical Patients[J]. J Multidiscip Healthc. (2025) 18:4749-4759.
[168] Ghani Y, Thakrar R, Kosuge D, et al. 'Smart' electronic operation notes in surgery: an innovative way to improve patient care[J]. Int J Surg. 2014;12(5):30-32.

攻读学位期间取得的研究成果

[1] Peng, Z. Y., Wang, Z. B., Yan, Y., Peng, H. Q., Ma, Y. T., Li, Y. T., Ren, Y. X., Xiang, J. X., Guo, K., Wang, G., Duan, J. F., Li, X. W., Guan, Y., Liu, X. M., Wu, R. Q., Lyu, Y., & Yu, L. (2025). Development of an AI-driven digital assistance system for real-time safety evaluation and quality control in laparoscopic liver surgery. Frontiers in oncology, 15, 1678525.
[2] Peng, Z. Y., Wang, Q. S., Li, K., Chen, S. S., Li, X., Xiao, G. D., Tang, S. C., Ren, H., Wang, Z., & Sun, X. (2022). Stem signatures associating SOX2 antibody helps to define diagnosis and prognosis prediction with esophageal cancer. Annals of medicine, 54(1), 921–932.
[3] 彭子洋, 王志博, 巴赫, 颜彦, 彭浩茜, 李宇, 刘学民, 向俊西, 吴荣谦, 吕毅. 增强现实、虚拟现实与混合现实在腔镜肝脏外科中的应用[J/OL]. 中华肝脏外科手术学电子杂志, 2025,14(01): 13-17.
[4] 彭子洋, 王志博, 王丹, 彭浩茜, 王蕾, 彭薇, 王娟娟, 李宇, 刘学民, 吴荣谦, 向俊西, 吕毅.智能化辅助图像实时去雾技术在腹腔镜胆囊切除术中的应用[J/OL]. 中华肝脏外科手术学电子杂志, 2024, 13(03): 328-333.
[5] 彭子洋, 王志博, 吴荣谦, 吕毅. Clear Sight 系统：通过先进的 AI 数字穿雾技术提高手术精度.中国生物医学工程大会暨创新医疗峰会（BME2025）告
[6] 彭子洋, 王志博, 吴荣谦, 吕毅.用于腔镜甲状腺手术实时安全评估和质量控制的人工智能驱动的数字辅助系统的开发. 第十三届中华医学会数字医学学术年会
[7] Ziyang Peng ;Zhibo Wang ;Rongqian Wu ;Yi Lv ;Dawn Is upon Us: Further Applications of Intelligent Surgical Robots in Laparoscopic Liver Segmentectomy，the American College of Surgeons’ Scientific Forum Committee
[8] Ziyang Peng ;Zhibo Wang ;Rongqian Wu ;Yi Lv ;Intelligent Surgical Confidential Assistant Helps Precise Magnetic Assisted Vascular Anastomosis, the American College of Surgeons’ Scientific Forum Committee
[9] Ziyang Peng ;Zhibo Wang ;Rongqian Wu ;Yi Lv ;Intelligent digital fogging technology shows great potential in laparoscopic hepatectomy surgery,China Medical Artificia Intelligence Confererce,HANGZHOU CHINA
[10] 彭子洋, 吕毅 外科手术视频实时采集与导航, 第87届 CMEF 中国国际医疗器械博览会“思源”医疗器械高峰论坛, 国家会展中心(上海)4.2号馆, 2023-5-14至2023-5-17
[11] 彭子洋, 王志博, 吕毅, 吴荣谦, 王娟娟, 王蕾, 夏灿, 彭浩茜, 刘书妍. 一种微创腔镜图文报告生成系统; ZL 2024 1 1527344.8,发明专利
[12] 彭子洋, 王志博, 刘学民, 吴荣谦, 吕毅. 一种实时术中腔镜影像分析装置及方法; ZL 2025 10096041.3,发明专利
[13] 彭子洋, 王志博, 吴荣谦, 吕毅, 刘学民, 黄天笑, 王娟娟. 模型与器官配准以辅助导航的方法及系统; ZL 2025 1 0896530.7,发明专利
[14] 彭子洋, 王志博, 刘学民, 吕毅, 任耀星, 黄天笑, 王娟娟. 一种喉部的体外磁靶标定位导航方法及系统; ZL 2025 1 0933524.4,发明专利
[15] 彭子洋, 王志博. 图文病历报告生成软件 V1.0,2025SR0715133;软件著作权
[16] 彭子洋, 王志博. 基于大规模视觉语言模型的图文病历报告自动生成系统 V1.0,2025SR1299339; 软件著作权

答辩委员会会议决议

该论文从临床实际需求出发，创新性的设计、构建了一套基于计算机视觉的软硬件融合智能分析与手术图文报告生成系统，并利用多中心大规模腔镜手术影像数据集进行训练与临床验证，证实了该系统具有重要的临床应用和推广应用价值。

论文的主要工作和创新性成果有：

（1）针对长时间手术实时图像识别问题及脏器非刚性形变导致识别难题，本研究基于计算机视觉构建时空协同网络的连续感知体系，在各类手术视频数据集测试中实现手术阶段的自动化识别，提高了计算机视觉对整个手术视频流程的感知。
（2）针对腔镜手术中能量器械产生雾气造成的术野模糊及手术中断风险，本研究提出一种基于动态专家机制的去雾网络，实现了对术中动态烟雾的智能识别与实时清除技术，进一步提升了计算机视觉的识别效果。
（3）针对手术记录同质化严重及医疗质控数据缺失的临床痛点，本研究集成前序算法，将训练后的计算机视觉大模部署于自主研发的异构边缘计算一体机，实现了对微创手术长视频的语义理解与临床关键帧的自动抓取，生成图文并茂的结构化手术记录。

该论文从临床实用出发选题，立题依据充分，创新性强，研究方法先进，结果可信，研究成果具有重要的临床应用价值，论文书写语言表达准确，条理清晰，图表规范。论文工作表明作者在本门学科上掌握了坚实的理论基础和系统深入的专门知识，基本具备独立从事科学研究的能力。答辩过程中陈述清楚，回答问题准确。

经答辩委员会讨论并无记名投票表决，一致（5/5）同意彭子洋同学通过博士学位论文答辩，建议校学位委员会授予其医学博士学位。

常规评阅人名单

学位论文独创性声明（1）

本人声明：所呈交的学位论文系在导师指导下本人独立完成的研究成果。文中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论文或成果。

本人如违反上述声明，愿意承担以下责任和后果：

1．交回学校授予的学位证书；
2．学校可在相关媒体上对作者本人的行为进行通报；
3．本人按照学校规定的方式，对因不当取得学位给学校造成的名誉损害，进行公开道歉。
4．本人负责因论文成果不实产生的法律纠纷。

论文作者（签名）： 日期： 年 月 日

学位论文独创性声明（2）

本人声明：研究生所提交的本篇学位论文已经本人审阅，确系在本人指导下由该生独立完成的研究成果。

本人如违反上述声明，愿意承担以下责任和后果：

1．学校可在相关媒体上对本人的失察行为进行通报；
2．本人按照学校规定的方式，对因失察给学校造成的名誉损害，进行公开道歉。
3．本人接受学校按照有关规定做出的任何处理。

指导教师（签名）： 日期： 年 月 日

学位论文知识产权权属声明

我们声明，我们提交的学位论文及相关的职务作品，知识产权归属学校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。学位论文作者离校后，或学位论文导师因故离校后，发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为西安交通大学。

论文作者（签名）： 日期： 年 月 日指导教师（签名）： 日期： 年 月 日

(本声明的版权归西安交通大学所有，未经许可，任何单位及任何个人不得擅自使用)