2023, Vol. 30
2. 青岛海信医疗设备股份有限公司, 青岛 266104;
3. 上海顺久电子科技有限公司, 上海 201208
2. Qingdao Hisense Medical Equipment Co. Ltd, Qingdao 266104, Shandong, China;
3. Shanghai Shunjiu Electronic Technology Co. Ltd, Shanghai 201208, China
发生于肝脏的肿瘤众多，良性肿瘤有海绵状血管瘤[1]、局灶性结节性增生[2]等；原发性恶性肿瘤有肝细胞癌[3]、肝内胆管细胞癌[4]等；继发性恶性肿瘤，指其他脏器起源的恶性肿瘤转移至肝脏，如结直肠癌[5]、乳腺癌[6]、胰腺癌[7]等。针对这些发生在肝脏的肿瘤，手术切除通常是首选的治疗方式[8-9]。随着微创技术的发展，腹腔镜肝脏切除术凭借其创伤小、恢复快、肿瘤根治效果不亚于开腹手术的特点，逐渐成为治疗肝脏肿瘤的推荐术式[10]。但是作为腹腔内最大的实质性脏器，肝脏拥有复杂的血管系统以及胆道系统，给腔镜手术的顺利实施带来困难；同时，部分肝肿瘤的位置深，无法在腹腔镜下精确定位，进一步加大了手术的难度。目前，尚缺乏一套适用于腹腔镜下肝脏手术的无创实时导航系统，帮助外科医生精确定位肿瘤并提示关键解剖结构，进而提升肝肿瘤切除率、降低术后并发症。
本研究从临床实际需求出发，通过医工结合，自主设计、研发腹腔镜下肝脏手术增强现实三维影像实时导航软件，结合光学定位系统和双目光学信息采集设备，构建出腹腔镜肝脏手术增强现实三维影像实时导航平台雏形，经过实验室模拟实验和动物实验的优化调试，获得预期的导航效果，验证了实时导航技术应用于腹腔镜肝脏手术中的可行性。
1 材料与方法 1.1 内容设计 1.1.1 导航需求导航系统从腹腔镜肝脏手术的临床需求出发，为了满足术中实时、精准的肿瘤定位，并显示重要解剖结构。对导航需求进行技术拆解，主要包括：（1）精确地展示患者的肝脏肿瘤及重要的解剖结构，并通过“透视”效果预警切除路径中可能出现的重要结构；（2）导航界面跟随术者操作视野实时变化，响应时间短且灵活随动；（3）导航界面显示的重点结构需要随着手术进程进行自主灵活调整；（4）整体平台运行的软硬件设备需要具备兼容性，可以适配大多数腹腔镜设备型号。
1.1.2 功能设计通过对导航整体需求的技术拆解，使得手术导航软件的功能更加具体化。进一步对其功能进行模块化设计，主要包括：（1）基于术前CT影像的三维模型重建；（2）三维模型与手术视频解剖结构的实时自动配准；（3）手术室观测坐标系、腹腔镜视角坐标系和三维模型坐标系之间的信息转换；（4）三维模型与导航视频界面配准增强现实效果渲染融合展示。
1.2 研究方法 1.2.1 三维模型重建利用患者术前腹部增强CT影像，进行CT图像自动分割。依据深度学习建立的数据库进行分割区域器官组织识别与标识，进行异色掩膜处理；对自动分割、区分标识和掩膜处理的CT图像进行堆叠重建，形成初步的图像层叠模型；利用层间拟合算法对其进行二次处理，使模型更贴近实际脏器的形态，获得不同器官组织异色标注的三维重建模型。
1.2.2 建立空间坐标系为了能将渲染结果与术中腹腔镜的成像正确重合，从而达到增强腹腔镜成像的目的，需要将2个成像转换到1个统一的坐标系下，并通过若干在2个成像系统中都可以明确定位的标记点，在统一坐标系下，将2幅图像配准显示。将腹腔镜镜头看作三维渲染模型中假想的观测者，镜头的空间位置、视角及镜头姿态分别对应三维渲染中观测者的位置、视线的方向以及观测者姿态，通过将两者各自坐标系中的坐标进行坐标转换，将腹腔镜镜头坐标转换到三维渲染观察者坐标，实现以此坐标及相同的视野范围进行的三维渲染结果与腹腔镜图像正确吻合。本研究共设计并定义了3个坐标系：（1）手术室观测坐标系（以光学信息采集设备作为原点，通过光学传感标记物对患者体表以及腹腔镜进行坐标位点定位跟踪）；（2）腹腔镜视角坐标系（以腹腔镜镜头作为原点，通过拍摄标准栅格参照物建立视频中物体与镜头的空间位置关系，对镜头中的物体进行坐标定位）；（3）三维重建模型坐标系（医学影像扫描时的坐标系）。利用光学定位系统，对三者进行空间位置联系，以便三者内部空间信息的转换。
1.2.3 增强现实技术研究开展基于三维影像模型的增强现实技术研究，主要包括以下技术节点：（1）三维模型与患者体表注册（初步建立三维模型与患者的空间联系，形成粗配准）；（2）三维模型二维平面投影边缘点集获取；（3）腹腔镜手术视频中肝脏边缘识别与点集获取。在该算法建立学习过程中，共引入5例腹腔镜手术视频素材，均取自气腹建立后肝脏全局观的视频内容，不包含患者基本信息、临床信息以及术中操作等任何信息；（4）三维模型二维投影点集与视频肝脏边缘点集的“一对多”配准（进一步精确配准三维模型与患者腹腔脏器）；（5）三维模型与手术视频配准的实时渲染融合。
1.2.4 系统软硬件集成为配合软件各项功能运行稳定，本研究所构建导航平台雏形中的硬件主要包括3个部分：（1）软件运行计算机，由于软件需要实时对腹腔镜视频进行数据采集、配准计算和模型渲染融合，这要求计算机具有较为优越的中央处理器、图形处理器以及运算内存；（2）光学定位系统组件，选择目前市场中专业光学定位系统，同时自主设计标准格栅参照物；（3）光学信息观测收集设备，选择专业双目单晶片数码摄像仪器。
1.2.5 功能技术参数评估为了能够精确量化手术导航平台的运行效果，并保证评估结果的可重复性，本研究引入了配准误差参数，对三维模型与手术视频中结构配准效果进行量化，具体测量流程如下：（1）在三维模型与腹腔镜视频中脏器配准稳定融合后，截取1帧图像；（2）分别在三维模型和视频图像中选择若干组解剖对应点，计算解剖对应点的平均像素差；（3）利用算法回溯和硬件参数，计算出单位像素对应的实际物理距离，与（2）得出的平均像素差相乘，得出配准误差数据，单位为mm。
2 结果 2.1 基于腹部CT影像的三维模型重建 2.1.1 CT图像自动分割本研究利用海信技术团队建立的腹部CT影像数据库进行机器深度学习，并与专业影像医师判读结果进行比对，分析、调整CT图像灰度值变化识别量表，进而建立人体器官组织的CT图像灰度值范围数据库。基于CT图像灰度值变化，课题组构建了图像自动分割算法，对器官和组织的轮廓进行自动分割（图 1）。同时，根据CT影像人体器官组织灰度值范围数据库对分割图像区域进行识别标注，依据器官和组织对所分割区域进行异色掩膜处理（图 2）。
|
| 图 1 腹部CT图像自动分割轮廓效果图 A：横切面；B：矢状面；C：冠状面。 |
|
| 图 2 腹部CT图像异色掩膜处理效果图 A：横切面；B：矢状面；C：冠状面。 |
在前步CT图像处理的基础上，对经过分割、标识和掩膜处理的CT图像依据原CT数据的序列和层厚等参数进行堆叠重建，形成初步图像堆叠模型。利用层间拟合算法对其进行二次处理，使模型边缘更为柔和光滑，更贴近实际脏器形态。在重建过程中，前步的异色掩膜处理形成完整的器官或组织结构，并依据不同的颜色进行区分，通过调节各个器官组件的透明度或脏器选择性显示可以获得更多效果展示，以满足临床需求（图 3）。
|
| 图 3 CT图像自动分割后序列性重建 |
该算法可以实现肝脏实质、肿瘤及门静脉、肝静脉、肝动脉以及周边毗邻脏器的CT影像自动化重建，肝脏实质重建分割精度Dice值超过96%，肝脏肿瘤重建分割精度Dice值超过75%，胰腺重建分割精度Dice值超过85%，血管分支自动分割重建超过5级。
2.2 基于光学定位系统的坐标建立与转换利用较为成熟的光学定位技术，建立手术室观测坐标系，并在此基础上形成腹腔镜视角坐标系与三维重建模型坐标系之间的关联，完成3个坐标系之间的信息转换。所用光学定位系统以双目相机为观察点建立过渡坐标系，其观测对象为固定附着在腹腔镜定位夹、体表定位器和腹腔镜标准目标体上的荧光刚体球组合，可以确定以上3个配件在坐标系内的空间位置。在这个过渡坐标系中，利用腹腔镜定位夹确定腹腔镜的空间位置，同时确定腹腔镜标准目标体相对于腹腔镜的空间位置，通过读取标准目标体在腹腔镜中的视频数据，建立腹腔镜视角坐标系。然而，此时腹腔镜坐标系还未能与患者躯干建立联系，当腹腔镜经患者脐周的手术造孔进入腹腔后，腹腔镜相对于患者躯干位置便固定下来。总之，以手术室观测坐标系为过渡，建立3个坐标系之间的信息联系，通过预设算法实现三者之间的流畅转换，为最终实时动态配准导航奠定空间坐标基础。
2.3 三维重建模型与手术视频所见结构实时配准导航 2.3.1 肝脏模型投影轮廓提取为了将三维重建模型与腹腔镜手术视频的二维影像进行配准显示，即对三维模型进行降维信息提取，课题组提出一种获取肝脏三维重建模型投影轮廓数据集合的方案：通过创建虚拟的渲染窗口，能够快速便捷地从背景图像中，获取目标三维器官模型在二维渲染窗口中的图像区域，易于器官模型投影轮廓边缘提取。本算法（图 4）支持从多个同时显示的三维模型中选取出目标器官，通过建立一个虚拟窗口渲染器对应的虚拟相机，并将当前窗口上的相机位置、焦点、视角方向分别作用在虚拟窗口的相机上。在经度、纬度以及相机投影方向上，分别将相对于初始相机位置偏移的角度，使用vtkTransform作用在虚拟相机上，实现三维模型的旋转。重复上述过程，从而获取三维模型在各个角度下的投影轮廓（图 5）。针对获取的每张投影轮廓中的点集，利用Douglas-Peuker算法进行下采样，减小后续点集匹配过程中的算法复杂度。
|
| 图 4 三维模型投影轮廓生成算法流程图 |
|
| 图 5 三维模型投影轮廓提取及下采样算法阶段效果图 A：三维模型虚拟窗口投影图形；B：投影图像二值化处理后；C：边缘提取及下采样图像。 |
为了便于腹腔镜视频图像和肝脏三维模型配准过程的实现，将腹腔镜视频图像中肝脏的边缘分为肝脏前缘和肝脏后缘（图 6）。本研究还提出一种多类别的深度学习框架（图 7），即以ResNet为基础网络，使用ResNet的底层网络提取特征，并与加入监督的顶层的分类模块执行共享级联，然后将连接层作为融合分类模块的输入，并进行监督，从而得到k个输出映射。这种网络结构有以下优点：（1）避免由于ResNet底层模块感受野有限导致的分类不合理；（2）底层侧面特征有助于增强顶级分类，抑制非边缘像素并提供详细的边缘定位和结构信息，因此顶层分类参考了底部特征。
|
| 图 6 腹腔镜下肝脏边缘示意图 黄色线条：肝脏前缘；粉色线条：肝脏后缘。 |
|
| 图 7 腹腔镜下肝脏边缘提取深度学习网络结构图 |
在获取肝脏三维模型在二维平面投影的边缘轮廓点集数据库和腹腔镜手术视频中逐帧图像肝脏边缘点集数据后，利用基于流形正则化的非刚性点集形变配准算法公式（公式1），分别将投影轮廓库中的轮廓点集与腹腔镜视频中的肝脏边缘点集进行形变匹配；同时结合配准点集的对应点平均误差与点集之间的Hausdorff距离，选取出最佳旋转角度。
| $ {T^*} = \mathop {\min }\limits_{{\rm{T}} \in {\rm{H}}} {\left\| {1Y - T(X)} \right\|^2} + \lambda \left\| T \right\|_{\rm{H}}^2 + \beta \left\| T \right\|_{\rm{L}}^2 $ | (1) |
X为肝脏三维模型投影轮廓点集；Y为腹腔镜视频图像数据中肝脏边缘；T *为H空间中的最佳变换。
根据MR-RPM算法得到的最佳变换，利用形状上下文算法（Shape Context），得到两组点集之间的对应点，并计算对应点上的平均误差；同时计算两组点集之间的Hausdorff距离。将两者作为配准点集相似度误差，从而形成最佳旋转角度的判断准则（公式2）。基于此，本研究建立了腹腔镜手术视频肝脏边缘与肝脏CT三维重建模型二维平面投影边缘之间的“一对多”点集自动配准算法。
| $ \text { Dist }_{\text {corr }}=\mathrm{MSE}_{\text {corr_points }}+\mathrm{Dist}_{\text {Hausdroff }} $ | (2) |
经过前期工作，实现了肝脏三维模型与腹腔镜手术视频的快速自动配准，可以满足动态视角下模型与肝脏的实时配准。但是，为了达到“导航”的目标，需要将三维重建模型作为一层图层叠加到手术视频中的肝脏上，直观地将配准结果展示给主刀医师。因此，本研究建立了三维模型与手术视频配准效果的实时渲染融合方案与算法，将前述的配准效果实时展示在屏幕上，并可随着腹腔镜视角变动进行动态展示（图 8）。
|
| 图 8 手术视频三维模型配准渲染融合效果图 A：配准渲染融合前；B：配准渲染融合后。 |
前述工作建立了一系列算法，在软件层面实现了腹腔镜下肝脏手术导航的需求，并集成一款腹腔镜下手术导航软件。在此基础上，为实现软件在现实场景中的稳定运行并达到理想效果，本研究搭配软件运行计算机、光学信息观测收集设备和光学定位系统组件，初步构建形成腹腔镜下肝脏手术导航平台雏形。
2.5 实验室效果评估 2.5.1 仿真模型构建形成导航平台雏形后，本研究首先在实验室仿真模型中进行平台的试运行，并进行效果评估。本研究共在仿真模型中完成5次试运行流程，运用前述引入的配准误差参数对每次试运行的效果进行量化评估，配准误差为（4.1±0.4）mm。
2.5.2 动物实验在经过仿真模型试运行后，考虑到仿真模型试运行存在一定局限，本研究进一步在大型动物中进行使用。选择2只家猪作为腹腔镜手术对象，在术前对家猪进行麻醉后腹部CT增强扫描，经过三维模型重建后，对家猪进行腹腔镜肝脏手术模拟，并试用导航平台。共计进行2次实验，配准误差分别为4.6 mm和5.8 mm。
3 讨论随着生物医学技术的快速发展，外科学已经进入高度确定性、预见性和可控性的精准治疗时代。精准肝脏外科治疗，是指在彻底清除目标病灶和保护手术切缘的同时，确保剩余肝脏解剖结构的完整性，最大限度保留剩余肝脏的功能性，并缩短手术时间、控制手术出血，减少手术相关并发症，从而使患者获得最佳治疗效果。为了顺应精准外科理念和加速康复外科（ERAS）理念的趋势，腹腔镜手术成为外科治疗肿瘤的推荐术式之一。然而，腹腔镜手术操作空间有限，加上肝脏解剖结构特殊，要想达到彻底清除目标病灶，尽可能保留剩余肝脏体积的目标，还存在一定困难。
本研究自主研发建立了多模块算法集成的腹腔镜下肝脏手术增强现实三维影像实时导航软件，配合软件运行所需的硬件，构建出腹腔镜肝脏手术导航平台雏形；并且先后经过实验室仿真模型、大型动物实验2个阶段的应用与效果评估，结果显示：该手术导航软件集合三维模型重建、坐标系建立与转换、三维模型与视频实时配准和手术视频实时增强现实渲染融合展示等几项功能，已经完成了从术前CT影像到三维模型重建，再到三维模型用于术中导航这一完整的临床手术导航流程。在实验室仿真模型、动物实验中，该导航平台自动实时配准误差可以控制在5 mm以内，考虑到腹腔脏器与骨骼等刚性组织不同，体位不同导致重力不同以及气腹压力均可以导致腹腔脏器的形变，加上呼吸肌运动传导带来的脏器节律性活动与形变，此水平的误差已基本达到临床需求。从使用效果和操作者的感受来看，术中导航给主刀医师带来了更为直观、便捷的病灶定位，并提供了更加清晰、深层次的解剖信息，有助于腹腔镜手术的操作。
本研究从技术层面证实了腹腔镜下肝脏手术实时导航的可行性，实现手术导航所需的基本功能要素，实验运用效果达到预想。但是，从更深层次的临床需求和功能设想出发，本研究建立的手术实时导航平台仍存在不足，主要包括以下几点：（1）整体平台算法自动性优良，但操作者自主操作性欠佳；（2）三维重建模型属于刚性模型，与肝脏这类柔性器官或组织的配准精度存在限制；（3）目前实时配准可以达到随腹腔镜头角度转换进行模型角度实时调整配准，但对于手术操作中肝脏的位移和形变无法做到模型的随变配准；（4）仅达到手术实时导航的基本功能环节，缺少协助手术方案设计、决策等更进一步的功能模块。这些不足之处受限于现有底层技术的缺失，随着未来相关技术的发展和更新，可以逐步弥补完善。此外，本研究尚未进行临床实际案例使用评估，无法对该导航平台在腹腔镜肝脏手术中的应用效果进行有效的评估。目前，手术导航平台相关雏形机正在进一步整合调整，接受相关产品专业检验，为最终商品化做准备。未来，导航平台进入市场应用于临床实践后，将进一步行大样本量的临床研究来验证本研究结果。
综上所述，本研究总结并分析了腹腔镜下肝脏手术实时导航技术的研发过程和使用效果，结果显示该实时导航技术能够在一定程度上满足临床实际需求，给手术操作带来切实的帮助。导航技术能够清晰展示血管等重要解剖结构，使得术者更为精准地进行手术操作，降低手术难度和风险，一定程度上扩大了腹腔镜手术适应证。本研究成果具有广阔的应用前景，未来有望应用于临床以及教学工作中，并发挥积极作用；在未来底层技术的支持下，手术实时导航技术将会不断更新、发展，逐步实现多功能集成的设想。
利益冲突：所有作者声明不存在利益冲突。
| [1] |
AZIZ H, BROWN Z J, BAGHDADI A, et al. A comprehensive review of hepatic hemangioma management[J]. J Gastrointest Surg, 2022, 26(9): 1998-2007.
[DOI]
|
| [2] |
GRAZIOLI L, AMBROSINI R, FRITTOLI B, et al. Primary benign liver lesions[J]. Eur J Radiol, 2017, 95: 378-398.
[DOI]
|
| [3] |
VILLANUEVA A. Hepatocellular carcinoma[J]. N Engl J Med, 2019, 380(15): 1450-1462.
[DOI]
|
| [4] |
BRINDLEY P J, BACHINI M, ILYAS S I, et al. Cholangiocarcinoma[J]. Nat Rev Dis Primers, 2021, 7(1): 65.
[DOI]
|
| [5] |
DEKKER E, TANIS P J, VLEUGELS J L A, et al. Colorectal cancer[J]. Lancet, 2019, 394(10207): 1467-1480.
[DOI]
|
| [6] |
HARBECK N, GNANT M. Breast cancer[J]. Lancet, 2017, 389(10074): 1134-1150.
[DOI]
|
| [7] |
VINCENT A, HERMAN J, SCHULICK R, et al. Pancreatic cancer[J]. Lancet, 2011, 378(9791): 607-620.
[DOI]
|
| [8] |
中华人民共和国国家卫生健康委员会医政医管局. 胃癌诊疗指南(2022年版)[J]. 中华消化外科杂志, 2022, 21(9): 1137-1164. Bureau of Medical Administration, National Health Commission of the People's Republic of China. Standardization for diagnosis and treatment of gastric cancer (2022 edition)[J]. Chin J Dig Surg, 2022, 21(9): 1137-1164. |
| [9] |
牛鹏辉, 赵璐璐, 陈应泰. 转移性肝癌的外科治疗[J]. 中华医学杂志, 2021(28): 2248-2253. NIU P H, ZHAO L L, CHEN Y T. Surgical treatment of metastatic liver cancer[J]. Chin J Med, 2021(28): 2248-2253. [DOI] |
| [10] |
CHEUNG T T, HAN H S, SHE W H, et al. The Asia Pacific consensus statement on laparoscopic liver resection for hepatocellular carcinoma: a report from the 7th Asia-Pacific primary liver cancer expert meeting held in Hong Kong[J]. Liver Cancer, 2018, 7(1): 28-39.
[DOI]
|
| [11] |
NISHINO H, HATANO E, SEO S, et al. Real-time navigation for liver surgery using projection mapping with indocyanine green fluorescence: development of the novel medical imaging projection system[J]. Ann Surg, 2018, 267(6): 1134-1140.
[DOI]
|
