Page 46 - 南京医科大学自然版
P. 46

第44卷第6期
               ·782 ·                            南 京    医 科 大 学 学         报                        2024年6月


              进行反复切换。这样既繁琐，同时也缺少各种影像                            数据，进一步按照0.8∶0.2的比例划分为训练数据集
              数据之间在空间定位上的一致性和可对比性，这就                            和验证数据集，即训练数据集为163对CBCT、MR影
              促使研究人员在医学影像融合方面提出更高的要                             像，验证数据集为41对影像。
                                                        ［1］
              求。例如，在脑部 CT/MR 影像融合方面，Liu 等 提                     1.2  方法
              出了一种结合拉普拉斯金字塔和卷积稀疏表示的                                  本文使用了一种医学影像融合的端到端框架，
              融合方法，通过在融合的基础层和细节层上执行逆                            整个模型架构如图1所示。使用的融合算法由图像
              拉普拉斯金字塔变换来重建融合图像。针对融合                             预处理模块、特征提取模块、影像融合模块和影像
                              ［2］
              规则的改进，Li 等 开发了一种新的多模态医学图                          重建模块4个方面组成。图像预处理模块分为对源
              像融合方法，使用魏斯费勒莱曼嵌入式⁃改进的新型                           图像进行拉普拉斯图像增强和亮度增强两部分：拉

              求和修正拉普拉斯算子（Weisfeiler Lehman embed⁃               普拉斯图像增强用于对原始图像进行锐化处理，使
              ding⁃improved novel sum⁃modified Laplacian，WLE⁃   灰度反差增强，从而使模糊的图像变得更加清晰；
              INSML）特征提取高频非下采样剪切波变换（non⁃                        亮度增强旨在改善原始图像的亮度。接下来，将已
              subsampled shearlet transform，NSST）系数，用于构建        完成预处理的CBCT、MR影像作为特征提取模块的
              这些系数的融合规则。                                        输入，特征提取模块用于提取输入图像（I1、I2）的深
                  颞下颌关节疾病，尤其是颞下颌关节紊乱病，                          层语义特征，然后将其作为特征融合模块的输入，
              是口腔颌面部的常见病和多发病，其病程进展多是                            融合规则使用了“softmax特征加权策略”，特征融合
              渐进性的，早期正确诊断可以使患者得到及时有效                            模块旨在将 2 个深层语义特征图融合为 1 张特征
              的治疗或者避免过度治疗 。在临床诊断中，口腔                            图，这张特征图包含了来自 2 个原始特征图的特
                                     ［3］
              医学影像主要有锥形束CT（CBCT）、磁共振（MR）这                       征。此外，该模块还可确定最后的融合特征图中某
              两种模态，它们改善了临床决策。这些不同模态的                            个像素来自单一的I1、I2或者二者共有的部分。最后
              医学影像有着不同的成像原理，所以也有着各自的局                           影像重建模块根据特征融合模块的输出重建图像，
              限性和优点。例如，通过MR影像可以清晰地看出口                           在重建最终融合图像时使用卷积层序列。
              腔内软组织的分布，却不能清楚地观察颌骨骨骼信                                 在训练模型之前，所有的图像都在 0~1 范围内
              息；CBCT具有更低的辐射剂量、更小的金属伪影以及                         进行归一化处理 。在训练阶段，取出融合模块，只
                                                                               ［5］
              更准确的扫描结果 ，可以很好地展示颌骨骨骼信                            训练特征提取模块和影像重构模块，具体损失函数
                               ［4］
              息，却在软组织观察方面存在着不足。                                 构造方法见后文。在优化器的选择上，本次实验使
                  结合口腔临床的实际需求，为充分发挥各种模                          用了Adam更新规则，学习率被设置为0.000 1，批量
              态影像辅助的独特优势，避免临床医生反复切换影                            大小设置为 4，epoch 被设置为 100。为了防止过拟
              像，同时增加各模态数据的空间定位一致性，本文                            合，本实验使用了以下两种方法：一是在训练过程
              提出应用扩张残差注意力网络方法构建颞下颌关                             中监控验证数据集的性能，当性能不再提升时提前
              节周围区域的多模态融合影像。这包括髁状突皮                             停止训练；二是添加 L1 正则化来控制网络的复杂
              质骨、髁状突髓质骨、髁状突附丽的肌肉、关节盘、                           度，防止过拟合。图像梯度损失和感知损失的权重
              关节窝等。该融合技术为提高口腔颞下颌关节多                             平衡因子λ1和λ2这两个超参数设置0.2，且使用第三
              模态融合影像下的综合诊疗能力提供可行性分析。                            VGG块的输出来计算感知损失。
                                                                1.2.1 图像预处理
              1  材料和方法
                                                                     为改善原始图像的清晰程度以及口腔专家的
              1.1  材料                                           主观感受，本研究在对 CBCT、MR 影像进行图像特
                  使用的数据集是219对口腔CBCT 和MR影像，                      征提取之前对原始图像进行了拉普拉斯增强和亮
              数据皆来自中日友好医院口腔医学中心。按照                              度增强的预处理。拉普拉斯算子使得图像增强的
              CBCT切片划分可分为横断面、矢状面、冠状面3类。                         本质是利用图像的二阶微分对图像进行锐化 ，对
                                                                                                         ［6］
              所有的CBCT、MR影像像素均为256×256，且是像素                      CBCT、MR 影像使用亮度增强处理可以改善原始图
              强度在0~255范围内的单通道影像。                                像亮度较暗的情况（图2）。经过预处理的最终融合
                  在这219对影像中，随机选择了15对影像作为                        图像在观察髁状突附近的肌肉、髁状突髓质骨以及关
              测试集，以便在训练中不包括这些数据。对于其他                            节盘3个部位相比于未经预处理的融合图像更清晰。
   41   42   43   44   45   46   47   48   49   50   51