Page 49 - 南京医科大学自然版
P. 49

第44卷第6期         茆晓源，陈     岩，何晓彤，等. 基于扩张残差注意力网络的颞下颌关节区多模态影像融合［J］.
                  2024年6月                     南京医科大学学报（自然科学版），2024，44（6）：781-787                        ·785 ·


                原始输入图像之间的距离。融合图像和输入图像                             现；由图 7O，位于髁突上方与颞下颌关节之间的关
                之间的差距通过常见的回归损失函数均方差（mean                          节盘可在 MR 影像里显现，CBCT 影像未能显现，而
                squared error，MSE）来测量。此外，还添加梯度损                   在最终的 CBCT⁃MR 融合影像中清晰地体现了关节
                失 ［14］ 来对重建影像中的纹理的细节进行建模，并且                       盘的形状，并且相对于MR影像更为明显。
                添加感知损失      ［15］ 来对重建图像和原始输入图像之                       针对融合策略的选择，在上述第 1.2.3 节公式
                间的高级语义相似性进行建模。MSE、梯度损失、感                         （4）（5）的讨论中，选择了max（）函数作为ϕ（·），除此
                知损失函数如公式（7）（8）（9）所示，最终损失函数                        之外，mean（）和 sum（）函数也可作为ϕ（·）函数的备
                如公式（10）所示。                                        选项。以PSNR 和SSIM 为基准，使用不同融合策略
                           M
                    MSE =  I - J j  2                   （7）     时的详细定量结果见表1。由此可见，max（）函数在
                         ∑
                              o
                          j = 1    F                              PSNR和SSIM上相对mean（）和sum（）函数都有较好
                        M
                    ∇ =  ∇I - ∇I j  2                   （8）     的表现。
                     I ∑
                             o
                                  2
                        j = 1
                                     C
                                  M
                            1    ∑∑     k     k   2                  表1   不同融合策略作用下的PSNR值和SSIM值
                    per =               f ( ) I - f ( j   ) I  （9）
                         C × w × H i j = 1 k = 1  i  o  i  2      Table 1  PSNR value and SSIM value under different fu⁃
                             i
                           1              )                               sion strategies
                    L( ) θ =  (MSE + λ × ∇ + λ × Per     （10）
                                          I
                          w × h       1       2
                                                                      Fusion strategy      PSNR          SSIM
                    其中，M是输入图像的数量，Io为输出图像，‖·
                                                                      mean（）               11.79         0.49
                                                      k
                ‖ F为矩阵 Frobenius 范数；公式（9）中的 f ( ) x 是来                sum（）                11.82         0.50
                                                     i
                自VGG16  ［16］ 网络中的第i层中的第k个信道，Wi和Hi                     ours                 12.68         0.50
                是输入图像的长度和宽度，C 为信道数量。公式
               （10）中的θ是目标优化网络的权重集，λ1和λ2是梯度                            本研究使用了 15 对 CBCT、MR 影像作为测试
                损失和感知损失的权重平衡因子。                                   集，从PSNR 和SSIM 两个方面来评价融合影像的质
                                                                  量，所得的PSNR和SSIM值见表2。PSNR值分布在
                2  结 果
                                                                  10~15 之间，SSIM 值分布在 0.4~0.6 之间，二者处于
                    在图像融合领域评价指标层出不穷，如峰值信                          较为合理的水平。相比其他类别的图像处理，医学
                噪比（peak signal⁃to⁃noise ratio，PSNR）、结构相似度         影像融合领域的PSNR值略低。如在近年关于阿尔
                                                                                                   ［8］
               （structure similarity，SSIM）、互信息等。本研究选择             兹海默病患者脑部 CT⁃MR 影像融合 的实验中表
                了 PSNR 和 SSIM 作为评价指标。PSNR 可用于评价                   明，PSNR难以突破19的上限。
                融合影像质量的好坏，其值越大，融合影像的质量
                                                                  3  讨 论
                越好；SSIM 是用于衡量两幅图像结构相似性的指
                标。SSIM 的范围是 0~1，其值越接近 1，表示 2 张图                       本研究提出了一种基于残差注意力网络的特
                              ［17］
                像的相似度越高 。                                         征提取模块和多尺度融合策略的口腔医学影像融
                    CBCT⁃MRI 融合影像以及 4 个部位的标志性图                    合网络结构。由于融合策略是固定的，所以在训练
                像如图 7 所示。原始输入影像是患者左侧闭口位                           和推理阶段不需要更新任何参数，从而可以做到实
                CBCT、MR矢状位影像。针对以上的4个关键部位，                         时的影像融合。在颞下颌关节区域内，融合图像相
                在 CBCT 影像中，可以观察到患者髁状突皮质骨的                         比单一的CBCT影像有显著的优势：关节盘、髁状突
                形态，这是 MR 影像所缺乏的信息；另一方面，可以                         髓质骨以及髁状突附丽的肌肉都可在融合图像中
                通过 MR 影像观察到患者髁状突附丽的肌肉、髁状                          清晰地呈现，这3个部位的形态与MR影像中的形态
                突髓质骨、关节盘的形态，这是 MR 影像相对于                           一致。这就更加便于口腔临床医生对颞下颌关节
                CBCT影像独有的特点。                                      盘移位等相关疾病的诊断。同时，融合图像相比单
                    由图 7F，融合影像清晰地显现了 CBCT 影像中                     一的 MR 影像也有一定的优势：融合图像可反映
                髁状突皮质骨的形状；由图 7I，通过融合影像可观                          CBCT 影像中髁状突皮质骨的形状，这一点为医生
                察到 MR 影像中所显现的髁状突附丽的肌肉，且可                          对髁状突皮质骨、颞下颌骨关节病所引起的颞下颌
                以清晰地反映肌肉纹理；由图7L，MR影像中髁状突                          关节紊乱疾病诊断提供了便捷。虽然其形状相比
                髓质骨在融合影像里以黑色线条的姿态清楚地呈                             原始图像有略微的差异，这是由于 MR 影像中该部
   44   45   46   47   48   49   50   51   52   53   54