Page 47 - 南京医科大学自然版

第44卷第6期 茆晓源，陈 岩，何晓彤，等. 基于扩张残差注意力网络的颞下颌关节区多模态影像融合［J］.
2024年6月 南京医科大学学报（自然科学版），2024，44（6）：781-787 ·783 ·

DILRAN

CT
Preprocessing Feature extractor
Fusion Recon

DILRAN
MRI

Laplacian Brightness Pooling Upsample ReLu Convolution Element⁃wise Element⁃wise
enhancement addition product
图1 医学影像融合模型
Figure 1 Medical image fusion model

Convolution Downsample Upsample Sigmoid
A B
图3 残差注意力网络
A：Fusion image without preprocessing. B：Fusion image after pre⁃
Figure 3 Residual attention network structure
processing.
图2 经预处理或未经预处理的融合图像对比
Figure 2 Comparison of fusion images with and without F（x）=（1+S（x））×T（x） （1）
preprocessing 其中，x 是来自前一层的特征图，F（·）为输出特
征图，S（·）为软掩膜分支函数，T（·）为主干分支函数。
在金字塔注意力网络中，为了降低网络复杂
本研究使用的拉普拉斯算子是：
度，本研究使用具有较小内核滤波器 的卷积序列
［9］
é -0 -1 -0 ù
ê ú 取代具有较大内核滤波器的卷积序列。输出特征
ê -1 -5 -1 ú
ë -0 -1 -0 û 由公式（2）进行计算。
1.2.2 特征提取模块 F（x）=（1+P1 （P2 （P3 （x））））×C（x） （2）
特征提取模块的结构如图 1 所示，经过预处理 其中，x 是输入特征图，F（·）为输出特征图，Pi
的图像首先输入至具有1×1卷积层的残差注意力网 （·），i{1，2，3}为特征金字塔注意力网络中相应的
络，从而获得64维的浅层特征图。然后将浅层特征 CBi的参数，C（·）为主干分支函数。
［7］
图传递至扩张残差注意力网络 （dilated residual at⁃ 残差注意力网络缺点是不能提取和学习深层
tention network，DILRAN）以获得深层语义特征。 语义特征，使用金字塔注意力网络 ［10］ 可以有效解决
DILRAN 模块的设计原理受到残差注意力机 这个问题。金字塔注意力网络结构如图4所示。
制 和金字塔注意力机制的启发。残差注意力网络 金字塔注意力网络可能会丢失图像中的局部信
［8］
［11］
架构如图3所示。 息和精细纹理 。为解决这一问题，本研究在输入图
［12］
上方的主干和下方的软掩膜分支的组合按照 像的浅层特征上进行扩张卷积 来提取多尺度信息，
公式（1）建立残差注意力网络。 从而提高模型多尺度特征提取能力。DILRAN 模型