Page 48 - 南京医科大学自然版

第44卷第6期
·784 · 南 京 医 科 大 学 学 报 2024年6月

结构如图5所示。
1.2.3 影像融合模块
融合策略用于将输入图像的深层特征图融合
为一张特征图，在多种融合策略比较之下，使用了
“Softmax特征加权策略”，它表现出了最好的性能。
Convolution
block1 经过特征提取模块，分别从输入图像（I1，I2）中
获得 2 个输出特征图 f1、f2，这 2 个输出特征图可用
Convolution
block2 于生成相应的权重图。为了得到权重图，对输出
［13］
特征图 f1、f2 进行 Softmax 运算，计算方法如公式
Convolution
block3 （3）所示。
exp( ) x i
S( ) x = （3）
i exp( ) x
∑ i i
Feature map Pooling Convolution Upsample 获得Softmax输出之后，通过矩阵的核范数（‖·
图4 金字塔注意力网络结构 ‖ *）来计算奇异值的总和。最后通过取核范数的最
Figure 4 Pyramid attention network structure 大加权平均值来获得输出特征图的权重，计算二者

Dilated Pooling Upsample ReLu Convolution Channel
convolution concatenation
图5 扩张残差注意力网络结构
Figure 5 Dilated residual attention network structure

核范数的最大加权平均值方法如公式（4）（5）所示。 中，利用具有输出通道 64、32、1 的 3 个连续的 3×３

ϕ S( )  ö 卷积层将通道数从64减少到1。影像重建模块的结
æ
x
1
i
W = è * ø （4） 构如图6所示。


ϕ S( )  ö + ϕ S( )  ö
æ
1
æ
x
x
2
1
è i * ø è i * ø 1.2.5 损失函数

æ
ϕ S( )  ö 为了使最终的融合图像与原始输入图像尽可
x
2
i
W = è * ø （5） 能接近，需要最小化从深层语义特征重建的图像与


ϕ S( )  ö + ϕ S( )  ö
æ
æ
2
x
x
1
2
è i * ø è i * ø
其中，S（xi），j{1，2}为输出特征图fj，j{1，2}经过
j
Softmax 函数运算后得到的权重图，ϕ（·）是max（）函 Input Output
数，最后的融合特征图由公式（6）计算得到。
（6）
f=W1×f1+W2×f2
1.2.4 影像重建模块
Convolution
影像重建模块从融合特征图生成融合完成的 图6 影像重建模块
影像，由于最后的融合图像是灰度级的，在该模块 Figure 6 Image reconstruction module