Page 45 - 南京医科大学自然版

第44卷第6期 南京医科大学学报（自然科学版）
2024年6月 Journal of Nanjing Medical University（Natural Sciences） ·781 ·

·临床研究·

基于扩张残差注意力网络的颞下颌关节区多模态影像融合

茆晓源 ，陈 岩 ，何晓彤 ，孙 强 ，张朝晖 3
2
2*
1
1
北京科技大学自动化学院仪器系，北京 100083；中日友好医院口腔医学中心，北京 100029；北京市工业波谱成像工程技
1 2 3
术研究中心，北京 100083

［摘 要］ 目的：应用扩张残差注意力网络方法，构建颞下颌关节区多模态融合影像，为提高口腔颞下颌关节多模态融合影像
下的综合诊疗能力提供可行性分析。方法：使用扩张残差注意力网络提取磁共振（MR）和锥形束CT（CBCT）的影像特征，使用
“Softmax加权策略”融合特征，再通过影像重建模块将对应的两种模态的影像融合在一起。结果：融合图像可呈现出髁状突皮
质骨、髁状突髓质骨、髁状突附丽的肌肉、关节盘4个部位的形态，在峰值信噪比和结构相似度2个评价指标上均表现良好，峰
值信噪比范围是10~15，结构相似度范围是0.4~0.6。结论：该方法能做到实时影像融合，最终融合图像可反映出清晰的解剖形
态特征，避免多模态影像切换，为口腔专家术前术后临床诊断提供有效的指导。
［关键词］ 影像融合；颞下颌关节；CBCT；MR
［中图分类号］ R78 ［文献标志码］ A ［文章编号］ 1007⁃4368（2024）06⁃781⁃07
doi：10.7655/NYDXBNSN

Multimodal image fusion of temporomandibular joint area based on dilated residual
attention network

1
1
2
2*
MAO Xiaoyuan ，CHEN Yan ，HE Xiaotong ，SUN Qiang ，ZHANG Zhaohui 3
1 Department of Instrument，School of Automation，University of Science and Technology Beijing，Beijing 100083；
Stomatology Center，China ⁃ Japan Friendship Hospital，Beijing 100029；Beijing Industrial Spectrum Imaging
2 3
Engineering Technology Research Center，Beijing 100083，China
［Abstract］ Objective：To explore the feasibility of constructing multimodal fused images of the temporomandibular joint area using
the dilated residual attention network method，and to provide a feasibility analysis for improving the comprehensive diagnostic and
therapeutic capabilities under multimodal fusion imaging of the oral temporomandibular joint. Methods：The dilated residual attention
network was used to extract image features of MR and CBCT，and a“Softmax weighting strategy”to fuse the features. Subsequently，the
corresponding images of the two modalities were fused together through an image reconstruction module. Results：The fused images
could present the morphology of condylar cortical bone，condylar medullary bone，condylar attached muscles and articular disc. The
fused images performed well in terms of peak signal⁃to⁃noise ratio and structural similarity index，with peak signal⁃to⁃noise ratio
ranging from 10 to 15 and structural similarity index ranging from 0.4 to 0.6. Conclusion：This method can achieve real⁃time image
fusion，the final fused image can reflect clear anatomical morphological features，thus avoiding the need for switching between
multimodal images and providing effective guidance for dental experts in preoperative and postoperative clinical diagnosis.
［Key words］ image fusion；temporomandibular joint；CBCT；MR
［J Nanjing Med Univ，2024，44（06）：781⁃787］

医学诊疗的进步离不开医学影像的辅助，不同
模态的医学影像具有对应的诊疗目的和相应条
［基金项目］ 北京市自然科学基金（4242014）
件。临床实际工作中，针对某个区域特殊的软硬组
∗
通信作者（Corresponding author），E⁃mail：superqiangcjf@163.
com 织结构进行综合分析时，需要在多种模态影像之间