Page 116 - 南京医科大学学报自然科学版

第44卷第2期
·254 · 南 京 医 科 大 学 学 报 2024年2月

the EchoNet⁃Dynamic⁃Tiny dataset，the model achieved an ED frame prediction difference of 1.62±1.26 and an ES frame prediction
difference of 1.71 ± 1.18，outperforming existing related studies. Furthermore，the ResNet + VST model exhibited good real ⁃ time
performance，with average inference times of 21 ms and 10 ms for 16⁃frame ultrasound sequences on the Nanjing Drum Tower Hospital
dataset and the EchoNet⁃Dynamic⁃Tiny dataset，respectively，using the GTX 3090Ti GPU. This performance was superior to related
studies that used long short⁃term memory（LSTM）for temporal modeling and met the requirements for clinical real⁃time processing.
Conclusion：The proposed ResNet+VST model demonstrates superior accuracy and real⁃time performance in the detection of key
frames in echocardiography compared to existing research. In principle，this model can be applied to any ultrasound view and has the
potential to assist ultrasound physicians in improving diagnostic efficiency.
［Key words］ echocardiography；key frame；deep learning
［J Nanjing Med Univ，2024，44（02）：253⁃262］

超声心动图是一种无创、安全的医学成像方 分割法，即基于心脏超声图像中 LV 的分割结果计
［1］
式，被广泛应用于心脏病患者的诊断和治疗 。超 算 LV 面积确定 ED 和 ES 帧 ［4-7］ 。然而，心脏超声图
声心动图关键帧检测，通常指超声心动图动态图像 像的 LV 分割需要复杂的预处理步骤，且超声图像
舒张末期（end⁃diastole，ED）和收缩末期（end⁃systole， 具有信噪比低、边缘模糊等特性，容易导致分割效
ES）帧的检测，是超声心动图检查的必要步骤，也是 果欠佳，进而影响ED和ES帧的检测结果。近年来，
心脏大小量化、功能评价的重要基础。超声心动图 深度学习（deep learning，DL）在各类自然图像处理
中，ED 帧可定义为二尖瓣（mitral valve，MV）关闭后 任务中表现出优异性能，因此被广泛应用于超声心
第1帧、心动周期中左心室（left ventricle，LV）径线或 动图的图像处理与分析中 ［8-12］ 。一些研究将 DL 引
容量最大的停帧，ES 帧可定义为主动脉瓣（aortic 入超声心动图关键帧检测领域，结合卷积神经网络
valve，AV）关闭后的第 1 帧、心动周期中 LV 径线或 （convolutional neural network，CNN）和循环神经网络
容量最小的停帧，分别对应心电图（electrocardio⁃ （recurrent neural network，RNN）检 测 ED、ES 帧 。
gram，ECG）中 R 波波峰与 T 波终点的相应帧 ［2- 3］ Dezaki 等 ［13］ 借鉴了 Kong 等 ［14］ 在 MRI 中 ED、ES 帧检
（图 1）。目前临床场景下关键帧的识别，主要依靠 测的研究，结合 ResNet ［15］ 与长短期记忆单元（long
［16］
超声医师肉眼观测超声心动图中LV容积或ECG波 short⁃term memory，LSTM） 提出了深度残差递归神
形，存在人工成本高、操作者经验依赖性高、可重复 经网络，以提取固定长度心脏超声图像序列的时空
性差的问题。因此，实现对超声心动图中 ED 和 ES 特征，实现ED和ES帧的检测，但需要对输入的超声
帧的高精度自动检测具有重要的意义。 序列进行预处理，以分离单个心动周期。Taheri等 ［17］
研究人员在超声心动图 ED、ES 帧自动检测方 对此进行了改进，将可变长度的超声序列输入到结
面做出了许多努力，早期研究中最常见的方法是LV 合了DenseNet 和门控单元的模块中，并提出了全局
极值损失函数进一步提高ED、ES帧检测性能，然而
ED ES
输入的视频仍只能包含 1 个心动周期，导致检测结
果存在偏差。Fiorito 等 ［18］ 将 3D CNN 与 LSTM 的混
合模型应用于超声心动图视频的时空特征提取，对
各帧进行舒张期和收缩期分类，将 ED 和 ES 帧确定
R
为两种状态之间的切换帧，可用于任意长度的序
T 列，但仍只能检测包含1对ED和ES帧的视频，对于
P
Electrocardiogram
视频中其他 ED 帧，需要依赖 QRS 复杂波进行预
Q S 测。Lane等 ［19］ 结合ResNet与LSTM提取超声序列的
时空信息，证明了DL技术用于包含多个心动周期的
LV volume change
任意长度超声序列ED和ES帧识别的可行性，但其计
图1 心尖四腔切面ED和ES帧 算上相对复杂，推理耗时长。
Figure 1 ED and ES frame of apical four chambers view 针对现阶段相关研究存在的不足，本研究提出