Page 117 - 南京医科大学学报自然科学版

第44卷第2期 杜 悦，史中青，戚占如，等. 一种超声心动图关键帧智能检测方法［J］.
2024年2月 南京医科大学学报（自然科学版），2024，44（2）：253-262 ·255 ·

了一种超声心动图关键帧智能检测方法，该方法无 上述动态图像均采集自 Philips Medical Systems 和
需 分 割 LV 且 不 依 赖 ECG，结 合 ResNet 与 Video GE Vingmed Ultrasound 设备，帧数在 14~493 帧之
Swin Transformer（VST） ，直接从任意长度的二维 间，且包含不同数量的完整心动周期。研究已获得
［20］
心脏超声图像序列中自动、精确地识别出多个心动 南京大学医学院附属鼓楼医院医学伦理委员会的
周期的ED和ES帧。这种方法适用于超声心动图常 伦理审查批准（批件号：2022⁃337⁃01）。
见的心尖切面，具有较强的实用性。 为便于图像的后续处理与分析，本研究基于
ITK 与 OpenCV 解析 DICOM 格式的原始超声数据，
1 对象和方法
将其转换为AVI格式的视频。为使数据完全独立于
1.1 对象 ECG，所得到的视频均基于传统的图像处理技术，包
1.1.1 南京鼓楼医院数据集 括阈值分割、霍夫直线检测以及形态学操作等进行
选取 2022 年 8—12 月在南京大学医学院附属 处理，删除了 ECG 以及扫描扇区外的文字信息，并
鼓楼医院超声医学科完成二维经胸超声心动图检 使用双线性插值将每帧图像采样到 320×320 像素。

查的 190 例受检者，获取包括心尖二腔（apical two 建立的南京鼓楼医院数据集中，每一类切面的数据
chambers，A2C）、心尖三腔（apical three chambers， 按4∶1的比例，分别划分到训练集与测试集中。
A3C）与心尖四腔（apical four chambers，A4C）3 类临 1.1.2 EchoNet⁃Dynamic⁃Tiny数据集
床检查常用切面共计 663 个动态图像（A2C、A3C 与 EchoNet⁃Dynamic 数据集 ［21］ 源自斯坦福大学医
A4C 切面的图像数目分别为 249、134 与 280，图 2）。 学院2016—2018年收集的受试者数据，包括10 030

A2C A3C A4C

图2 二维超声心动图3类切面
Figure 2 Three types of two⁃dimensional echocardiography views

个 A4C 视频，采集设备为 Siemens Healthineers 和 ED或ES帧的概率，σ为常数，本研究中设置为10。
Philips Healthcare，每个视频经过匿名化处理，删除 1 - (x - μ 2 ) 2
2σ
了扫描扇区以外的文本等信息，并通过 3 次降采样 ρ( ) x = 2πσ e 式1
插值将每帧图像大小调整为 112×112 像素。本研 将当前心动周期ED帧与下一相邻心动周期ED
究从EchoNet⁃Dynamic数据集中选取了按视频名称升 帧的概率设置为1.0，两帧之间其余帧的概率基于高
序排列的前280个A4C视频，与南京鼓楼医院数据集 斯概率密度函数进行插值，得到该心动周期中每一
中 A4C 的数量保持一致，建立了 EchoNet⁃Dynamic⁃ 帧为 ED 帧的概率曲线，ES 帧概率曲线的生成方式
Tiny数据集，并将这些数据按4∶1的比例，分别划分 与之类似。值得注意的是，为确保概率密度函数在
到训练集与测试集中。 视频起始与终止阶段设定合理，本研究对起始与终
1.2 方法 止阶段的关键帧进行了假定（即μ可能为负数或大
1.2.1 数据标记 于视频总帧数的值），并在训练与测试过程中仅保
在 3 名经验丰富的超声医师的指导下，对所有 留视频总帧数范围内帧索引对应的概率曲线。假
视频进行手动标记（对于标记不一致的视频，3位医 设当前视频总帧数为 58，标记的 ED 帧索引为 20、
师重新对其进行标记，然后取多数投票结果），确定 66，ES帧索引为-1、43，生成ED、ES概率曲线（图3）。
各心动周期的ED、ES帧索引。基于高斯分布计算视 1.2.2 ResNet+VST模型
频各帧为关键帧的概率，见式1，其中x表示帧索引，μ 本研究提出的超声心动图关键帧智能检测模
表示 ED 或 ES 帧所在的帧索引，ρ（x）表示每一帧为 型 ResNet+VST，其整体框架见图 4，该模型采用