本文提出CardioMorphNet,用心脏形状一致性而非图像强度相似性来监督3D CMR序列中的心脏运动估计,并输出不确定性。
Title题目
01
CardioMorphNet:基于形状引导贝叶斯循环深度网络的心脏运动预测
CardioMorphNet: Cardiac motion prediction using a shape-guided Bayesian recurrent deep network
文献速递介绍
02
论文从心血管疾病的高发病率、高死亡率和高医疗负担出发,强调早期识别心脏运动异常的重要性。cine CMR能够提供心脏在整个心动周期中的动态图像,是评估心脏功能和形态的重要非侵入性工具,但人工观察主观、耗时且可重复性差,因此需要自动化运动估计方法。现有CMR运动估计多数基于图像配准,把固定图像与移动图像之间的空间变换视为心脏运动,但这些方法通常依赖强度相似性损失,可能把背景、噪声或非心脏组织的变化也纳入运动场,导致DVF不够符合心脏解剖运动。为此,作者提出CardioMorphNet,以SAX体数据为输入,通过心脏形状引导的贝叶斯循环深度网络估计3D心脏运动,核心思想是让配准分支学习把上一时刻的心脏形状变形到当前时刻的心脏形状,从而把学习重点限制在LV、RV和LVmyo等心脏区域。论文的主要贡献包括:提出形状引导的概率序列配准框架,构建基于贝叶斯的形状监督机制,显式估计DVF不确定性,并在两个CMR数据集上证明其优于现有方法。
相关工作
相关工作首先回顾传统图像配准方法,包括HARP、Gabor滤波结合RPM、IDEA、基于B样条FFD和TDFFD的非刚性配准,以及Demons和扩散理论配准。这类方法不依赖深度学习,但通常计算开销大,在复杂心脏运动或低对比度医学图像中精度有限。随后论文回顾深度学习配准方法,分为监督、半监督和概率建模等方向。监督方法需要真实DVF,现实中难以获取,只能依赖随机变换、传统配准或模型生成的伪真值,容易引入偏差。半监督方法如VoxelMorph主要依靠固定图像和变形图像之间的强度相似性训练,在计算效率上优于传统方法,但仍可能捕捉无关运动。概率方法如Krebs等人的模型、DragNet和SegMorph尝试用潜变量建模运动分布和时间依赖,能给出不确定性或生成运动序列,但仍常依分割,而不是让分割形状强力约束配准分支。本文的区别在于,CardioMorphNet显式让形状一致赖强度相似性。联合分割配准方法如JMS、TCSF和SegMorph引入分割分支,但许多工作主要用配准结果帮助性成为DVF估计的核心监督信号。
Aastract摘要
03
本文关注cine CMR短轴序列中的心脏运动估计问题,指出传统配准方法依赖强度相似性损失,容易捕捉与心脏无关的运动,难以聚焦心脏解剖结构。作者提出CardioMorphNet,一个形状引导的3D贝叶斯循环深度配准框架,由SegNet、RVAE和DeformNet组成,分别负责心脏形状分割、时空依赖建模和位移向量场估计。该方法通过贝叶斯建模推导ELBO目标,使DVF学习由分割形状与变形后形状之间的KL散度监督,而不使用强度配准相似性损失。实验在UK Biobank和M&M数据集上进行,结果显示CardioMorphNet在心脏形状配准、临床指标估计和心脏区域DVF不确定性方面均优于多种传统和深度学习配准方法。
Method方法
04
方法部分首先给出贝叶斯建模。作者将每个时间点的SAX体图像、心脏形状掩膜、DVF和潜变量分别表示为I、M、D和Z,其中形状掩膜包含背景、LV、LVmyo和RV四类。由于数据在ED和ES时间点有真实掩膜,模型需要估计其他时间点的掩膜、整个序列的DVF以及时空潜变量。原始联合分布和后验分布经过条件独立假设简化:当前形状M_t由前一时刻形状M{t-1}和DVF D_t决定,当前图像I_t由潜变量Z_t生成,Z_t的先验由上一隐藏状态h{t-1}决定,DVF先验为零均值单位协方差高斯分布。后验中,M_t由当前图像I_t估计,Z_t由当前图像和上一隐藏状态估计,D_t由相邻两帧SAX体数据及Z_t估计。网络结构由三部分组成:SegNet是3D U-Net,用于输出心脏形状概率图;RVAE由特征提取、潜变量推断、ConvLSTM递归记忆和解码重建组成,用于学习心动周期的时空依赖;DeformNet是3D U-Net,用相邻两帧图像和潜变量特征估计DVF的均值、方差及协方差。关键训练信号来自贝叶斯ELBO,其中形状损失由监督形状项和半监督形状项组成:ED和ES帧使用真实掩膜监督,其他帧使用SegNet预测掩膜与变形后掩膜之间的KL散度监督。总损失还包含DVF先验KL项、潜变量KL项、图像重建项和弯曲能量平滑正则。训练采用两阶段流程:先单独训练SegNet,再冻结SegNet并训练RVAE和DeformNet,使配准分支在已学到的心脏形状先验引导下估计运动。
实验设置与评价
实验使用UK Biobank的4000名受试者SAX数据,其中1000名用于训练和验证SegNet,其余用于完整框架开发,并按训练、验证、测试划分。另一个外部评估数据集为M&M,模型在其训练和验证集上微调并在测试集上评估。每个序列原本包含50帧,作者下采样为6帧以降低计算开销,同时覆盖从ED到ES再到舒张恢复的关键动态。预处理包括围绕心脏裁剪、缩放到128×128、归一化和深度方向零填充到16层。比较方法包括LCC-Demons、SyN、VoxelMorph、TLRN、TCSF、DragNet、JMS和SegMorph。评价指标覆盖形状配准精度、运动场光滑性、不确定性和临床指标。形状配准用DSC、JAC、HD95和MSD衡量,DVF物理合理性用负Jacobian行列式体素数NJD衡量,不确定性通过DVF高斯后验的熵计算,临床指标包括LVEDV、LVESV、RVEDV、RVESV、LVSV、RVSV、LVMM、LVEF和RVEF等,并以RMSE与参考值比较。
心脏形状配准结果
定性结果显示,CardioMorphNet得到的变形后心脏形状在ED、ES及中间帧更贴合LV、RV和LVmyo区域,DVF更集中于心脏区域且运动模式更符合生理过程。相比之下,SyN和LCC-Demons的DVF包含较多非心脏相关形变,VoxelMorph、DragNet和TLRN虽然优于传统方法,但心脏区域对齐仍不如CardioMorphNet。定量结果显示,在UK Biobank上,CardioMorphNet在LV、LVmyo和RV的DSC分别达到93.77%、83.84%和90.42%,显著高于其他方法;在M&M上也取得最高或最优的总体表现,LV、LVmyo和RV的DSC分别为89.99%、80.36%和84.94%。箱线图进一步表明,该方法不仅中位DSC更高,而且四分位范围更窄,说明鲁棒性更好。论文也指出,LVmyo由于结构更薄、更复杂,各方法在该区域的配准难度均更高。NJD方面,DragNet等强平滑方法可能得到更低折叠数,但CardioMorphNet在形状对齐方面明显更好,体现了解剖边界精确匹配与严格微分同胚平滑之间的权衡。
不确定性评估
CardioMorphNet显式输出DVF后验协方差,因此可以直接计算体素级运动不确定性。与SegMorph和DragNet相比,CardioMorphNet的不确定性在心脏区域更低、更集中,尤其在ED和后续相对稳定帧表现明显。论文指出,在收缩中间帧,LV和RV区域的不确定性会升高,这是合理现象,因为从ED到ES的运动由心肌收缩、增厚和扭转驱动,运动更快且更非线性,同时这些中间帧没有真实分割掩膜直接约束。背景区域不确定性较低也符合方法设计,因为该框架不依赖强度相似性,不鼓励背景区域产生无意义运动。箱线图显示,在UK Biobank上,CardioMorphNet在ED和ES的心脏区域不确定性显著低于SegMorph和DragNet,p值小于0.001;在M&M上分布更接近,但仍整体更低。这表明形状引导贝叶斯建模不仅提高了配准精度,也提升了模型对心脏运动预测的置信度。
临床指标评估
论文进一步使用变形得到的心脏形状计算临床指标,并与由真实ED和ES掩膜计算的参考值比较。结果显示,CardioMorphNet在UK Biobank和M&M上对大多数LV和RV体积指标、射血分数和心肌质量估计具有最低或接近最低RMSE。在UK Biobank上,其LVEDV、LVESV、RVEDV、RVESV、LVSV、RVSV、LVEF和RVEF等指标明显优于大多数配准方法,仅在LVESV和LVMM上TCSF或VoxelMorph有局部优势。LV体积轨迹图显示,CardioMorphNet能更好地复现从ED到ES体积下降、之后恢复的生理规律,并且时间曲线更平滑。作者也诚实指出,这些临床指标本质上是静态指标,直接分割模型如U-Net和nnU-Net在ED和ES掩膜上可取得更好结果;CardioMorphNet的价值不在于替代静态分割,而在于同时提供整个心动周期的DVF,为心肌应变等动态生物标志物计算提供基础。
消融实验
消融实验分析DeformNet、RVAE和SegNet的贡献。DeformNet始终启用,作者分别比较完整模型、去掉SegNet、去掉RVAE以及同时去掉SegNet和RVAE的配置。结果显示,完整模型在UK Biobank和M&M上均取得最佳DSC和最低HD95,说明SegNet和RVAE都对性能有贡献。去掉SegNet后性能下降最明显,说明形状引导是该框架提升心脏运动估计的主要因素;只保留RVAE但不用SegNet时,模型仍主要依赖强度配准,难以聚焦心脏解剖区域。去掉RVAE但保留SegNet时,性能也下降,但幅度小于去掉SegNet,说明时空潜变量建模是第二重要因素。作者还比较了形状匹配与强度匹配混合监督,发现加入强度配准损失反而降低心脏形状配准表现,支持本文核心主张:对于心脏运动估计,直接使用心脏形状一致性监督比强度相似性更有效。
DVF平滑正则分析
论文单独分析弯曲能量正则系数ρ对配准精度和DVF折叠的影响。结果显示,从ρ=0增加到0.08时,DSC从91.36%上升到92.72%,同时NJD从6439.77大幅下降到585.70,说明适度平滑约束既能提升形状一致性,也能减少非物理折叠。当ρ继续增大时,NJD进一步下降,例如ρ=0.3时NJD约292.38,但DSC略降到92.47%,表明过强平滑会限制模型捕捉细粒度心脏边界运动的能力。作者最终选择ρ=0.3作为较优折中点,因为它在几乎不损失DSC的情况下显著改善微分同胚性质。该分析强调,在形状引导配准中,必须在解剖对齐精度和DVF物理合理性之间进行权衡。
Discussion讨论
05
讨论部分总结了CardioMorphNet相对于现有方法的核心优势:它通过贝叶斯变分推断,将分割形状分布与变形形状分布之间的KL散度作为配准监督,从机制上避免强度相似性损失导致的非心脏运动干扰;RVAE通过ConvLSTM累积历史SAX体数据和潜变量信息,使DVF估计能够利用心动周期中的时空规律;DVF的均值和协方差被显式建模,因此无需dropout等经验方法即可进行体素级不确定性分析。作者也讨论了与联合分割配准方法的区别:SegMorph、JMS和TCSF等方法常通过配准生成伪标签来帮助分割,而CardioMorphNet反过来让分割形状指导配准,使配准更聚焦心脏区域。论文指出方法仍存在不足,包括训练计算开销较大,导致只能使用下采样后的6帧SAX序列;SegNet分割误差会传递到配准监督中;当前DVF缺乏跨受试者全局对应关系,不利于人群层面的异常运动比较;此外该RVAE不像DragNet或SegMorph那样用于生成真实感cine SAX序列。作者提出未来可转向网格域运动估计,利用心脏atlas mesh建立跨患者对应点,从而支持更精细的病理运动分析。
Results结果
06
本文提出一种用于cine CMR SAX数据的形状引导概率循环深度学习心脏运动估计框架。CardioMorphNet利用RVAE学习心动周期时空依赖,用DeformNet估计相邻帧间3D DVF,并通过SegNet提供的心脏形状一致性监督运动场学习,避免依赖强度相似性配准损失。实验表明,该方法在UK Biobank和M&M数据集上的心脏形状配准精度优于传统和深度学习基线,心脏区域DVF不确定性低于其他概率配准方法,并能更准确估计多项临床功能指标。尽管仍受计算负担、分割误差和跨个体对应关系缺失等限制,该研究为基于CMR的自动化心脏运动分析提供了更可靠、更具解剖针对性的建模路径。
Figure图
07

图1.
该图展示CardioMorphNet在单个时间步的概率依赖关系。灰色节点表示观测变量,白色节点表示待估计变量;实线对应先验,虚线对应后验,点线表示递归路径。图中明确了本文方法的核心建模逻辑:潜变量Z_t由上一隐藏状态提供时间上下文,DVF D_t由相邻SAX图像和潜变量推断,当前形状M_t由当前图像估计,同时上一时刻形状通过DVF变形到当前时刻。这一图是理解形状引导贝叶斯监督机制的基础。

图2.
该图给出完整网络结构,包括RVAE、DeformNet和SegNet三部分。RVAE从当前SAX体数据和历史隐藏状态中推断潜变量并更新时序状态,DeformNet利用相邻两帧SAX体数据和潜变量特征估计DVF,SegNet输出上一时刻心脏形状掩膜,再由DVF变形得到当前配准形状。该图说明本文并不是单纯做图像强度配准,而是用分割出的心脏形状来监督形变场学习。

图3.
该图比较CardioMorphNet与SegMorph、DragNet、VoxelMorph、SyN、LCC-Demons、JMS、TLRN和TCSF等方法在多个心动周期时间点上的移动形状、DVF和Jacobian determinant图。CardioMorphNet的变形后形状与参考心脏解剖区域最一致,DVF更集中于心脏区域且更符合生理运动模式;传统方法的运动场噪声较多,包含大量与心脏无关的形变。

图4.
该图展示CardioMorphNet估计的DVF在轴位、矢状位和冠状位三个方向上的表现。结果显示模型能够在完整3D体数据中捕捉一致的心室运动,而不是仅在单个2D切面上进行局部配准。这支持了作者关于3D建模能够获得相干心脏形变的论点。

图5:
该图展示UK Biobank和M&M数据集上LV、RV和LVmyo三个区域的DSC分布。CardioMorphNet在两个数据集和多个解剖区域中均表现为更高的中位DSC和更低的分布离散度,说明其配准精度和鲁棒性均优于对比方法。图中也可以看出LVmyo普遍比LV和RV更难配准。

图6:
该图比较CardioMorphNet、SegMorph和DragNet在两个代表性受试者中间SAX切片上的DVF不确定性。CardioMorphNet的不确定性更低,且主要集中在心脏运动复杂区域;背景区域不会出现大范围不确定性扩散。这说明形状引导监督使模型更清楚哪些区域需要估计运动、哪些区域应保持稳定。

图7.
该图定量比较ED和ES时刻心脏区域内的DVF不确定性分布。CardioMorphNet在UK Biobank和M&M上总体低于SegMorph和DragNet,且变异更小,表明其运动场估计更稳定、更有置信度。论文还报告UK Biobank上的差异具有显著统计意义。

图8.
该图展示不同方法估计的LVV轨迹,并用虚线标出ED和ES参考体积。CardioMorphNet生成的LVV曲线更接近参考值,且更符合从舒张末期到收缩末期体积下降、随后恢复的生理趋势。该结果从临床功能指标角度间接证明其运动估计能保持解剖和时间一致性。

图9.
该图分析弯曲能量正则系数ρ对配准精度和DVF折叠数量的影响。随着ρ增大,NJD明显下降,说明运动场更平滑;但过强正则会略微降低DSC。作者最终选择ρ=0.3作为折中点,对应DSC约92.47%和NJD约292.4,体现了解剖对齐和物理合理性之间的平衡。