2026.6.24
本文提出ACISF,将三维心脏弱监督分割从体素空间扩展到连续坐标空间,并用对抗一致性和SAM-Med3D标签增强提升稀疏标注下的分割精度。
Title题目
01
AWPAUNet:用于软组织多机械场实时同步建模的先进替代模型
AWPAUNet: An advanced surrogate for real-time simultaneous modeling of multiple mechanical fields of soft tissues
文献速递介绍
02
论文首先说明软组织力学建模在生物医学工程、手术仿真、图像引导手术和辅助医疗中的重要性。有限元方法具有较高物理精度,但在复杂动态交互场景中计算代价过高,难以满足软组织与工具交互至少30 Hz的实时要求。已有深度学习替代模型虽然能提升速度,但大多只预测单一位移场,并且常以外部集中力作为输入,这与实际手术仿真中通过工具位姿或局部接触位移控制组织变形的场景不完全一致。作者进一步指出,真实交互仿真不仅需要组织形变,还需要应力场用于组织状态评估、反作用力用于触觉反馈,而这些物理量在数值量级、空间稀疏性和响应模式上差异显著,直接多输出训练容易导致优化不平衡。基于这些问题,本文提出AWPAUNet,在位移激励条件下同步预测位移场、Von Mises应力场和反作用力场,并通过并行双注意力和自适应权重策略提高多机械场联合学习的稳定性与精度。
相关工作
相关工作部分从有限元软组织力学建模和神经网络软组织力学建模两条路线展开。有限元方向已有约束混合模型、平滑有限元、软组织非均匀弹性反演以及结合生理运动的有限元方法等进展,优势是物理基础扎实、精度较高,但面对实时手术交互仍存在计算效率瓶颈。神经网络方向包括基于UNet的U-Mesh、机器学习肝脏实时变形预测、面部软组织术后形态预测、弹性参数反演、图神经网络和细胞神经网络等方法。这些方法展示了数据驱动替代建模的潜力,但多数面向单一力学量或特定输入表示,尚未充分解决位移驱动交互下软组织位移、应力和反作用力的实时同步预测问题。
Aastract摘要
03
本文面向手术仿真和医学辅助系统中软组织力学响应需要实时计算的问题,指出现有深度学习方法多关注集中力加载和单一位移场预测,难以满足位移控制交互、多机械场同步建模与触觉反馈需求。作者提出基于UNet的AWPAUNet,将并行双注意力模块嵌入跳跃连接以强化机械敏感区域特征提取,并在输出端加入自适应权重模块以缓解位移、应力和反作用力之间的量级差异。训练数据由有限元方法合成,覆盖悬臂梁、人肝脏和人脾脏三类对象,并采用不同超弹性本构模型。实验表明,AWPAUNet在多数指标上优于U-Mesh、PhysGNN、GCN及普通UNet变体,95%-REA总体低于5%,推理时间约0.006秒,达到约166 Hz,可满足实时手术仿真需求。
Method方法
04
方法部分包含两大环节:用有限元合成训练数据,以及构建AWPAUNet网络。数据合成方面,作者将软组织简化为连续、不可压缩、各向同性材料,并在给定位移加载下建立Dirichlet边值问题。有限元求解得到未知节点位移、应变、应力以及加载节点反作用力,作为神经网络监督信号。网络方面,AWPAUNet以UNet编码器解码器结构为骨干,在跳跃连接中加入并行双注意力模块。该模块同时计算通道注意力和空间注意力,分别强调重要通道和关键空间区域,再对原特征进行逐元素调制,以提升对加载点附近、高梯度应力区等机械敏感区域的表征能力。输出端加入自适应权重模块,先用卷积提取局部响应特征,再输出7个通道,分别对应三维位移、一个Von Mises应力和三维反作用力,并通过可学习的通道级缩放因子动态平衡不同机械场的量级。由于有限元数据是三维网格节点场,而网络采用二维卷积,作者将节点按空间坐标排序后展平为固定二维张量,并使用z-score标准化处理不同物理量。该表示便于使用标准卷积网络,但依赖固定节点数、固定节点顺序和一致网格拓扑。
实验与结果
实验在悬臂梁、人肝脏和人脾脏三个对象上进行,分别使用Neo-Hookean、三阶Mooney-Rivlin和二阶Ogden本构模型。所有数据由Abaqus有限元求解生成,训练集、验证集和测试集按8:1:1划分,网络使用Adam优化器训练1000轮。评价指标包括RMSE、相对误差REA、测试集平均误差ARMSE,以及基于样本比例的PREA曲线和95%-REA。总体结果显示,AWPAUNet可在三类对象上准确同步预测多机械场:悬臂梁、肝脏和脾脏的位移ARMSE分别约为1.12×10^-3 m、3.78×10^-4 m和3.26×10^-4 m;应力ARMSE分别约为0.607 Pa、37.1 Pa和1060 Pa;反作用力ARMSE分别约为1.26×10^-3 N、4.12×10^-4 N和5.82×10^-4 N。三类对象在位移、应力和反作用力上的95%-REA总体低于5%,说明绝大多数样本具有较低相对误差。可视化结果显示,预测形变与有限元结果高度重合,误差主要集中在加载区域及其邻域,符合高梯度机械响应最难预测的直觉。区域误差分析进一步表明,AWPAUNet相比UNet在加载区、边界区和剩余区域多数情况下都降低了ARMSE,尤其在脾脏反作用力和应力等任务中改善明显。
比较实验与消融研究
比较实验将AWPAUNet与扩展到多输出任务的U-Mesh、PhysGNN和GCN进行对比。结果表明,AWPAUNet在大多数ARMSE和95%-REA指标上优于这些方法,尤其明显优于PhysGNN和GCN;与U-Mesh相比,AWPAUNet在多数指标上也更稳健,只在少数绝对误差指标上略逊。消融实验以UNet为基线,比较加入自适应权重的AWUNet、加入并行注意力的PAUNet和完整AWPAUNet。结果显示,并行双注意力和自适应权重均能带来性能提升,二者结合通常获得最佳或接近最佳结果。统计检验方面,Friedman检验显示不同方法整体差异显著,Wilcoxon符号秩检验与Holm校正进一步表明AWPAUNet相对多数对比方法的提升具有统计显著性。作者还比较了并行注意力、通道后空间串行注意力、空间后通道串行注意力和CBAM,结果显示并行通道与空间注意力在悬臂梁位移、应力和反作用力预测中误差更低,支持其结构设计。自适应权重分析显示,训练后位移通道缩放因子降低,而应力和反作用力缩放因子升高,说明该模块确实学习到不同机械场之间的相对量级差异。
布局依赖性分析
由于AWPAUNet将三维网格节点按坐标排序后展平为二维张量,作者专门分析了节点布局变化对模型的影响。实验在肝脏测试集上使用相同训练好的模型,仅改变推理时的节点到二维张量位置映射,包括原始排序、随机排序、x-z-y排序和z-x-y排序。结果显示,随机排序和z-x-y排序会显著增加误差,位移、应力和反作用力的ARMSE均明显恶化;x-z-y排序的误差增加相对较小,但仍劣于原始布局。这说明AWPAUNet学习到的是固定布局下的节点场映射,并不具备天然的拓扑不变性或跨网格泛化能力。该模型适用于固定网格拓扑、固定节点数量和一致节点对应关系的场景,若要迁移到不同患者、不同网格或不同节点顺序,需要模板配准、插值到共同布局、微调重训,或引入图网络、神经算子等拓扑感知表示。
计算效率
计算效率实验在Intel Core i5-10400F和NVIDIA GeForce GTX 1660 SUPER平台上进行。有限元求解悬臂梁、肝脏和脾脏样本分别需要约11.66秒、34.95秒和42.08秒,而AWPAUNet三者推理时间均约0.006秒,对应加速倍率约1942倍、5824倍和7012倍。虽然AWPAUNet由于加入注意力和自适应权重,比UNet、U-Mesh等部分轻量基线稍慢,但仍远快于30 Hz实时仿真门槛,达到约166 Hz。训练时间较长,分别约为111.67小时、74.35小时和94.10小时,但推理显存占用不足1 GB,说明部署阶段硬件要求相对较低,具备在轻量计算平台上应用的潜力。
Discussion讨论
05
讨论部分强调AWPAUNet的主要价值在于面向更接近手术交互的位移驱动设置,实现多机械场同步预测,并在保持毫秒级响应的同时获得接近有限元的结果。并行注意力帮助模型关注加载点和高梯度区域,自适应权重缓解了不同物理量量级差异导致的训练偏置,因此对多场联合学习尤其有用。不过作者也明确承认若干局限。第一,模型完全依赖仿真数据训练,尚未在真实临床数据或真实组织实验中验证。第二,真实软组织多机械场数据难以获取,限制了泛化能力评估。第三,当前损失函数可能没有充分强调稀疏非零反作用力节点上的方向误差,未来需要稀疏感知和方向感知损失。第四,模型尚未处理接触、碰撞、切割、撕裂等不连续或不可逆变形。第五,坐标排序展平策略对节点布局强依赖,难以直接适配不同拓扑网格。未来方向包括结合患者CT和术中测量数据、引入仿真到真实的域适应、使用物理信息正则化或PINNs约束内部应力估计,并探索DeepONet、Fourier Neural Operator、图神经算子等更具网格泛化能力的替代模型。
Conclusion结论
06
结论指出,AWPAUNet是一个针对软组织多机械场实时同步预测的UNet扩展模型,核心贡献是将位移场、Von Mises应力场和反作用力场统一到同一替代模型中,并以位移激励作为输入,更贴近手术工具与组织的位移控制交互。通过并行双注意力模块和自适应权重模块,模型能更好地提取机械敏感区域特征,并稳定处理多物理量之间的尺度差异。实验表明,AWPAUNet在悬臂梁、肝脏和脾脏数据上能以0.006秒级推理时间近似有限元解,速度提升数千倍,并在多数指标上优于比较模型。作者认为该方法有望推动虚拟手术、触觉反馈和计算机辅助医疗技术发展,但仍需真实数据验证、患者特异性配准和复杂交互场景扩展。
Figure图
07

图1.
该图展示了论文训练数据的来源:从连续软组织区域和边界条件出发,进行有限元离散,在固定边界和位移加载条件下求解多机械场。它说明AWPAUNet并非直接从真实临床测量学习,而是以FEM计算得到的位移、应力和反作用力作为监督标签。该流程奠定了模型的物理一致性基础,也解释了后续数据受固定网格和固定节点布局限制的原因。

图2.
该图是全文最核心的方法图,展示了AWPAUNet在UNet编码器解码器框架上的两项关键改造:跳跃连接中的并行双注意力模块,以及输出端的自适应权重模块。并行双注意力同时从通道和空间两个维度突出机械敏感特征,自适应权重对7个输出通道进行可学习缩放,以平衡位移、Von Mises应力和反作用力之间的数值尺度差异。该图直接对应本文的主要技术贡献。

图3.
该图比较了悬臂梁、肝脏和脾脏位移预测的相对误差分布。虚线标出95%样本覆盖的REA阈值,悬臂梁约为1.20%,肝脏约为4.15%左右,脾脏约为3.82%。结果说明AWPAUNet对规则几何体的位移预测最准确,对复杂器官形状也能将绝大多数样本的相对误差控制在较低水平。

图4.
该图展示三类对象应力场预测的相对误差分布。悬臂梁95%-REA约为1.21%,肝脏约为2.47%,脾脏约为2.82%,说明模型能够同步预测比位移更具局部高梯度特征的应力场,并保持较低误差。应力预测是本文区别于仅做形变估计工作的关键结果之一。

图5:
该图展示反作用力预测的相对误差分布,三类对象的95%-REA均很低,悬臂梁约为0.09%,肝脏约为0.43%,脾脏约为0.21%。由于反作用力对手术仿真中的触觉反馈非常重要,该图说明AWPAUNet不仅能做视觉形变渲染,也具备支持力反馈估计的潜力。

图6:
该图以悬臂梁、肝脏和脾脏的典型测试样本可视化展示模型预测。预测变形网格与FEM结果几乎重合,位移、应力和反作用力误差主要集中在加载点及其周围区域,符合软组织受局部位移激励时高梯度响应更难预测的特点。该图直观证明了AWPAUNet在多机械场同步建模中的精度,也揭示了误差的空间集中性。

图7.
该图比较CBAM、通道到空间串行注意力、空间到通道串行注意力以及本文并行注意力在位移预测上的RMSE分布。并行通道与空间注意力的误差整体更低,支持作者将两类注意力并行而非串行组合的设计选择。

图8.
该图展示不同注意力结构在Von Mises应力预测上的误差分布。结果表明本文的并行注意力相比CBAM和串行注意力具有更低或更稳定的应力预测误差,说明其对高梯度局部机械特征的捕捉更适合多机械场回归任务。

图9.
该图比较不同注意力机制在反作用力预测上的RMSE。并行注意力结构在误差中位数和分布稳定性上表现更优,进一步证明该结构不仅改善位移和应力,也有助于预测空间稀疏且对触觉反馈关键的反作用力。