Title题目
01
Dynamical multi-order responses and global semantic-infused adversariallearning: A robust airway segmentation method
动态多阶响应和全局语义注入对抗学习：一种鲁棒的气道分割方法
文献速递介绍
02
肺纤维化是肺组织瘢痕化和损伤导致的疾病，症状包括呼吸困难，是英国1%死亡率的原因。该病管理面临的挑战在于缺乏可靠工具来预测疾病进展。早期发现进展性纤维化肺病至关重要，能及时启动治疗。胸部高分辨率CT（HRCT）是诊断纤维化肺病的重要手段，牵拉性支气管扩张严重程度已成为预测预后的生物标志物。然而，视觉评估存在观察者间变异性大、重现性差的问题，突显了开发客观计算机方法的必要性。气道分割是其中关键应用，但由于气道结构复杂、边界不一致，特别是对纤维化或COVID-19患者，其精确分割仍具挑战。专家标注耗时且主观，导致缺乏大规模3D气道分割数据集。现有最先进方法高度依赖全监督学习，进一步加剧了标注数据稀缺问题。针对这些问题，无监督学习逐渐受到关注，包括生成式和判别式方法。最近的进展还引入了如Masked Image Modeling (MIM) 等新颖的代理任务。然而，现有MIM方法常采用串行范式，预训练和微调步骤效率低下，且固定掩码比率与人类学习过程不符。此外，细支气管的无约束强度和严重样本不平衡限制了MIM的有效性，容易导致不连续性、假阴性等问题。本文提出的DMGSA方法整合了无监督和监督学习，采用动态掩码比率、多阶归一化响应目标和对抗学习来解决上述问题，并引入广义平均池化全局语义注入模块以增强鲁棒性。本文的贡献包括开发动态掩码比率策略、提出广义平均池化全局语义注入模块、引入掩码多阶归一化响应目标以及应用对抗学习。
Aastract摘要
02
计算机断层扫描（CT）图像中的气道自动分割对于肺部疾病的准确诊断至关重要。然而，手动标注的稀缺性阻碍了监督学习的效率，而无约束的强度和样本不平衡则导致了不连续性和假阴性问题。为解决这些挑战，本文提出了一种名为动态多阶响应和全局语义注入对抗网络（DMGSA）的新型气道分割模型，该模型并行集成了无监督学习和监督学习，以缓解气道标签稀缺问题。在无监督分支中，模型通过动态掩码比率（DMR）策略感知不同大小的上下文信息，模仿人类学习规律；通过多阶归一化响应（MONR）目标，利用原始图像和定向梯度的不同阶指数运算增强细支气管的纹理表示；并在MONR模块之上引入对抗学习（AL）以识别真实和虚假图像之间的细微差别，重点捕获末端细支气管的纹理特征。在监督分支中，提出了一种创新的基于广义平均池化的全局语义注入（GMGS）模块，以进一步提高鲁棒性。该方法在正常肺病数据集上训练，并在肺癌、COVID-19和肺纤维化数据集上进行测试，所有实验结果均证明其显著优于现有最先进的方法。
Method方法
03
DMGSA方法包含五个核心模块：动态掩码比率输入模块、3D U型编解码器骨干网络、包含GMGS模块的监督气道分割分支、预测MONR图的无监督分支，以及用于对抗学习的两个轻量级判别器。训练时，首先对输入的3D原始体数据X应用动态掩码比率γ生成立方体掩码输入Xm。Xm随后由3D U型编解码器处理以提取多尺度分层特征Fj。这些特征并行输入到监督和无监督分支。无监督分支结构简化，包含3D卷积、实例归一化（IN）、leaky-ReLU和上采样操作，旨在预测多阶归一化方向梯度图（MONG）Ph和多阶归一化图像（MONI）Pm。预测的MONR图和真实MONR图随后送入判别器进行对抗学习。测试阶段，仅保留监督分支进行气道分割，无需微调。与传统MAE的“预训练-丢弃-微调”范式不同，本文方法直接使用立方体掩码输入和原始编解码器预测最终分割结果，无需预训练和微调步骤，提高了效率并降低了过拟合风险。该方法适应训练与测试域差异的假设是：3D医学图像在深度维度上具有大量相似冗余切片，以及不同扫描间解剖结构的一致性。为了模拟人类学习过程，逐步扩大感知能力，DMGSA引入了多种动态掩码比率策略，如阶梯形、由易到难和由易到难再到易的掩码比率，其中“由易到难再到易”策略在实验中表现最佳。广义平均池化全局语义注入（GMGS）模块旨在解决细支气管强度不均、前景背景样本严重不平衡和梯度侵蚀问题。它通过可训练的广义平均池化（GeM）操作，将气道前景和背景的全局语义注入到细支气管的局部特征中，显著提升分割性能，并引入中间监督分类和粗略分割损失。多阶归一化响应（MONR）目标作为无监督学习分支的目标，通过对原始图像和定向梯度进行多阶指数运算和归一化，增强细支气管的对比度和纹理特征，尤其适用于复杂且具挑战性的小尺寸细支气管。无监督分支并行学习MONR目标，并通过局部重建损失防止过拟合。对抗学习模块则利用GAN的强大能力，通过两个轻量级判别器识别真实和虚假MONR补丁的细微差别，进一步优化模型对末端细支气管纹理特征的关注。最终总损失是监督损失、无监督损失和对抗损失的结合，通过最小-
Discussion讨论
04
本研究提出的DMGSA模型在气道分割任务中取得了显著进展，尤其是在处理细支气管的不连续性、假阴性和泄漏问题上表现突出。模型将无监督学习与监督学习并行结合，有效缓解了医学图像标注数据稀缺的挑战。动态掩码比率（DMR）模块模仿人类学习过程，从小掩码比率逐步增加到大掩码比率，使得模型能够逐渐扩大感受野并捕获气道长距离拓扑信息，这一设计在定性和定量分析中都得到了验证，显示出对假阴性的有效抑制，并显著提升了CCFs指标。广义平均池化全局语义注入（GMGS）模块通过将气道全局语义融入局部特征，增强了模型对主气管和细支气管的区分能力，特别是在解决细支气管的严重不连续性和假阴性问题上表现优异。多阶归一化响应（MONR）模块利用原始图像和定向梯度的多阶指数运算，丰富了细支气管的纹理特征，对于解决其不连续性、假阴性和样本不平衡问题至关重要，消融实验显示其显著提高了DLR和DBR指标。此外，对抗学习模块进一步帮助模型辨别真实与伪造MONR补丁之间的细微差别，促使模型更有效地关注末端细支气管的纹理特征。尽管DMGSA在定性和定量结果上都达到了最优，但在末端细支气管处仍可能引入少量假阳性。作者认为这主要来源于少量不完美的末端细支气管手动标注。这一发现提示未来研究可能需要更高质量的标注数据，或者开发更鲁棒的方法来处理标注噪声。与其他最先进方法的比较显示，DMGSA在多个关键指标上均表现出卓越性能，特别是在处理具有复杂结构和精细纹理特征的区域。例如，针对nnUNet在DLR和DBR上的不足，以及FANN在肺纤维化数据中面临的泄漏问题，DMGSA都提供了更优的解决方案。模型设计上的创新，如直接从立方体掩码输入预测最终分割图，避免了传统MAE的“预训练-丢弃-微调”低效范式，提高了训练效率并降低了小数据集上的过拟合风险。这对于医学图像分析这类数据有限的领域具有重要意义。总的来说，DMGSA模型在解决气道分割的复杂挑战方面展现了强大的潜力和实用价值，为临床诊断和预后提供了更精确的工具，但未来的工作仍需关注如何进一步提高标注质量或增强模型对标注噪声的鲁棒性。
Conclusion结论
05
气道自动分割在肺部疾病诊断和预后中扮演着关键角色。然而，现有方法在处理复杂气管和支气管时常遭遇不连续性、假阴性和泄漏等问题。为应对这些挑战，本文提出了DMGSA模型，该模型包含四个创新模块：动态掩码比率（DMR）模块，模仿人类学习过程以逐步适应难度，显著提高性能；广义平均池化全局语义注入（GMGS）模块，将气道拓扑信息的全局语义有效注入局部特征，进一步改善性能；多阶归一化响应（MONR）模块，专注于纹理丰富的细支气管特征提取，以解决不连续性、假阴性和样本不平衡问题；以及集成在MONR模块之上的对抗学习模块，引导模型集中于末端细支气管的纹理特征。通过广泛的定性、定量和消融研究实验，DMGSA方法在包含肺癌、COVID-19和纤维化等三种具有挑战性的CT扫描数据集上展示了卓越的性能。
Results结果
04
本研究在公开的BAS数据集、自有的COVID-19数据集和肺纤维化数据集上进行了实验。评估指标包括交并比（IoU）、精确度（Precision）、检测到的分支比率（DBR）、检测到的长度比率（DLR）、气道缺失比率（AMR）以及连续性和完整性F-score（CCFs）。实验设置中，BAS数据集的训练卷被裁剪为小尺寸扫描，批处理大小为4，采用AdamW优化器和余弦调度器训练120个epoch。两个轻量级判别器以不同的学习率训练。定性分析方面，DMGSA方法在所有三个挑战性数据集上均表现出强大的鲁棒性。与SFCN、WingNet和FANN等现有方法相比，DMGSA有效解决了假阴性、不连续性和气道泄漏等问题。例如，SFCN表现出明显的假阳性和假阴性，WingNet在主气管和末端细支气管上存在假阴性问题，FANN在末端细支气管存在不连续性/假阴性，并在肺纤维化数据中出现气道泄漏。DMGSA通过其创新的动态掩码比率、多阶归一化响应、全局语义注入模块和对抗学习，显著克服了这些挑战。定量分析方面，在BAS数据集上，DMGSA方法在CCFs（91.35%）、DLR（96.04%）和DBR（95.11%）方面取得最高分，优于所有现有方法。在COVID-19数据集上，DMGSA同样表现出色，CCFs达到95.13%，DLR达到97.49%，DBR达到97.01%，IoU达到93.31%，显著优于FANN等方法，并在CCFs的平均值和标准差上均有提升，表明其更高的鲁棒性。在最具挑战性的肺纤维化数据集上，DMGSA方法在CCFs（85.28%）、IoU（84.01%）、DLR（87.12%）和DBR（82.17%）等指标上均超越FANN，并具有最低的AMR（6.03%），证明其能有效捕获主气管和细致支气管，确保长度完整性和合理尺寸，并有效缓解假阴性问题。总的来说，DMGSA方法在所有三个数据集上均持续显著提升，尤其是在IoU、DLR和DBR等与气道细节和纹理特征相关的指标上。消融研究进一步证实了DMGSA中每个模块的有效性。例如，动态掩码比率模块显著提升了CCFs，模拟了人类由易到难的学习过程；GMGS模块通过注入全局语义信息，有效降低了AMR并解决了假阴性问题；MONR模块有效提取了细支气管的纹理特征，缓解了不连续性问题；对抗学习模块使模型更专注于末端细支气管的纹理特征。这些定性和定量消融研究一致证实了DMGSA中每个模块的有效性和合理性。
Figure图
05
图1. 当前的挑战、问题和我们的解决方案。我们的范式并行处理无监督和监督学习，包括 (a) 动态掩码比率 (DMR) 模块以模仿人类学习， (b) 基于广义平均池化的全局语义注入 (GMGS) 模块用于分割气道， © 无监督多阶归一化响应 (MONR) 和 (d) 对抗学习 (AL) 模块用于学习丰富的细支气管纹理，并行辅助监督分割分支。GT: 真实值。
图2. 我们的DMGSA方法概述，包括四个新颖模块：(a) DMR，(b) GMGS，© MONR，(d) AL。DMR模块逐步处理复杂度递增的任务，以扩大模型感受野，提供更具适应性和效率的学习框架。GMGS模块将从气道拓扑信息中提取的全局语义注入局部特征，以准确预测最终分割掩码。MONR在图6中详细介绍，AL模块有助于模型提取更好的细支气管纹理表示。GT: 真实值。
图3. 我们的方法与之前MAE类方法在具有相似和重复解剖结构的不同扫描上训练的差异。(a) 之前MAE方法及其对应物的“预训练-丢弃-微调”范式。(b) 我们的直接立方体掩码输入到气道完整分割图。© 具有相似肺气道解剖结构的不同扫描（红框内）。
图4. 具有通用设计的动态掩码比率策略。横轴表示训练的epoch数量。(a) 不同幂次 ρ (b) 最大掩码
图5. 我们GMGS模块的原理。由于余弦运算的性质，两个相似前景向量的点积远大于两个不相似前景和背景向量的点积。VA⋅VB = VA ⋅ VB ⋅ cosθ1, VA⋅VC = VA ⋅ VC ⋅ cosθ2。
图6. 生成多阶归一化响应（MONR）真实值的过程，包括MONG和MONI。MONG：多阶归一化方向梯度。MONI：多阶归一化图像。
图7. 在BAS、COVID-19和肺纤维化三个挑战性数据集上与现有最先进方法的定性比较。GT: 真实值。红色：真阳性。绿色：假阳性。蓝色：假阴性。大片绿色块表示严重的预测泄漏问题。
图8. 在不同掩码比率策略下，模型在图2中最后一个Sigmoid激活层φp̃j的特征响应图。第一行：固定静态掩码比率训练。第二行：使用所提出的DMR模块进行训练。
图9. GMGS模块的分析。第一行：带有或不带有GMGS模块的特征可视化，分别来自模型在没有DMR模块训练下，图2中Sigmoid激活层φp̃j和Psj的最后一层。第二行：CCFs指标对应的预测。
图10. 通过顺序累积每个模块得到的预测结果（红色：真阳性。绿色：假阳性。蓝色：假阴性。黄色：由图11中不完美的手动标注导致的假阳性。）。每个分割结果都通过综合指标CCFs进行评估。洋红色圆圈表示通过添加当前模块与之前子图相比的改进。
图11. 黄色箭头指示的少量不完美的末端细支气管手动标注缺失（红色区域代表气道真实掩码）。气道体素是黑色，被灰色气道壁或组织体素包围。
图12. MONR模块在肺纤维化数据集上不同阶数k的消融研究，标准差按0.12缩放以获得更好的视图。
图13. DMR模块在肺纤维化数据集上不同动态掩码比率策略（即图2(a)中的(1)阶梯形掩码比率策略；(2)由易到难掩码比率策略；(3)由易到难再到易掩码比率策略）的消融研究，标准差按0.12缩放以获得更好的视图。
图14. DMR模块在肺纤维化数据集上不同最大掩码比率r的消融研究。
图15. DMR模块在肺纤维化数据集上不同幂次ρ的消融研究。
