Title
题目
Semi-supervised Fetal Brain Parcellation via Hierarchical LearningFramework
基于分层学习框架的半监督胎儿脑分区
01
文献速递介绍
磁共振（MR）成像已成为评估胎儿脑发育与生长的重要工具，其提供的独特见解是产前超声无法企及的（Rutherford 等，2008）。基于磁共振图像的胎儿脑区分区技术，能够详细表征脑部解剖结构的变化，在研究胎儿脑发育规律及个体生长模式方面发挥着关键作用（Xu 等，2022）。此外，该技术还为监测和评估胎儿发育全过程中的脑结构提供了重要信息，助力神经发育障碍的早期检测与干预（Prayer，2005）。 传统胎儿脑区分区依赖人工标注，但这种方式不仅耗时费力，还严重依赖专家的专业经验，可能导致标注偏差。尤其是在处理大规模数据集时，人工标注的局限性更为突出——而大规模数据集对于全面的神经科学研究至关重要。因此，迫切需要一种稳健、准确的自动化方法，能够将胎儿脑磁共振图像分割为细粒度的解剖区域。然而，胎儿脑磁共振图像的自动分区面临诸多挑战：首先，与婴儿和成人图像相比，胎儿脑磁共振图像的组织对比度较低，增加了脑结构区分的难度；其次，妊娠期胎儿脑部形态会发生快速且显著的变化；再者，胎儿的不规则运动、低信噪比以及部分容积效应进一步降低了图像质量，从而限制了分割的准确性。 为应对这些挑战，研究人员已提出多种方法。传统的胎儿脑磁共振图像自动分区方法（Makropoulos 等，2014；Sm 等，2020；Machado-Rivas 等，2021；Vasung 等，2022）通常采用基于单图谱/多图谱配准的标签传播策略，分割精度不尽如人意，且分割后往往需要人工修正。为提高分割精度，深度学习技术已被应用于胎儿脑区分区任务。近期的创新包括：针对部分标注数据设计标签集损失函数（Fidon 等，2021a）、采用分布稳健优化提升模型泛化能力（Fidon 等，2021b）、开发条件图谱（Li 等，2022b；Pei 等，2021）。此外，胎儿组织标注（FeTA）挑战赛（Payette 等，2020、2022、2023、2024）也证明了深度学习方法在实现更准确、稳健的胎儿脑分割方面的巨大潜力。然而，现有方法均忽略了脑解剖结构在不同层级（即 8 个、36 个和 87 个感兴趣区域）的层级特征（见图 1）。这 87 个脑区是根据发育中人类连接组计划（dHCP）的模板定义的（Makropoulos 等，2018、2014）。这种层级特征对提高分割精度至关重要，原因在于：（1）直接将胎儿脑部分割为 87 个区域是一项极具挑战性的任务；（2）层级标签能够提供互补信息，可相互提升分割性能。此外，胎儿脑区分区还面临高质量真实分割标签稀缺、不同磁共振扫描仪及成像协议导致图像变异等问题。 为此，我们提出一种基于深度学习的新型模型——HPNet，用于胎儿脑区的分层分区。如图 1 所示，该模型构建了一种树状层级结构，实现从粗到细的多级别分割。这种分层设计明确编码了脑区之间从一般到具体的关系，使模型能够有效将全脑分割为 87 个细粒度脑区。具体而言，初始层级网络专注于分割 8 个粗粒度脑区；随后，第二层级网络对这 8 个脑区进行细化，分割为 36 个相对精细的脑区；最终，第三层级网络进一步细化至 87 个细粒度脑区。在此过程中，基础层级（即粗粒度）网络会将其特征传递给更高层级（即细粒度）网络。因此，涉及标签数量较少的粗粒度网络更易于训练，并能为细粒度网络提供有价值的辅助（Huang 等，2017）。此外，我们引入分层损失函数来建模层级间的关系，使细粒度分割任务能够借助粗粒度层级的引导，从而更高效地完成细粒度分割的训练。除分层结构外，模型还集成了基于分割标签的条件数据增强模块。该模块通过模拟组织外观和强度的变异，生成具有不同对比度、纹理和噪声水平的多样化训练图像。增强后的训练数据有效缓解了成像差异带来的挑战，使模型能够在多中心数据集上实现精准的胎儿脑分割。进一步地，我们将该数据增强模块融入半监督学习框架，以解决高质量标注数据稀缺的问题，并提升模型的泛化能力。大量实验表明，我们的模型不仅具有较强的泛化能力，还在胎儿脑磁共振图像分区任务中优于现有的最先进方法。 本研究在先前工作（Huang 等，2024）的基础上取得了以下关键进展：（1）优化了数据增强策略，生成了与真实数据分布一致的合成数据，并通过系统实验进行了验证；（2）拓展了实验内容，进行了全面的方法对比和深入的结果分析；（3）完善了理论框架，新增了相关工作、局限性及未来方向等章节；（4）明确表征了分层分割标签之间的关系；（5）强化了半监督学习的集成，并对方法进行了更清晰的阐释。与先前版本相比，这些改进提升了框架的方法论水平和实际应用价值。 本文的其余部分结构如下：第 2 节综述胎儿脑区分区及半监督分割方法的相关研究；第 3 节详细介绍所提分层学习框架及数据增强策略；第 4 节提供数据集、实现细节及实验结果；最后，第 5 节进行讨论。
Aastract
摘要
Automatic parcellation of fetal brain regions using magnetic resonance (MR) images has become a valuabletool for studying prenatal brain growth and development. However, manual segmentation on large-scalefetal brain images is challenging, leading to limited annotated data availability. Although previous workshave made progress, they are limited by not considering hierarchical nature and complementary informationbetween brain regions. To overcome this limitation, we introduce a novel method to hierarchically segmentthe fetal brain into 87 distinct regions. The method employs a three-level coarse-to-fine network with thecoarse level providing prior information to aid the fine level for fine segmentation. The first level predicts 8brain regions, the second level refines the first-level 8 brain regions into 36 regions, and the final level refinesfurther into 87 regions. This design hierarchically decomposes the fine difficult-to-achieve segmentation taskinto the coarse relatively-easy-to-achieve tasks by using guiding information from coarse level. Additionally,we introduce a data augmentation module to simulate variations in imaging conditions. To ensure robustsegmentation performance under diverse imaging conditions, the network is trained in a semi-supervisedmanner using simulated data combined with a small set of labeled real data. In this way, we address the issueof limited high-quality labeled data, and enhance the model’s robustness to MR scanner variability. Extensiveexperiments on 558 neonatal subjects from the dHCP dataset and 176 fetal brain MR images demonstrateexcellent segmentation performance of our method in terms of Dice score (91.42%), outperforming the secondbest nnUNet (88.77%)
利用磁共振（MR）图像实现胎儿脑区自动分区，已成为研究产前脑发育与生长的重要工具。然而，对大规模胎儿脑图像进行手动分割面临诸多挑战，导致标注数据可获得性有限。尽管现有研究已取得一定进展，但这些方法均未考虑脑区之间的层级结构特征及互补信息，存在明显局限性。为克服这一问题，我们提出一种新型分层分割方法，可将胎儿脑部分割为87个不同区域。该方法采用三级由粗到细的网络架构，通过粗层级提供先验信息，辅助细层级完成精细分割：第一级预测8个脑区，第二级将第一级的8个脑区细化为36个区域，最终级进一步细化至87个区域。这种设计通过利用粗层级的引导信息，将难以直接实现的精细分割任务，逐层分解为相对容易完成的粗分割任务。此外，我们引入数据增强模块以模拟成像条件的变异情况。为确保在不同成像条件下的稳健分割性能，网络采用半监督训练方式，结合模拟数据与少量带标注真实数据进行训练。通过这种方式，我们既解决了高质量标注数据稀缺的问题，又提升了模型对磁共振扫描仪变异的鲁棒性。在dHCP数据集的558名新生儿样本及176幅胎儿脑磁共振图像上开展的大量实验表明，该方法的分割性能优异，Dice系数达到91.42%，优于次优方法nnUNet（88.77%）。
Method
方法
This section presents the details of our proposed method. (1) Thehierarchical network, as discussed in Section 3.1, and (2) the hierarchical loss, explained in Section 3.2, are designed to capture complexrelationships between different levels of deep features and predictedsegmentation results. (3) We also introduce a data augmentation module to simulate variations in imaging conditions. Moreover, this moduleis integrated into a semi-supervised framework, detailed in Section 3.3,to mitigate the lack of high-quality labeled data and improve themodel’s generalizability.
本节详细介绍所提方法的具体细节：（1）3.1节所述的分层网络，以及（2）3.2节阐释的分层损失函数，均旨在捕捉不同层级深度特征与预测分割结果之间的复杂关系；（3）我们还引入了数据增强模块以模拟成像条件的变异情况，并且该模块已集成至3.3节详述的半监督框架中，从而缓解高质量标注数据稀缺的问题并提升模型的泛化能力。
Conclusion
结论
In this paper, we proposed HPNet, a novel hierarchical frameworkdesigned for precise parcellation of fetal brain MR images. Our proposed method features a tree-shaped hierarchical decoder and employsa hierarchical loss function, enabling effective multi-level brain regionsegmentation. Moreover, we have also provided a semi-supervisedsolution, called Semi-HPNet, to alleviate the shortage of high-qualitylabeled data and enhance the generalizability of our model. Throughextensive experimentation and evaluation from multiple perspectives,our approach has demonstrated outstanding performance in fetal brainMRI parcellation. The results consistently show that HPNet significantlyoutperforms state-of-the-art methods, excelling in both quantitativemetrics and qualitative evaluations. This confirms the robustness andversatility of our method in addressing the challenges posed by lowcontrast fetal MR imaging and the shortage of high-quality labeled data,establishing a new benchmark for fetal brain segmentation.
本文提出了一种新型分层框架HPNet，旨在实现胎儿脑磁共振图像的精准分区。该方法采用树形分层解码器，并引入分层损失函数，能够有效完成多级别脑区分割。此外，我们还提出了半监督解决方案Semi-HPNet，以缓解高质量标注数据稀缺的问题，提升模型的泛化能力。通过多视角的大量实验与评估，所提方法在胎儿脑磁共振图像分区任务中表现出优异性能。结果一致表明，HPNet显著优于现有最先进方法，在定量指标和定性评估中均表现突出。这证实了该方法在应对胎儿磁共振图像对比度低、高质量标注数据稀缺等挑战方面的稳健性和通用性，为胎儿脑分割任务建立了新的基准
Figure
图
Fig. 1. Hierarchical segmentation labels for the fetal brain at 23 and 38 gestational weeks (GWs). The sunburst chart on the right illustrates the structuredrelationships between the three-level segmentation labels
图1 妊娠23周和38周胎儿脑部的分层分割标签。右侧的旭日图展示了三级分割标签之间的结构化关系。
Fig. 2. Overview of HPNet. (1) The data augmentation module generates training images conditioned on segmentation labels, simulating variations in imagingconditions. (2) The hierarchical network encodes the input images and decodes them using a hierarchical strategy, generating multi-level segmentation outputs. (3)The hierarchical loss function utilizes the faster-converging coarse-level segmentation to guide the fine-level segmentation, helping the network capture complexrelationships between different levels of deep features and the segmentation outputs.
图2 HPNet框架概述。（1）数据增强模块以分割标签为条件生成训练图像，模拟成像条件的变异；（2）分层网络对输入图像进行编码，并通过分层策略解码，生成多级别分割输出；（3）分层损失函数利用收敛速度更快的粗粒度分割结果引导细粒度分割，助力网络捕捉不同层级深度特征与分割输出之间的复杂关系。
Fig. 3. Augmentation strategies (orange boxes) along with their associated probabilities (𝑝) and hyperparameters (white boxes) are presented from top to bottom,left to right. The inputs and outputs are highlighted in gray boxes. Here, μ and 𝜎 represent the mean and standard deviation, respectively. The other notationsfollow the definitions in Cardoso et al. (2022) and Avants et al. (2009)
图3 增强策略（橙色方框）及其相关概率（𝑝）和超参数（白色方框）按从上到下、从左到右的顺序呈现。输入和输出以灰色方框突出显示。其中，μ和𝜎分别表示均值和标准差，其他符号遵循Cardoso等人（2022）及Avants等人（2009）的定义。
Fig. 4. Overview of the proposed Semi-supervised HPNet framework
图4 所提半监督HPNet框架概述
Fig. 5. Illustration of the augmented data. (a) The first column shows the T1w and T2w MR images, along with the corresponding tissue segmentation map. (b)The second column illustrates the intensity distributions of the T1w and T2w MR images, including Gaussian fits for the cerebrospinal fluid (CSF), gray matter,and white matter. © The third column presents 100 synthetic T1w MR images, 100 synthetic T2w MR images, and 100 synthetic random images generated froma single subject, each featuring varying levels of noise, resolution, and contras
图5 增强数据示意图。(a) 第一列展示T1加权和T2加权磁共振图像，以及对应的组织分割图；(b) 第二列呈现T1加权和T2加权磁共振图像的强度分布，包括脑脊液（CSF）、灰质和白质的高斯拟合曲线；© 第三列展示基于单个样本生成的100幅合成T1加权磁共振图像、100幅合成T2加权磁共振图像及100幅合成随机图像，每幅图像均具有不同的噪声水平、分辨率和对比度。
Fig. 6. Qualitative results of different methods on subjects at 28 GWs, 34 GWs, and 38 GWs. The even rows display difference maps
图6 不同方法在妊娠28周、34周和38周样本上的定性结果。偶数行展示差异图。
Fig. 7. Qualitative results on abnormal cases from the FeTA 2021 challengedataset (Payette et al., 2023).
图7 FeTA 2021挑战赛数据集（Payette 等，2023）中异常病例的定性结果。
Fig. 8. Qualitative results. (1) First row: External testing results of Semi-HPNet, including tests on (a) axial-view T1-weighted MR images with in-plane spacingof 0.35× 0.35 mm2 ; (b) coronal-view; and © sagittal-view T1-weighted MR images with in-plane spacing of 0.35× 2.0 mm2 . (2) Second row: External testing resultson an ultrasound image with in-plane spacing of 0.6 × 0.6 mm2 .
图 8 定性结果。(1) 第一行：半监督 HPNet（Semi-HPNet）的外部测试结果，包括：(a) 面内分辨率为 0.35×0.35 mm² 的轴位 T1 加权磁共振图像；(b) 冠状位图像；© 面内分辨率为 0.35×2.0 mm² 的矢状位 T1 加权磁共振图像。(2) 第二行：面内分辨率为 0.6×0.6 mm² 的超声图像的外部测试结果。
Table
表
Table 1Quantitative comparison between HPNet and other methods on multi-site datasets, with the best results highlighted in bold. The yellow partindicates that the network cannot directly produce results at this level, but instead generates them by merging partial labels of higher-levelsegmentation outputs. Paired t-tests (last column) show that both HPNet and Semi-HPNet exhibit statistically significant improvements overthe comparison methods
表1 多中心数据集上HPNet与其他方法的定量对比，最优结果以粗体突出显示。黄色部分表示该网络无法直接生成该层级的结果，而是通过合并更高级别分割输出的部分标签得到。配对t检验（最后一列）表明，HPNet和半监督HPNet（Semi-HPNet）相较于对比方法均实现了具有统计学意义的性能提升。
Table 2Quantitative comparison between Draw-EM and the proposed Semi-HPNet on fetal brain segmentation. The evaluation was performedon 90 images reconstructed from 15 subjects (spanning 25–35 GWs) using six different super-resolution pipelines: Rousseau et al. (2006),Kuklisova-Murgasova et al. (2012), Ebner et al. (2020), Kainz et al. (2015), Xu et al. (2023) and Huang et al. (2023a). The 𝑝-value indicatesthe statistical significance (paired t-test) of the performance difference between Draw-EM and Semi-HPNet.
表2 Draw-EM方法与所提半监督HPNet（Semi-HPNet）在胎儿脑分割任务中的定量对比。评估基于15名受试者（妊娠25-35周）的90幅图像，这些图像通过6种不同的超分辨率处理流程重建得到，分别为Rousseau等人（2006）、Kuklisova-Murgasova等人（2012）、Ebner等人（2020）、Kainz等人（2015）、Xu等人（2023）及Huang等人（2023a）的方法。𝑝值表示Draw-EM与半监督HPNet（Semi-HPNet）之间性能差异的统计学显著性（配对t检验）。
Table 3Ablation study on the three key components: Hierarchical Loss (HL), Hierarchical Network (HN), and Semi-supervised learning (Semi).
表 3 针对三个关键组件的消融实验：分层损失函数（HL）、分层网络（HN）及半监督学习（Semi）。
Table 4Quantitative results of our model in brain parcellation across different hierarchical networks. Param. refers to the parameter size of each correspondingmodel.
表 4 不同分层网络下模型在脑区分区任务中的定量结果。“Param.” 代表对应模型的参数规模
