Title
题目
Multi-center brain age prediction via dual-modality fusion convolutionalnetwork
通过双模态融合卷积网络进行多中心脑年龄预测
01
文献速递介绍
随着年龄的增长，以及在阿尔茨海默病、轻度认知障碍和精神分裂症等病症中，大脑的结构和功能会发生显著变化（科尔和弗兰克，2017）。使用神经影像方法预测脑年龄因其在预测大脑发育、衰老以及诊断疾病方面的准确性而受到关注（阿尔马尼奥乌斯等人，2021；程等人，2021；哈杰克等人，2019）。预测年龄与实际年龄之间的差异可以作为正常大脑发育偏差的关键指标（贝克尔等人，2021）。一个显著的差异，即所谓的预测脑年龄差异（PAD），可能暗示着加速衰老或发育迟缓。了解哪些脑区对年龄预测贡献最大有助于识别生物标志物，从而有助于理解大脑发育。 随着深度学习技术的发展，越来越多的脑年龄预测模型被开发出来（贝克尔等人，2021；彭等人，2021；李等人，2022）。然而，目前大多数模型都是基于单中心数据集构建的。对于多中心数据集，传统做法是将所有数据集合并，然后再划分为训练集和测试集（卡尔克等人，2024；科尔等人，2018）。但是，这些模型很难扩展到新的数据集，并且可能会引入数据泄露问题（罗森布拉特等人，2024）。周等人（2018）的研究进一步证明，将单中心模型直接应用于多中心数据集的效果不佳。因此，对多中心数据集进行校正以减轻扫描仪偏差至关重要。最近，福廷等人（2017，2018）引入了一种校正多中心数据集中磁共振成像（MRI）指标的方法，该方法依赖于数据的均值和方差。通常情况下，在大样本数据集中，均值和方差比在小样本数据集中更稳定。因此，虽然这种校正方法能有效地解决大样本数据集之间的异质性问题，但在参与者数量有限的中心里，其适用性就不那么明显了，而这种情况在大多数研究中很常见。所以，我们提出了一种针对小样本数据集的多中心校正方法，该方法采用基于最优传输的瓦瑟斯坦距离和最大均值差异的域自适应校正策略。 大多数多中心脑年龄预测研究都集中在结构磁共振成像（sMRI）上，因为结构磁共振成像受扫描参数的影响较小，因此，许多研究人员更倾向于直接融合多中心的结构磁共振成像数据集（贝克尔等人，2021；彭等人，2021）。在功能性脑年龄预测领域，尽管研究相对较少，但也取得了显著进展。大多数研究都集中在单中心数据集的分析框架上（利姆等人，2017；川原等人，2017）。这主要是因为功能磁共振成像（fMRI）信号对扫描参数的细微变化高度敏感，这大大增加了直接整合多中心数据集的挑战和复杂性（巴克斯顿，2013）。例如，用于脑网络的卷积神经网络（BrainCNN）通过使用功能磁共振成像（fMRI）的功能连接（FC）信息来进行脑年龄预测（川原等人，2017），但它忽略了功能连接的对称性，导致行和列的权重不一致。结合挤压激励网络的脑连接图卷积（BrainSE）通过考虑功能连接的对称性解决了这个问题，但却忽略了列拓扑结构，从而导致信息丢失（李等人，2022）。最近，多模态研究发现，结构磁共振成像（sMRI）和功能磁共振成像（fMRI）所捕获的与年龄相关的信息是互补的（科尔，2020），并且这些模态的融合已显示出提高脑年龄预测准确性的潜力（米勒等人，2023；埃瓦尼等人，2018）。有鉴于此，在基于多中心功能磁共振成像的脑年龄预测研究中，迫切需要有效的多中心校正策略，这对于确保研究结果的广泛适用性和可靠性至关重要。 尽管先前的研究已经对基于多模态融合特征的脑年龄预测进行了一些初步探索（牛，2020；米勒等人，2023），但其中大多数研究要么将脑年龄预测单独视为回归任务（利姆等人，2017；彭等人，2021），要么视为分类任务（利维和哈斯纳，2015）。在分类任务中，主要优先考虑的是最大化类别之间的差异，而忽略了衰老过程本身的连续性。相比之下，回归任务假设不同年龄组的衰老模式是一致的，这与衰老过程中固有的个体差异相矛盾；然而，脑年龄预测既是一个回归任务，也是一个分类任务。因此，简单地将其归为某一类任务可能会降低预测的准确性。在这项工作中，我们提出了一种脑双模态卷积神经网络，该网络将脑年龄预测同时视为回归和分类任务，利用结构磁共振成像（sMRI）和功能磁共振成像（fMRI）的信息来预测脑年龄。 先前的多模态研究采用了诸如来自预定义脑区图谱的全连接功能连接（FC）（米勒等人，2023；牛，2020）和体积测量值（朱等人，2023）等特征来进行脑年龄预测。然而，这些方法可能无法最优地捕捉与年龄相关的功能连接和体积信息，还可能会引入无关特征。为了解决这一局限性，我们的研究提出了一种加权方法。这种方法采用基于相似度的技术，利用训练数据集中特征与其年龄之间的相关性来生成加权矩阵和加权向量。然后，我们将多中心的功能连接或体积数据与加权矩阵或向量相结合，从而得到它们各自的加权数据。此外，我们还实施了稀疏正则化技术，以提高多中心功能连接的稀疏性。 综上所述，目前多中心脑年龄预测存在以下局限性：（1）受试者数量较少，不足以通过均值和标准差直接进行数据校正；（2）将多中心数据集直接纳入模型可能会导致数据泄露；（3）仅将脑年龄预测视为单独的回归或分类任务可能会降低预测准确性；（4）在脑年龄预测模型中使用全连接的功能连接矩阵或所有脑区的脑体积，很难突出与年龄相关的特征信息。为了解决上述问题，我们针对脑年龄预测任务提出了一种多中心数据校正方法，以及一个基于优化相关特征的回归分类模型，称为BrainDCN。这项工作的主要贡献包括： 1. 具备自适应多中心校正能力：提出了一种基于最优传输理论的域自适应校正方法（菲加利，2009），以消除采集设备的影响，同时又不影响中心内部的数据关系。与现有的多中心校正方法相比，我们提出的域自适应校正方法实现了更低的平均绝对误差，证实了其在小样本数据集多中心校正方面的优越性。 2. 可优化的双模态融合模型：引入的脑年龄预测模型融合了功能磁共振成像（fMRI）和结构磁共振成像（sMRI）。这种融合不仅提高了预测性能，而且由于潜在的组织特异性或模式特异性脑衰老，在估计一个人的脑年龄差距方面提供了更精细的粒度。相应地，分别提出了关于特征提取和损失函数的新的可优化策略，包括： a) 增强的加权框架：所提出的基于年龄约束的稀疏加权策略利用数据的内在相似性，以及与年龄高度相关的连接信息作为构建功能网络的惩罚项。 b) 优化的损失函数：我们将年龄估计问题视为回归 - 分类组合模型，并进一步将损失函数设计为分类概率乘以相应的标签，从而得到比单独的回归或分类模型更准确的回归结果。 3. 实现卓越的年龄预测性能：在单中心的CamCAN数据集上进行的严格实验表明，与现有方法相比，该模型具有优越的性能，实现了最低平均绝对误差5.47岁。此外，该模型在多中心精神分裂症研究中的应用表明，与健康对照组相比，精神分裂症患者表现出加速衰老的现象，证明了其在疾病评估方面的潜力。 本文的结构如下：第2节解释了数据集和数据预处理。第3节介绍了各种方法，包括加权稀疏脑网络和加权体积的构建、基于双模态数据的脑年龄预测以及多中心数据校正。第4节展示了实验结果。第5节进行了讨论。最后，第6节总结了整体方法。
Abatract
摘要
Accurate prediction of brain age is crucial for identifying deviations between typical individual brain development trajectories and neuropsychiatric disease progression. Although current research has made progress,the effective application of brain age prediction models to multi-center datasets, particularly those with smallsample sizes, remains a significant challenge that is yet to be addressed. To this end, we propose a multi-centerdata correction method, which employs a domain adaptation correction strategy with Wasserstein distanceof optimal transport, along with maximum mean discrepancy to improve the generalizability of brain-ageprediction models on small-sample datasets. Additionally, most of the existing brain age models based onneuroimage identify the task of predicting brain age as a regression or classification problem, which may affectthe accuracy of the prediction. Therefore, we propose a brain dual-modality fused convolutional neural networkmodel (BrainDCN) for brain age prediction, and optimize this model by introducing a joint loss function ofmean absolute error and cross-entropy, which identifies the prediction of brain age as both a regression andclassification task. Furthermore, to highlight age-related features, we construct weighting matrices and vectorsfrom a single-center training set and apply them to multi-center datasets to weight important features. Wevalidate the BrainDCN model on the CamCAN dataset and achieve the lowest average absolute error comparedto state-of-the-art models, demonstrating its superiority. Notably, the joint loss function and weighted featurescan further improve the prediction accuracy. More importantly, our proposed multi-center correction methodis tested on four neuroimaging datasets and achieves the lowest average absolute error compared to widelyused correction methods, highlighting the superior performance of the method in cross-center data integrationand analysis. Furthermore, the application to multi-center schizophrenia data shows a mean acceleratedaging compared to normal controls. Thus, this research establishes a pivotal methodological foundation formulti-center brain age prediction studies, exhibiting considerable applicability in clinical contexts, which arepredominantly characterized by small-sample datasets.
准确预测脑年龄对于识别个体典型脑发育轨迹与神经精神疾病进展之间的偏差至关重要。尽管当前的研究已取得了一定进展，但将脑年龄预测模型有效地应用于多中心数据集，尤其是那些小样本规模的数据集，仍然是一个尚未解决的重大挑战。 为此，我们提出了一种多中心数据校正方法。该方法采用基于最优传输的瓦瑟斯坦距离（Wasserstein distance）的域自适应校正策略，结合最大均值差异（maximum mean discrepancy），以提高脑年龄预测模型在小样本数据集上的泛化能力。此外，现有的大多数基于神经影像的脑年龄模型都将脑年龄预测任务视为回归或分类问题，这可能会影响预测的准确性。 因此，我们提出了一种用于脑年龄预测的脑双模态融合卷积神经网络模型（BrainDCN），并通过引入平均绝对误差和交叉熵的联合损失函数来优化该模型，该函数将脑年龄预测既视为回归任务又视为分类任务。此外，为了突出与年龄相关的特征，我们从单中心训练集构建加权矩阵和向量，并将其应用于多中心数据集，以便对重要特征进行加权。 我们在CamCAN数据集上对BrainDCN模型进行了验证，与最先进的模型相比，该模型实现了最低的平均绝对误差，证明了其优越性。值得注意的是，联合损失函数和加权特征可以进一步提高预测的准确性。 更重要的是，我们提出的多中心校正方法在四个神经影像数据集上进行了测试，与广泛使用的校正方法相比，实现了最低的平均绝对误差，突显了该方法在跨中心数据集成和分析方面的优越性能。此外，将其应用于多中心精神分裂症数据表明，与正常对照组相比，存在平均加速衰老的情况。 因此，这项研究为多中心脑年龄预测研究奠定了关键的方法学基础，在以小样本数据集为主要特征的临床环境中展现出了相当大的适用性。
Method
方法
The workflow of brain age prediction based on dual-modality datafrom multi-center datasets is shown in Fig. 1. The brain age predictionprocess entails the following steps: a weighted matrix is initially computed for fMRI data in the training set, employing a specific weightingtechnique, which is subsequently applied to both training and testingsets. To enhance sparsity, sparse regularization is applied to all subjects’functional connectivity matrices. Similarly, a weighted vector is derivedfrom the T1 brain volume data of training set, which is then elementwise multiplied with the original volume vectors for both training andtesting sets, resulting in a weighted volume for each subject. Thesematrices and vectors are fed into our proposed model to generatethe predicted brain age. It is crucial to align the sparse functionalconnectivities and weighted volumes from multi-center datasets withthe CamCAN dataset using a domain adaptation method to ensuredistribution consistency prior to multi-center datasets brain age prediction. It is worth noting that in order to prevent the potential bias ofdata leakage, all multi-center datasets except CamCAN are purposelyavoided in the model training phase of this study.
基于多中心数据集双模态数据的脑年龄预测工作流程如图1所示。脑年龄预测过程包含以下步骤：首先，针对训练集中的功能磁共振成像（fMRI）数据，运用特定的加权技术计算出一个加权矩阵，随后将该加权矩阵应用于训练集和测试集。为提高稀疏性，对所有受试者的功能连接矩阵应用稀疏正则化处理。同样地，从训练集的T1脑体积数据中推导出一个加权向量，然后将其与训练集和测试集的原始体积向量进行元素级相乘，从而得到每个受试者的加权体积。将这些矩阵和向量输入到我们提出的模型中，以生成预测的脑年龄。 在对多中心数据集进行脑年龄预测之前，至关重要的是要使用域自适应方法，将来自多中心数据集的稀疏功能连接和加权体积与CamCAN数据集进行对齐，以确保分布的一致性。值得注意的是，为了避免数据泄露可能带来的偏差，在本研究的模型训练阶段，特意避开了除CamCAN数据集之外的所有多中心数据集。
Conclusion
结论
This study introduces an optimal transport-based domain adaptation correction method, which demonstrates superior performancein mitigating center effects compared to existing methods. It effectively overcomes the limitations of traditional approaches in the domain correction of multi-center datasets with small sample sizes. Interms of brain age prediction model, this study proposes a novelBrain Dual-modality fusion Convolutional Network (BrainDCN). Themodel employs a hybrid regression-classification strategy, addressingthe inherent limitations of single-task methods. To further refine feature weighting, we incorporates a weighted sparse strategy, leadingto the development of the BrainDCNw model. This effectively reducesthe impact of confounding factors and achieves a mean absolute error of 5.47 years in brain age prediction. Finally, the applicationof BrainDCNw to schizophrenia patients reveals an accelerated agingof 5.93 years relative to healthy controls, highlighting its potentialfor investigating disease-related aging processes. In conclusion, thisresearch significantly advances the field by introducing an innovative domain adaptation correction method that excels in reducingbiases across diverse datasets, particularly in small samples. The development of the BrainDCNw model, which synergies dual-modalityimaging with a hybrid regression-classification approach, not onlyrefines brain age prediction but also reveals its efficacy in discerning accelerated aging in schizophrenia, highlighting its broader implicationsfor neurodegenerative disease studies.
In light of the fact that the data types shared across differentcenters only include T1-weighted MRI and rs-fMRI, this study focusessolely on the fusion of these two modalities. However, diffusion tensorimaging (DTI) data offers insights into white matter integrity andconnectivity, which are vital for understanding brain structure andfunction. We would further incorporate DTI data to assess their impacton prediction accuracy in our future multimodal brain age predictionstudies. Additionally, future research should integrate longitudinal datato track individual brain age trajectories, offering deeper insights intoaging dynamics and distinguishing between normal and pathologicalaging. Besides, applying the model across diverse populations will assess its generalizability and adaptability. Furthermore, exploring neuralplasticity’s impact on brain age predictions will reveal the potentialof interventions like cognitive training and lifestyle modifications toinfluence brain aging. A priority will be validating the model’s utilityin clinical settings for early detection, prognosis, and monitoring ofneurodegenerative disorders, bridging the research-practice gap.
本研究引入了一种基于最优传输的域自适应校正方法，与现有方法相比，该方法在减轻中心效应方面表现出卓越的性能。它有效地克服了传统方法在小样本规模的多中心数据集的域校正中的局限性。 在脑年龄预测模型方面，本研究提出了一种新颖的脑双模态融合卷积网络（BrainDCN）。该模型采用了回归 - 分类混合策略，解决了单任务方法的固有局限性。为了进一步优化特征加权，我们纳入了一种加权稀疏策略，从而开发出了BrainDCNw模型。这有效地减少了混杂因素的影响，并且在脑年龄预测中实现了5.47岁的平均绝对误差。 最后，将BrainDCNw模型应用于精神分裂症患者，结果显示与健康对照组相比，患者存在5.93岁的加速衰老现象，这突显了该模型在研究与疾病相关的衰老过程方面的潜力。 总之，本研究通过引入一种创新的域自适应校正方法，在减少不同数据集（尤其是小样本数据集）之间的偏差方面取得了显著进展。BrainDCNw模型的开发，将双模态成像与回归 - 分类混合方法相结合，不仅优化了脑年龄预测，还揭示了其在识别精神分裂症患者加速衰老方面的有效性，突显了其对神经退行性疾病研究的更广泛意义。 鉴于不同中心共享的数据类型仅包括T1加权磁共振成像（MRI）和静息态功能磁共振成像（rs-fMRI），本研究仅专注于这两种模态的融合。然而，弥散张量成像（DTI）数据能够提供有关白质完整性和连接性的信息，这对于理解大脑结构和功能至关重要。在未来的多模态脑年龄预测研究中，我们将进一步纳入弥散张量成像（DTI）数据，以评估其对预测准确性的影响。 此外，未来的研究应该整合纵向数据，以追踪个体的脑年龄轨迹，从而更深入地了解衰老动态，并区分正常衰老和病理性衰老。此外，将该模型应用于不同的人群，将评估其泛化能力和适应性。 再者，探索神经可塑性对脑年龄预测的影响，将揭示诸如认知训练和生活方式改变等干预措施影响大脑衰老的潜力。首要任务将是在临床环境中验证该模型在神经退行性疾病的早期检测、预后和监测方面的实用性，从而弥合研究与实践之间的差距。
Figure
图
Fig. 1. Flowchart of brain age prediction and correction in multi-center datasets. (A) Flowchart of brain age prediction in CamCAN dataset. Weighted sparse functional connectivitymatrices and weighted volumes are constructed based on fMRI signals and brain volumes, respectively, using a weighted method combined with sparse regularization (SR). Thederived features from these functional connectivity matrices and weighted volume are fed into a deep neural network to predict brain age. (B) Flowchart of brain age prediction inmulti-center datasets. Weighted matrix and weighted vector from (A) are combined to form the weighted sparse functional connectivity matrices and weighted volumes for othercentral datasets. Using the CamCAN dataset’s weighted sparse functional connectivity matrices and weighted volumes as the target domain, the corresponding weighted sparsefunctional connectivity matrices and weighted volume from other datasets are corrected via the data correction method. Finally, brain age prediction is performed
图1：多中心数据集中脑年龄预测与校正的流程图。（A）CamCAN数据集的脑年龄预测流程图。利用结合了稀疏正则化（SR）的加权方法，分别基于功能磁共振成像（fMRI）信号和脑体积构建加权稀疏功能连接矩阵和加权体积。从这些功能连接矩阵和加权体积中提取的特征被输入到深度神经网络中以预测脑年龄。（B）多中心数据集的脑年龄预测流程图。将（A）中的加权矩阵和加权向量组合起来，形成其他中心数据集的加权稀疏功能连接矩阵和加权体积。以CamCAN数据集的加权稀疏功能连接矩阵和加权体积作为目标域，通过数据校正方法对其他数据集相应的加权稀疏功能连接矩阵和加权体积进行校正。最后，进行脑年龄预测。
Fig. 2. Weighted sparse functional connectivity construction framework
图2：加权稀疏功能连接构建框架
Fig. 3. Weighted volume construction framework.
图3：加权体积构建框架。
Fig. 4. The proposed BrainDCN models and loss function method. (A) The convolution of functional connectivity and brain volume using E2N filter and Conv filter, respectively,produces 𝑁1 and 𝑁2 features, which are subsequently fused to obtain 𝑁. The 𝑁1 , 𝑁2 , and 𝑁 are followed by operations involving N2P filters and the output layer, resulting inthe acquisition of two outputs. (B) The Predicted Scores1 and Predicted Scores2 are respectively utilized to compute the cross-entropy with the actual age. Subsequently, PredictedScores1 and Predicted Scores2 are merged and multiplied by the age range to derive the brain age prediction values. Finally, the mean absolute error (MAE) between the brainage prediction values and the actual age is calculated.
图4：所提出的BrainDCN模型及损失函数方法。（A）分别使用E2N滤波器和卷积（Conv）滤波器对功能连接和脑体积进行卷积运算，生成$N_1$和$N_2$个特征，随后将这些特征融合得到$N$个特征。$N_1$、$N_2$和$N$这些特征之后会经过N2P滤波器和输出层的运算操作，从而得到两个输出结果。（B）预测分数1（Predicted Scores1）和预测分数2（Predicted Scores2）分别用于计算与实际年龄的交叉熵。随后，将预测分数1和预测分数2合并，并乘以年龄范围，从而得出脑年龄预测值。最后，计算脑年龄预测值与实际年龄之间的平均绝对误差（MAE）。
Fig. 5. Overview of single-modality brain age prediction models based on functional connectivity and volume. A: BrainFCN; B: BrainVCN
图5：基于功能连接和脑体积的单模态脑年龄预测模型概述。A：脑功能连接网络模型（BrainFCN）；B：脑体积卷积网络模型（BrainVCN）
Fig. 6. The discriminative regions selected by the proposed BrainDCNw method on the brain age prediction
图6：所提出的BrainDCNw方法在脑年龄预测中所选取的具有判别性的脑区
Fig. 7. Comparison of the similarity of mean FC and mean volume under different multi-center correction methods
图7：不同多中心校正方法下平均功能连接（mean FC）和平均体积（mean volume）的相似性比较
Fig. 8. Predicted age differences in COBRE, KTT, KUT and ALL combined data. nsrepresents no significance; ∗ represents p < 0.05; ∗∗ represents p < 0.001
图8：在COBRE、KTT、KUT以及所有数据合并后的预测年龄差异。“ns”表示无显著性；“∗”表示p值小于0.05；“∗∗”表示p值小于0.001 。
Fig. 9. Statistical prediction accuracy based on the networks estimated by our proposedmethod with different values of regularization parameters. For clear visualization, when𝜆𝑓 = 2 −5 , the result is better
图9：基于我们所提出的方法估计的网络，在不同正则化参数值下的统计预测准确性。为了更清晰地展示，当(\lambda_f = 2^{-5})时，结果更佳。
Table
表
Table 1Demographic information of subjects.
表1受试者的人口统计学信息。
Table 2Comparison of single-modality and dual-modality performance.
表2 单模态与双模态性能的比较。
Table 3Comparison among BrainDCNw using different loss function
表3 使用不同损失函数的BrainDCNw模型之间的比较
Table 4Top 10 contributing regions in brain age prediction.
表4 脑年龄预测中贡献最大的前10个脑区。
Table 5Similarity comparison with ablation experiment based on ICBM dataset(Values represent the similarity of feature distribution with CamCAN).MMD:maximum mean discrepancy; DA:domain adaptation (MMD andWasserstein distance)
表5 基于ICBM数据集的消融实验的相似性比较（数值表示特征分布与CamCAN数据集的相似性）。MMD：最大均值差异；DA：域自适应（结合最大均值差异和瓦瑟斯坦距离）
Table 6Similarity comparison with uncorrected and Combat correction method (Values represent the similarity offeature distribution with CamCAN). DA:domain adaptation
表6：与未校正方法和Combat校正方法的相似性比较（数值表示与CamCAN数据集的特征分布相似性）。DA：域自适应
Table 7Comparison with uncorrected and Combat multi-center correction method
表7：与未校正方法以及Combat多中心校正方法的比较
Table 8Model’s prediction according to multi-centers HC and SZ (test set only)
表8 模型根据多中心健康对照组（HC）和精神分裂症患者组（SZ）数据（仅测试集）所做的预测