2026.11.13
本研究基于50个放射组学数据集量化表明,全局SMOTE过采样泄漏使AUC虚高0.09并使罗生门集扩大4倍,且79%的集扩张由最优性能上限虚高所因果中介。
Title题目
01
抬高放射组学性能天花板:预处理泄漏如何放大模型多重性
Lifting the radiomics performance ceiling: how preprocessing leakage amplifies model multiplicity
文献速递介绍
02
放射组学临床预测模型在诊断和预后领域发展迅速,但大量审计显示绝大多数模型未能通过外部验证,陷入了严重的机器学习可重复性危机。既往研究虽然分别讨论过预处理数据泄漏、分析灵活性(分叉路径花园)以及罗生门效应(不同模型性能相近但预测机理迥异),但从未在放射组学领域将这三者联合量化并建立因果关联。本研究旨在通过多重宇宙规范曲线分析,探究预处理数据泄漏的程度与诱因、放射组学在分析灵活性和罗生门效应上的表现指纹,以及数据泄漏是否通过虚假抬高最优AUC上限而在因果上放大了模型多重性。
Aastract摘要
03
本研究针对放射组学临床预测模型的可重复性危机,系统量化了特征预处理数据泄漏、分析多重路径与罗生门效应之间的因果联系。作者基于radMLBench的50个二分类公开数据集(涵盖13个解剖部位与CT、MRI、PET/CT多模态,总计9750例患者),构建了包含456种分析流程规范的多重宇宙分析体系。结果表明,跨折全局SMOTE过采样导致AUC汇总虚高0.09,在64%的数据集中膨胀超过0.05;近优模型在20%至30%的患者分类上存在分歧,且关键特征重叠率不足30%。因果中介分析证实,预处理数据泄漏使罗生门集规模扩张了4倍,其中79%的扩张由最优AUC上限的虚假抬升所中介。研究表明,放射组学模型展现出宽振荡与窄峰值的独特指纹,发表研究前必须进行针对数据泄漏与模型多重性的三层审计。
Method方法
04
研究纳入了来自radMLBench的全部50个二分类放射组学数据集,涵盖13个解剖部位和CT、MRI、PET/CT多模态影像,总样本量为9750例患者。研究构建了一个全因子交叉的分析多重宇宙,涵盖3种标度化工具、2种相关性过滤器、19种特征选择方法以及4种分类器,共456种模型规范,并均通过分层5折交叉验证(重复10次)进行评价。在层级一中,评估了SMOTE、分位数归一化、相关性过滤和PCA在全局泄漏与严格嵌套条件下的ΔAUC差异。在层级二中,评估了效应振荡(VoE)、挑拣偏倚以及方差分解。在层级三中,界定了不同容差下的罗生门集,并计算了个体预测一致性与特征重叠度。最后在43个数据集上实施了全宇宙放大实验,通过因果中介分析检验虚高最优AUC对罗生门集扩张的解释度。
Discussion讨论
05
研究首次在放射组学领域建立并验证了预处理泄漏与模型多重性之间的因果链条:全局数据泄漏并没有增加流程间的离散振荡,而是通过人为抬高了最佳可达性能上限,从而将大量原本次优的流程机械性地纳入了近优罗生门集。这表明论文发表中看似高且稳定的性能往往是数据泄漏导致的数学压缩假象。由于即使排除泄漏,放射组学模型固有的预测分歧与生物标志物选择不稳定性依然显著,研究强烈呼吁在放射组学研究中推行包含泄漏检测、多分支效应振荡评估和罗生门集表征的三层审计流程,并在临床转化前严格执行分析预注册。
局限性
本研究的局限性包括:数据集均源自radMLBench且使用预提取特征,无法对图像层面的插值重采样、离散化和深度特征进行扰动审计;全部任务限定为二分类预测,尚未扩展到多分类、分期或时间相关生存结局;超参数采用默认设置,因而效应振荡指标属于变异下限;放大实验因计算开销剔除了7个极大数据集,且极小样本集上的振荡受抽样方差影响明显;泄漏测试主要依赖单一探测分类器,探针类型可能引入细微幅值差异。
Results结果
07
在预处理泄漏层级,全局SMOTE过采样导致的AUC汇总虚高达0.09,在64%的数据集中超过预设的0.05偏倚阈值,且在不平衡数据集上泄漏效应更为严重;归一化和相关过滤影响微弱,而PCA泄漏略有降低性能。在多重宇宙层级,456种流程规范产生的AUC极差(VoE)平均达到0.30,方差分解表明分类器选择主导了性能变异(解释方差比达0.21)。在罗生门层级,在5%的最优性能容差下,近优模型在20%至30%的患者预测上出现冲突,且模型间共有关键特征不足30%。因果中介分析证明,全局SMOTE泄漏将罗生门集规模翻了四倍,且其中79%的扩张是由最优AUC天花板的虚构抬升所直接中介的。对比常规表格基准,放射组学表现出更宽的性能振荡范围与更加陡峭的极值峰。
Figure图
08

图1.
该图展示了研究所采用的整体分析路线流程,包含从radMLBench挑选50个二分类数据集,构建包含456种流程规范的多重宇宙,系统执行数据泄漏量化、分析多重宇宙分解、罗生门效应评估三大层级审计,并通过桥接分析和43个数据集的因果放大实验探究层级间的交互作用。

图2.
展示了四个特征级预处理操作(归一化、相关性过滤、主成分分析PCA、SMOTE过采样)及联合操作在全局泄漏与嵌套规范下的AUC差异热图与森林图。结果显示SMOTE过采样是导致性能虚高的主要推手,汇总ΔAUC达到+0.091,并在不平衡数据集中泄漏效应尤为严重。

图3.
通过四因素方差分析分解了分析多重宇宙中不同流程分支对预测性能方差的解释度。分类器选择占据主导地位(汇总解释方差比例达0.21,在46%的数据集中为最大变异源),其次为特征选择(0.12)、标准化方法(0.09)和相关性过滤(0.02)。

图4.
刻画了在ε为1%、2%和5%容差下的罗生门集特征。在5%容差下近优模型平均占总流程的6.4%,预测一致性仅为中等程度(Fleiss卡伯值为0.58),模型间对患者分类存在20%至30%的分歧,且前10个重要特征的Jaccard相似度不足0.30。

图5:
对比了无SMOTE、嵌套正确SMOTE与全局泄漏SMOTE三种实验条件。全局泄漏不仅使最优AUC中位数从0.76剧增至0.90,还将罗生门集规模扩大了近4倍,而效应振荡幅度未明显展宽。右侧面板显示放射组学相较于普通表格数据具有显著更宽的效应振荡和更小的罗生门集比例。

图6:
展示了数据集特征、三大层级以及因果中介关系的完整结构方程图。全局SMOTE泄漏使最优AUC显著提升(均值增加+0.10),并进而促成罗生门集的膨胀(路径b系数1.21),因果中介分析证实79%的罗生门集扩张由最优AUC上限的虚高所介导。