2026.3.20 本文提出TMUF方法，通过跨模态不确定性校准和可信度感知融合，动态评估模态可靠性并解决预测冲突，显著提升多模态超声在乳腺病变和肝癌诊断中的准确性和鲁棒性。 Title题目 01 Trustworthy Multi-Modal Ultrasound Fusion via Uncertainty Calibration and Conflict Resolution 通过不确定性校准和冲突解决实现可信多模态超声融合文献速递介绍 02 原发性肝癌，包括肝细胞癌（HCC）和肝内胆管癌（ICC），是全球第三大癌症相关死亡原因。这两种癌症需要不同的治疗策略，准确区分对治疗方案和预后至关重要。多模态超声，如B型超声（BUS）、对比增强超声（CEUS）和弹性超声（EUS），已成为疾病筛查和诊断的主要技术。然而，多模态超声在区分HCC和ICC方面仍面临挑战，尤其是在小病灶中，存在较高的误诊率和观察者间差异。现有方法常假设多模态输入具有稳定质量和语义对齐，这在真实临床环境中通常不成立，导致不确定或冲突的信息。本文提出TMUF方法，通过不确定性校准和冲突解决，动态整合多模态超声信息，以解决如何量化模态不确定性以及如何解决预测冲突两大核心问题，旨在实现更可靠的诊断决策。 Aastract摘要 02 多模态超声结合了来自多个成像视角的组织信息，可以实现更全面的病灶评估。然而，传统的多视图学习方法通常假设模态质量一致，忽略了成像噪声和患者特异性因素引起的可变性。为了解决这一问题，本文提出了TMUF（可信多模态超声融合）方法，通过不确定性校准和冲突解决动态整合来自不同模态的信息。具体来说，引入了跨模态不确定性校准正则化器，以估计基于证据的跨模态不确定性，并使其与预测的正确性对齐。此外，开发了一种可信度感知融合策略，通过评估跨模态一致性和不确定性来区分可信和不可信模态，并相应地分配融合权重。TMUF在乳腺病变和肝癌诊断的公共和私人数据集上进行了验证，分别达到了88.00%和92.08%的诊断准确率，优于现有先进基线。这些结果表明TMUF在提高多模态超声诊断准确性和鲁棒性方面的有效性。 Method方法 03 本文提出的TMUF（可信多模态超声融合）框架旨在动态整合多模态数据进行可靠的病灶分类，其核心挑战在于建模模态不确定性和解决跨模态冲突。该方法包括四个步骤：首先，对每个模态m估计不确定性um，并使其与分类误差d(pm,p*)成比例；其次，通过跨模态不确定性校准正则化器，将预测误差向量d与不确定性向量u对齐；再次，计算M×M维的差异矩阵S以量化模态间的语义对齐，并使用不确定性感知比例因子wmn进行重新校准；最后，采用可信度感知融合方案，利用奖惩机制计算自适应权重am，实现由不确定性和模态间一致性引导的证据融合。TMUF是一个通用的多模态融合框架，采用模块化设计，能够处理不同类型和数量的模态，并在某些模态缺失时动态重新分配融合权重。 Discussion讨论 04 本节通过定性分析探讨了TMUF在处理冲突模态融合方面的能力。在乳腺癌和肝癌的成功案例中，TMUF能够识别并解决不同模态间高置信度但相互矛盾的预测，通过联合建模模态特异性不确定性和模态间不一致性，展现出对跨模态冲突的鲁棒性。然而，在一些失败案例中，当输入数据本身包含内在误导性或跨类别成像模式时，例如良性病变呈现恶性特征或ICC病变显示HCC样增强曲线时，TMUF仍面临挑战。这表明需要扩大数据集规模和多样性以捕捉罕见或模糊的特征组合。此外，对模态融合权重的定性分析显示，在不确定性校准后，诊断信息量更大的模态（如肝脏数据集中的TIC和乳腺数据集中的BUS）被赋予更高的权重，增强了融合的鲁棒性和可解释性。未来的工作将关注跨机构或跨设备的泛化能力，以及通过集成可解释AI（XAI）技术来提高模型透明度和临床信任。 Conclusion结论 05 本文提出了一种可信多模态超声融合（TMUF）框架，该框架通过可信度感知融合机制，校准模态级不确定性并解决预测冲突。通过将不确定性与预测正确性对齐，并自适应地加权可靠模态，TMUF提高了诊断的鲁棒性。在乳腺和肝脏对比增强超声数据集上的大量实验表明，TMUF在所有指标上均优于现有的融合方法。这些结果验证了结合不确定性校准和动态冲突解决对于实现可靠和可解释的多模态诊断的有效性。 Figure图 07 图1 肝癌诊断中多模态超声融合的示意图。在此示例中，B型超声（BUS）和对比增强超声（CEUS）模态均预测为肝细胞癌（HCC），尽管置信度不同。相反，参数超声视图给出了相互矛盾的肝内胆管癌（ICC）预测。这提出了一个基本问题：在临床决策中，哪种模态应该被认为是可信的？图2 所提出的可信多模态超声融合方法（TMUF）的框架。如图所示，TMUF首先通过跨模态不确定性校准机制，将预测正确性与基于证据的不确定性对齐，从而估计模态级预测置信度。在此基础上，采用可信度感知多模态融合模块评估每个模态的可靠性，从而在动态融合过程中奖励可信视图并惩罚冲突或不确定的视图。图3 两种数据集上不同不确定性估计方法的比较。图4 两种数据集上不同证据融合策略的比较。图5 通过ECE分数衡量的校准性能比较。较低的ECE值表示更好的校准。 (a) 乳腺病变分类。(b) 肝癌分类。图6 基于EDL的训练策略与标准softmax + 交叉熵（CE）的比较。(a) CE和EDL在每个模态和融合输出的ECE分数比较。较低的ECE值表示更好的校准。(b) 雷达图比较了不同模态和融合结果的AUC、ACC、SEN、SPE和F1分数。图7 冲突模态融合的定性分析。(a-b) 成功案例分析；(c-d) 失败案例分析。红色边框表示不正确的单模态预测，绿色边框表示正确的单模态预测，数值代表预测的不确定性分数。图8 肝脏和乳腺超声数据集在不确定性校准前后的模态融合权重。校准后，TIC（肝脏）和BUS（乳腺）等具有诊断信息量的模态被赋予更高的权重，反映出可靠性估计的改进。

通过不确定性校准和冲突解决实现可信多模态超声融合/文献速递-多模态应用技术

Oldlee

2026.3.20

本文提出TMUF方法，通过跨模态不确定性校准和可信度感知融合，动态评估模态可靠性并解决预测冲突，显著提升多模态超声在乳腺病变和肝癌诊断中的准确性和鲁棒性。

Title题目

Trustworthy Multi-Modal Ultrasound Fusion via Uncertainty Calibration and Conflict Resolution

通过不确定性校准和冲突解决实现可信多模态超声融合

文献速递介绍

原发性肝癌，包括肝细胞癌（HCC）和肝内胆管癌（ICC），是全球第三大癌症相关死亡原因。这两种癌症需要不同的治疗策略，准确区分对治疗方案和预后至关重要。多模态超声，如B型超声（BUS）、对比增强超声（CEUS）和弹性超声（EUS），已成为疾病筛查和诊断的主要技术。然而，多模态超声在区分HCC和ICC方面仍面临挑战，尤其是在小病灶中，存在较高的误诊率和观察者间差异。现有方法常假设多模态输入具有稳定质量和语义对齐，这在真实临床环境中通常不成立，导致不确定或冲突的信息。本文提出TMUF方法，通过不确定性校准和冲突解决，动态整合多模态超声信息，以解决如何量化模态不确定性以及如何解决预测冲突两大核心问题，旨在实现更可靠的诊断决策。

Aastract摘要

多模态超声结合了来自多个成像视角的组织信息，可以实现更全面的病灶评估。然而，传统的多视图学习方法通常假设模态质量一致，忽略了成像噪声和患者特异性因素引起的可变性。为了解决这一问题，本文提出了TMUF（可信多模态超声融合）方法，通过不确定性校准和冲突解决动态整合来自不同模态的信息。具体来说，引入了跨模态不确定性校准正则化器，以估计基于证据的跨模态不确定性，并使其与预测的正确性对齐。此外，开发了一种可信度感知融合策略，通过评估跨模态一致性和不确定性来区分可信和不可信模态，并相应地分配融合权重。TMUF在乳腺病变和肝癌诊断的公共和私人数据集上进行了验证，分别达到了88.00%和92.08%的诊断准确率，优于现有先进基线。这些结果表明TMUF在提高多模态超声诊断准确性和鲁棒性方面的有效性。

Method方法

本文提出的TMUF（可信多模态超声融合）框架旨在动态整合多模态数据进行可靠的病灶分类，其核心挑战在于建模模态不确定性和解决跨模态冲突。该方法包括四个步骤：首先，对每个模态m估计不确定性um，并使其与分类误差d(pm,p*)成比例；其次，通过跨模态不确定性校准正则化器，将预测误差向量d与不确定性向量u对齐；再次，计算M×M维的差异矩阵S以量化模态间的语义对齐，并使用不确定性感知比例因子wmn进行重新校准；最后，采用可信度感知融合方案，利用奖惩机制计算自适应权重am，实现由不确定性和模态间一致性引导的证据融合。TMUF是一个通用的多模态融合框架，采用模块化设计，能够处理不同类型和数量的模态，并在某些模态缺失时动态重新分配融合权重。

Discussion讨论

本节通过定性分析探讨了TMUF在处理冲突模态融合方面的能力。在乳腺癌和肝癌的成功案例中，TMUF能够识别并解决不同模态间高置信度但相互矛盾的预测，通过联合建模模态特异性不确定性和模态间不一致性，展现出对跨模态冲突的鲁棒性。然而，在一些失败案例中，当输入数据本身包含内在误导性或跨类别成像模式时，例如良性病变呈现恶性特征或ICC病变显示HCC样增强曲线时，TMUF仍面临挑战。这表明需要扩大数据集规模和多样性以捕捉罕见或模糊的特征组合。此外，对模态融合权重的定性分析显示，在不确定性校准后，诊断信息量更大的模态（如肝脏数据集中的TIC和乳腺数据集中的BUS）被赋予更高的权重，增强了融合的鲁棒性和可解释性。未来的工作将关注跨机构或跨设备的泛化能力，以及通过集成可解释AI（XAI）技术来提高模型透明度和临床信任。

Conclusion结论

本文提出了一种可信多模态超声融合（TMUF）框架，该框架通过可信度感知融合机制，校准模态级不确定性并解决预测冲突。通过将不确定性与预测正确性对齐，并自适应地加权可靠模态，TMUF提高了诊断的鲁棒性。在乳腺和肝脏对比增强超声数据集上的大量实验表明，TMUF在所有指标上均优于现有的融合方法。这些结果验证了结合不确定性校准和动态冲突解决对于实现可靠和可解释的多模态诊断的有效性。

Figure图

图1 肝癌诊断中多模态超声融合的示意图。在此示例中，B型超声（BUS）和对比增强超声（CEUS）模态均预测为肝细胞癌（HCC），尽管置信度不同。相反，参数超声视图给出了相互矛盾的肝内胆管癌（ICC）预测。这提出了一个基本问题：在临床决策中，哪种模态应该被认为是可信的？

图2 所提出的可信多模态超声融合方法（TMUF）的框架。如图所示，TMUF首先通过跨模态不确定性校准机制，将预测正确性与基于证据的不确定性对齐，从而估计模态级预测置信度。在此基础上，采用可信度感知多模态融合模块评估每个模态的可靠性，从而在动态融合过程中奖励可信视图并惩罚冲突或不确定的视图。

图3 两种数据集上不同不确定性估计方法的比较。

图4 两种数据集上不同证据融合策略的比较。

图5 通过ECE分数衡量的校准性能比较。较低的ECE值表示更好的校准。 (a) 乳腺病变分类。(b) 肝癌分类。

图6 基于EDL的训练策略与标准softmax + 交叉熵（CE）的比较。(a) CE和EDL在每个模态和融合输出的ECE分数比较。较低的ECE值表示更好的校准。(b) 雷达图比较了不同模态和融合结果的AUC、ACC、SEN、SPE和F1分数。

图7 冲突模态融合的定性分析。(a-b) 成功案例分析；(c-d) 失败案例分析。红色边框表示不正确的单模态预测，绿色边框表示正确的单模态预测，数值代表预测的不确定性分数。

图8 肝脏和乳腺超声数据集在不确定性校准前后的模态融合权重。校准后，TIC（肝脏）和BUS（乳腺）等具有诊断信息量的模态被赋予更高的权重，反映出可靠性估计的改进。