2026.2.6
本研究提出UM-Net，通过引入颜色迁移操作解决结肠镜图像中息肉颜色分布不一致问题，并结合不确定性建模和方差校正，为息肉分割提供更可靠、高精度的结果，有效提升了模型在学习能力和泛化能力上的表现。
Title题目
01
UM-Net: Rethinking ICGNet for polyp segmentation with uncertainty modeling
UM-Net：重新思考用于息肉分割的ICGNet与不确定性建模
文献速递介绍
02
结直肠癌（CRC）是全球第三大常见恶性肿瘤，85%的结直肠癌由息肉发展而来。结肠镜检查是筛查和切除结直肠息肉的金标准，但受限于医生主观性和息肉变异性，漏诊率高达21.4%。因此，迫切需要一种自动可靠的息肉分割方法辅助诊断。息肉具有大小、形状、颜色和外观的多样性，加上图像伪影（如水流、肠内容物、模糊、气泡和亮度变化），使得分析极具挑战。尽管深度学习方法在息肉分割上取得成功，但仍受限于息肉类内不一致性、低对比度及颜色不一致等问题。先前的ICGNet虽然致力于解决低对比度和类内不一致性，但忽略了息肉颜色不一致（导致颜色过拟合）和缺乏分割结果可靠性（医生难以判断信任度）这两个固有局限。本研究旨在突破ICGNet的瓶颈，提出UM-Net网络，通过颜色迁移策略处理不一致的息肉颜色，并对分割掩膜的不确定性进行建模以表示可靠性，从而提升性能。具体贡献包括：提出颜色迁移操作，使模型更关注息肉形状和结构；利用一致性建模不确定性，并利用差异性精细化分割结果和校正深度监督下的侧输出预测图的不确定性区域；在五个基准数据集上进行全面评估，证明了UM-Net的满意性能。本工作是ICGNet的扩展版本，增加了颜色迁移和不确定性建模，并进行了更全面的结果分析和局限性总结。
Aastract摘要
02
结肠镜图像中息肉的自动分割在结直肠癌的早期诊断和治疗中至关重要，但仍存在挑战。之前的ICGNet主要关注息肉的类内不一致性和低对比度问题，却忽略了不同设备、位置和息肉特性导致的颜色分布不一致，以及模型结果缺乏可靠性度量的问题。为解决这些瓶颈，本研究将ICGNet扩展为UM-Net，主要贡献包括：一是采用颜色迁移操作，弱化颜色与息肉的关联，使模型更关注息肉形状；二是引入不确定性来表示分割结果的可靠性，并通过方差对不确定性进行校正。UM-Net在五个息肉数据集上进行了评估，结果表明其在学习能力和泛化能力方面均优于其他先进方法，具有显著的实用价值。
Method方法
03
UM-Net网络的目的是在解决息肉颜色和不确定性问题的同时，训练一个高性能的分割网络。给定两张输入图像，通过颜色迁移操作将一张图像的颜色迁移到另一张上，生成新的输入图像。网络还会对预测结果的不确定性进行建模，并最小化预测偏差。改进的UM-Net架构如图所示，首先使用预训练的ResNet34作为编码器提取多级特征，并调整高层特征通道数。低层特征经过CBAM模块去除背景噪声后送入RCG模块，同时中高层特征送入RCG和ALGM模块。RCG模块关注目标边界和轮廓内未预测目标，ALGM模块自适应提取局部-全局上下文信息。RCG和ALGM生成的特征图与解码器特征图拼接以恢复分辨率。最后，来自最后三个解码器块的多级特征通过HPPF模块进行聚合，以精细化分割结果。网络输出分割掩膜及对应的不确定性图，并通过方差进行不确定性校正。颜色迁移操作旨在消除不同临床场景下息肉颜色分布不一致的干扰，通过将数据集中随机选取的图像的颜色迁移到当前输入图像，使模型更关注息肉的结构和形状，而不是颜色。此操作在训练时使用，测试时直接使用原始图像。不确定性建模通过平均所有解码器侧输出的预测掩膜来表示结果的可靠性，并使用预测结果与真实值之间的方差来校正不确定性，以提高分割精度并指导医生关注不确定区域。损失函数采用混合损失，包括Dice损失和二元交叉熵损失的分割损失Lseg，以及用于细化边界的Focal损失Lfocal，并结合了方差最小化项作为约束。
Discussion讨论
04
通过对比实验和消融研究，UM-Net在单帧和序列帧数据集上均实现了先进的性能，且模型尺寸较小。这主要得益于其轻量级且针对特定问题设计的模块。颜色迁移操作成功地解耦了息肉颜色与形状结构的关系，RCG模块有效解决了低对比度和漏诊问题，而ALGM模块则有助于识别不同尺度的息肉。因此，UM-Net被认为是一个在计算复杂度差异小、准确性更高的情况下，具有合理效率的最优模型。尽管UM-Net取得了先进的性能，但仍存在一些局限性。例如，当息肉具有多种类别且外观与周围组织相似时，或面临模糊边界和阴影区域时，目前的模型分割效果不理想。未来的研究方向包括：开发新算法解决结肠镜图像数据集中昏暗目标和明亮背景的挑战；验证本方法在非息肉或多目标数据集上的鲁棒性，以满足更多临床需求；考虑多任务学习，结合息肉分割和分类，以提高识别准确性，减少不必要的切除和不适当的治疗。
Conclusion结论
05
本文提出了一种新颖的自动分割框架UM-Net，旨在全面解决结肠镜图像中息肉分割的挑战性任务。UM-Net首先通过网络输入部分的颜色迁移操作处理不一致的息肉颜色。接着，在网络特征提取部分，RCG模块有效解决了低对比度和漏诊问题，ALGM模块则有助于识别不同尺度的息肉。最后，本方法为分割掩膜提供了不确定性，以表示结果的可靠性。在五个息肉分割数据集上进行的广泛实验表明，与现有先进方法相比，所提出的方法在学习能力和泛化能力上均表现出卓越性。此外，UM-Net是一种通用技术，可灵活扩展到其他存在模糊边界、多样尺度和不一致图像颜色等主要挑战的医学图像分割任务中。
Results结果
06
在学习能力方面，UM-Net在EndoScene数据集上的Dice和mIoU指标从ICGNet的87.93%、89.56%分别提升到89.26%、90.33%；在Kvasir-SEG数据集上，Dice和mIoU分别从92.35%、91.99%提升到93.04%、92.54%，均优于其他先进方法。UM-Net在计算复杂度方面具有合理效率，FLOPs和参数量与其他方法相当或更少，推理速度平均可达48 FPS，满足实时预测需求。在泛化能力方面，UM-Net在ColonDB、ETIS和CVC300数据集上，Dice和mIoU指标均取得最高值，展现出更好的泛化性能。这归因于ICGNet在处理模糊边界、可变大小和形状方面的基础，以及颜色迁移操作对颜色不一致数据集的适应性，和不确定性建模与方差校正。定性评估显示，UM-Net的分割结果更紧凑，与真实值重叠区域更大，边界更准确，显著优于UNet、UNet++、ResUNet以及PraNet、ACSNet、CCBANet、SANet等先进方法。消融研究证明，RCG、ALGM、HPPF、颜色迁移和不确定性建模（方差校正）等每个组件都对息肉分割性能有积极贡献，并且是轻量级的。RCG和ALGM模块能够有效捕捉缺失目标部分和边界细节。方差校正分析显示，它能使不确定性图更接近真实的近似不确定性。不确定性分析表明，UM-Net在提供高精度预测的同时，还能给出结果的可靠性评估，帮助医生减轻工作量。视频息肉分割实验在PolypGen和CVC-300-TV数据集上进行，UM-Net的Dice和mIoU指标均表现最佳，进一步验证了其在序列帧数据集上的有效性和优越性。
Figure图
07
图1. 我们框架通过结肠镜图像处理息肉分割的挑战和方法。从(a)到(b)，它们分别是初步工作ICGNet和改进方法UM-Net，以及我们任务的新挑战。
图2. 改进的UM-Net概述。它对息肉进行分割，由三个阶段组成。阶段1 输入：使用颜色迁移操作后的新息肉图像作为输入。阶段2 特征提取。阶段3 输出：输出分割掩膜以及相应的不确定性。具体而言，RCG、ALGM和HPPF模块参考ICGNet (Du et al., 2022)。
图3. 颜色迁移操作的一次迭代。
图4. Kvasir-SEG和EndoScene数据集上不同方法的定性结果。分割结果转换为轮廓显示在最后一列（红色为真实值，青色为PraNet，黄色为ACSNet，黑色为CCBANet，白色为SANet，蓝色为ICGNet，绿色为UM-Net）。此外，红色虚线框表示漏诊区域，红色箭头表示大于真实值的区域，白色虚线框显示ICGNet和UM-Net预测之间的差异。
图5. EndoScene测试集上消融研究的森林图。左侧列出了消融研究的子模块。右侧是子模块对应的Dice分数和95%置信区间，中间是它们的视觉结果，其中菱形代表每个子模块的Dice分数，连接菱形的水平线代表分数置信区间的上限和下限。
图6. UM-Net第二层特征可视化示例。从左到右依次是输入图像（绿色曲线代表真实值的轮廓）、E-Block 2特征、RCG模块特征和ALGM模块特征。在应用这两个模块后，网络很好地捕获了缺失的目标部分和边界附近的细节，实现了特征表示。
图7. 显示UM-Net建模不确定性随训练迭代次数增加而变化的情况。左侧从上到下依次是输入图像、真实值以及相应的不确定性。第(a)行表示未进行方差校正的不确定性输出。第(b)行表示方差校正后的不确定性结果。第©行表示预测掩膜与真实值之间计算出的方差。
图8. 评估测试集中两个案例结果的可靠性程度。对于每个案例，从左到右，第一列是输入图像及其对应的真实值。第二列显示ICGNet和UM-Net的预测。第三列显示两个模型预测相关联的不确定性图。最后一列显示方差。
图9. EndoScene (a, b) 和 Kvasir-SEG (c, d) 数据集中的失败案例。绿色和红色轮廓分别勾勒出我们预测的息肉边界和真实值。
