Title

题目

Learnable color space conversion and fusion for stain normalization in pathology image

用于病理图像中染色归一化的可学习色彩空间转换与融合

01

文献速递介绍

数字病理学自本世纪初兴起以来，在病理标本检查方面带来了根本性的变革。这种转变借助计算机辅助，使得在分类、分割和特征提取等定量病理任务中能够采用更为精确的方法，从而提高了诊断的准确性和效率（苏卡和韦尔普特，2014年）。通常，在显微镜下，苏木精和伊红（H&E）染色剂被用于组织识别。根据标准流程，标本经染色后，苏木精将细胞核染成蓝色，伊红将细胞质和细胞外基质染成粉红色，从而区分不同的组织成分，便于组织识别（菲舍尔，2008年）。尽管这种染色方式能清晰地呈现组织特征，但由此产生的图像的染色风格与自然图像明显不同。 这种差异凸显了数字病理学中的一个关键挑战：由于扫描仪、染色设备和操作流程的不同，染色风格的差异会显著影响图像分析的一致性（斯威德尔斯卡-查达伊等人，2020年；柯等人，2021年a）。尽管病理学家在诊断有颜色差异的肿瘤时很少遇到困难，但深度学习模型的可靠性和泛化能力可能会大幅降低（罗伊等人，2018年）。 染色归一化对于减少组织学分析中的变异性至关重要，它有助于实现更可靠的比较和诊断（米基耶利等人，2022年）。目前已经开发出了各种各样的染色归一化技术，从传统的颜色转换方法到先进的基于学习的方法都有（莱因哈德等人，2008年；马琴科等人，2009年；瓦哈达内等人，2016年）。尽管取得了这些进展，传统方法通常仍依赖于手动选择颜色模板，这需要大量的专业领域知识，并且容易出现性能波动，如图1所示。这种波动会影响归一化过程的可靠性，给实现组织学分析的一致性带来了挑战。数据驱动的深度学习技术的出现，凸显了手动选择模板的固有局限性，它通过端到端的学习能力提高了自动化程度和精度（柯等人，2023年a，2021年b）。然而，这些先进方法也存在自身的挑战，特别是计算量较大，处理时间长。这些缺点凸显了需要创新方法来弥合传统方法的效率与深度学习所提供的准确性和自动化之间的差距（沙班等人，2019年；柯等人，2021年b；丛等人，2022年；纳兹基等人，2023年）。 为了弥合这一差距，我们的研究提出了一种新颖的解决方案，通过可学习的色彩空间转换方法实现模板选择过程的自动化，重新审视传统的染色归一化方法。它利用深度学习在特征提取方面的优势，同时遵循传统颜色归一化的原则。旨在提供一种经济高效、协同且可靠的染色归一化方法。我们的贡献总结如下： - 我们提出了一种多色彩空间可学习染色归一化层，即𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚，它由一个单一的色彩空间转换层和一个自注意力色彩空间层组成。创新之处在于，这个可插入的可学习层与结构无关，适用于任何主流网络，可用于任何下游任务，如分类和分割。这种设计允许根据主观经验自动获得最佳颜色模板，消除了对人工调整的依赖。 - 我们引入了自注意力机制，以优化从多个色彩空间归一化的组织学图像的融合。它有选择地结合了不同色彩空间的属性，这些属性单独来看都表现出优越的性能，从而增强了模型更精确和高效地解读组织学图像的能力。 - 我们提出了一种随机N块采样策略，从源图像集中生成目标模板。在公开的分类数据集和内部的细胞核分割数据集上的经典病理图像分析任务中，以及在各种器官、病理模式和组织类型中，都证明了该模板的无关特性。 - 端到端的方式有效地节省了中间归一化结果的计算和存储量，显著提高了推理速度。与传统方法不同，传统方法通常会产生中间结果，在进行诊断分析之前需要额外处理，而我们的方法直接将归一化与推理诊断网络相连，大大提高了速度和数据效率。 与传统的归一化方法相比，我们提出的方法不需要耗费人力来选择合适的模板。与基于学习的方法进一步比较时，它速度更快，并且避免了形态学上的图像失真。据我们所知，总体而言，我们首次尝试建立了一个自适应参数选择模型，实现了病理图像染色归一化中的自动色彩空间转换。我们以可学习的方式权衡了减少不必要变异和提高自动化程度的优势，从而在实际临床环境中提供了更实用的应用。

Aastract

摘要

Variations in hue and contrast are common in H&E-stained pathology images due to differences in slide preparation across various institutions. Such stain variations, while not affecting pathologists much in diagnosing the biopsy, pose significant challenges for computer-assisted diagnostic systems, leading to potential underdiagnosis or misdiagnosis, especially when stain differentiation introduces substantial heterogeneity across datasets from different sources. Traditional stain normalization methods, aimed at mitigating these issues, often require labor-intensive selection of appropriate templates, limiting their practicality and automation. Innovatively, we propose a Learnable Stain Normalization layer, integrable component for pathology image analysis. It minimizes the need for manual template selection by autonomously learning the optimal stain characteristics. Moreover, the learned optimal stain template provides the interpretability to enhance the understanding of the normalization process. Additionally, we demonstrate that fusing pathology images normalized in multiple color spaces can improve performance. Therefore, we extend 𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚 with a novel self-attention mechanism to facilitate the fusion of features across different i.e. 𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚, designed as an easily

attributes and color spaces. Experimentally, conventional ones and GANs on two classification datasets and three nuclei segmentation datasets by an average increase of 4.78% in accuracy, 3.53% in Dice coefficient, and 6.59% in IoU. Additionally, by enabling an end-to-end training and inference process, normalization and analysis, resulting in more efficient use of hardware resources and significantly faster inference time,

由于不同机构在载玻片制备方面存在差异，在苏木精-伊红（H&E）染色的病理图像中，色调和对比度的变化很常见。这种染色差异虽然对病理学家诊断活检样本的影响不大，但给计算机辅助诊断系统带来了重大挑战，可能导致潜在的漏诊或误诊，尤其是当染色差异在来自不同来源的数据集之间造成显著的异质性时。 传统的染色归一化方法旨在缓解这些问题，但往往需要耗费大量人力来选择合适的模板，这限制了它们的实用性和自动化程度。我们创新性地提出了一种可学习染色归一化层，这是一种可集成到病理图像分析中的组件。它通过自主学习最佳的染色特征，最大限度地减少了对人工选择模板的需求。此外，学习得到的最佳染色模板具有可解释性，有助于更好地理解归一化过程。 我们还证明了，融合在多个色彩空间中归一化的病理图像可以提高性能。因此，我们在𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚的基础上扩展了一种新颖的自注意力机制，以促进不同属性和色彩空间之间的特征融合。也就是说，𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚被设计成一种易于使用的组件。 在实验中，与传统方法和生成对抗网络（GANs）相比，在两个分类数据集和三个细胞核分割数据集上，我们的方法使准确率平均提高了4.78%，迪赛系数平均提高了3.53%，交·并比（IoU）平均提高了6.59%。此外，通过实现端到端的训练和推理过程，我们将归一化和分析相结合，从而更有效地利用了硬件资源，并且显著加快了推理速度。

Method

方法

3.1. Problem formulation and method overview

We propose an end-to-end learnable stain normalization layer to address the experience-dependent and dataset-dependent template selection issues. The LStainNorm serves as the first layer in our architectureprior to the downstream diagnostic networks, where its trained learnable parameters enhance the diagnostic performance and automationdegree. Notably, the model exclusively utilizes downstream task loss totrain to regulate network color weights, space as consistency. the additional This stain-based adaptive manner loss is unnecessary allows theautomation of template selection in terms of color normalization andimproves the performance of stain normalization as well as the downstream task. At the initialization, the framework starts by choosing anarbitrary color space denoted as 𝑠, and a histology image represented as𝐱 respectively. of distinct value different ∈ a R color 𝐻 in × attributes 𝑊 𝐻 tasks ×3 𝑆 space , 𝑉 The with , can their number to 𝑠 𝐻 instinctively . represent and As feature each 𝑊 3 refers representing extraction color dimension vary. to accurately the It follows capability three the in height color orthonormal e that .g., on hue, space characterization and normalization saturation, width 𝑠 dimensions stands of the and for of of 𝐱,stain style concerning color space 𝑠 can be defined using the expectation𝜇 follows: 𝑘 and standard deviation 𝜎𝑘 of these three independent channels, as

𝜇𝑘 =1𝐻𝑊 ∑𝑖,𝑗𝑥𝑖𝑗𝑘 ,𝜎𝑘 = √ 𝐻 1 𝑊 ∑𝑖,𝑗(𝑥𝑖𝑗𝑘 − 𝜇𝑘 ) 2,

3.1. 问题公式化表述与方法概述 我们提出了一种端到端的可学习染色归一化层，以解决依赖经验和依赖数据集的模板选择问题。LStainNorm（可学习染色归一化层）在我们的架构中作为下游诊断网络之前的第一层，其经过训练的可学习参数提高了诊断性能和自动化程度。值得注意的是，该模型仅利用下游任务的损失来进行训练，以调节网络权重，因为基于染色的额外损失对于颜色空间一致性而言是不必要的。这种自适应的方式使得在颜色归一化方面能够自动选择模板，并且提高了染色归一化以及下游任务的性能。 在初始化时，该框架首先分别选择一个任意的表示为𝑠的颜色空间，以及一幅表示为$\mathbf{x} \in \mathbb{R}^{H \times W \times 3}$的组织学图像。在不同的颜色空间𝑠中，具有不同数值的不同属性𝑉的数量可以本能地表示为𝑠{𝐻}。这里，H、W和3分别表示高度、宽度以及颜色维度。例如，在色调、饱和度和亮度这些维度上准确提取特征的能力会有所不同。在关于颜色空间𝑠的染色风格的正交归一化特征描述中，$\mathbf{x}$的染色风格可以使用这三个独立通道的均值$\mu{k}$和标准差$\sigma{k}$来定义，如下所示： $\mu{k} = \frac{1}{HW}\sum{i,j}x{ijk}$，$\sigma{k} = \sqrt{\frac{1}{HW}\sum{i,j}(x{ijk} - \mu{k})²}$ ，

Conclusion

结论

While stain-style transfer has been widely utilized for multiple clinical centers, structure and information preservation remain challenging,for a framework conventional to leverage and deep the learning advantages algorithms. of conventional This work and provides deeplearning approaches for stain normalization. This approach effectivelyaddresses the issue through an automatic learning mode by fusingconversion parameters from multiple color spaces. Adaptively, theproposed 𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚 can be easily plugged onto the top of any downstream tasks with guaranteed performance improvement. Experimentalresults show that our model outperforms conventional color conversionalgorithms and deep learning approaches, without manual selection forproper parameters.Our method enhances interpretability by leveraging more parameters with different physical significance from more color spaces. Thisstrategy obtains an optimal stain normalization template, which hasbeen substantiated through extensive verifications. In the health caredomain, they cause generative unintended algorithms errors occasionally. increasingly To create this extent, new contents, we not only yetoutperform in metrics but also achieve better visual outcomes in theform of preserving microstructure, as confirmed by the pathologistsin this study. In future work, we will improve the generalization byextending applications. this We framework will also incorporate to more cancer the data-private types for potential settings. practical

虽然染色风格迁移已在多个临床中心广泛应用，但对于传统框架和深度学习算法而言，如何保留组织结构和信息仍然是一项具有挑战性的任务。这项工作为染色归一化提供了一种结合传统方法和深度学习优势的途径。 该方法通过自动学习模式，融合来自多个色彩空间的转换参数，有效地解决了相关问题。所提出的𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚（可学习染色归一化层）具有自适应性，能够轻松地集成到任何下游任务的前端，并且能确保性能得到提升。实验结果表明，我们的模型在无需手动选择合适参数的情况下，性能优于传统的颜色转换算法和深度学习方法。 我们的方法通过利用来自更多色彩空间且具有不同物理意义的更多参数，提高了可解释性。这一策略获得了最优的染色归一化模板，并且已经通过大量的验证得以证实。 在医疗保健领域，生成式算法偶尔会产生意想不到的错误。尽管如此，它们在创造新内容方面的应用越来越多。在这方面，我们的方法不仅在评估指标上表现出色，而且在保留微观结构方面也取得了更好的视觉效果，这一点也得到了本研究中病理学家的认可。 在未来的工作中，我们将通过将这个框架扩展应用到更多的癌症类型，以提高其泛化能力，使其适用于潜在的实际应用场景。我们还将在数据隐私保护的环境中纳入相关内容。

Figure

图

Fig. 1. An illustration of diagnostic performance may vary from template to templatein a routine manual selection mode. Specifically, it shows how the accuracy andDice coefficient metrics are influenced by the mean and variance parameters of the𝐿*-channel in the LAB color space, which are critical in the normalization process.The diagnostic Reinhard tasks, normalization namely tissue method classification is employed and nuclei in this segmentation. experiment The on two histograms typicaldetail the mean and variance across various datasets and diagnostic tasks are: (a)Tissue type classification task with public dataset of colorectal cancer NCT-CRC-HE-100K-NONORM dataset and CRC-VAL-HE-7K (Kather et al., 2019) on ResNet18; (b)Nuclei segmentation task with public dataset of MoNuSeg 2018 (Kumar et al., 2019)on CIA-Net

图1：常规手动选择模式下，诊断性能可能因所选模板不同而有所差异的示意图。具体而言，它展示了在归一化过程中起关键作用的LAB色彩空间中L通道的均值和方差参数，是如何影响准确率和迪赛系数这两项指标的。在此实验中，采用了莱因哈德（Reinhard）归一化方法进行组织分类和细胞核分割诊断任务。两个典型直方图的细节展示了不同数据集和诊断任务中的均值和方差情况：(a) 使用结直肠癌的公开数据集NCT-CRC-HE-100K-NONORM数据集和CRC-VAL-HE-7K（卡瑟等人，2019年），基于ResNet18网络的组织类型分类任务；(b) 使用2018年MoNuSeg公开数据集（库马尔等人，2019年），基于CIA-Net网络的细胞核分割任务 。

Fig. parameter 2. The space. overview The of bi-directional the proposed color 𝐿𝑆𝑡𝑎𝑖𝑛𝑁 space 𝑜𝑟𝑚 convention applied to between multiple RGB color and space multiple fusion. color A learnable spaces is stain straightforwardly normalization connected layer is incorporated to the downstream to extract tasks. features from intermediate

图2：所提出的双向𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚的概述，其应用于在多个颜色空间之间进行从RGB颜色空间的转换以及融合。一种可学习的染色归一化层被直接连接到下游任务中，以便从中间过程中提取特征。

Fig. 3. The self-attention model allows feature aggregation and transformation from multiple spaces in a full automation manner. The multiple input spaces enable the modelto 𝐿𝑆 pinpoint 𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚 individually are selected salient as the regions model’s perceived, input, and and the the number parameters of spaces from is more a trade-off spaces between top up the the sole-space computation performance. performance The and superior training color efficiency. spaces identified by the preceding

图3：自注意力模型允许以完全自动化的方式从多个空间进行特征聚合和变换。多个输入空间使模型能够精准定位显著区域，这些区域被模型感知到，而从多个空间中选取的输入以及空间的数量，是在单空间计算性能与模型性能之间的一种权衡。先前确定的优越训练色彩空间被选为𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚的输入，这有助于提高效率。  

Fig. 4. Some examples of raw patch, the corresponding self-attention weights 𝑊 , and the normalization results of some color spaces or combinations.

图4：展示了一些原始图像块、相应的自注意力权重(W) ，以及某些色彩空间或其组合的归一化结果的示例。

Fig. 5. An example of the diagnostic performance when stain normalization isemployed for pre-processing. The classification task on the colorectal dataset with theResNet18 backbone is performed. Generally, 𝐿𝑈𝑉 and 𝑌 𝑥𝑦 show inferior performancethan the other color spaces, whereas 𝐻𝑆𝑉 , 𝐿𝐴𝐵, 𝐻𝐿𝑆 and 𝑅𝐺𝐵 are more competent.Comparable results are observed when backbone structures, datasets, or tasks arechanged in the context of pathology image analysis. Patches below the box plot areexamples of normalization by the 𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚 layer in multiple color spaces.

图5：展示了在将染色归一化用作预处理时的诊断性能示例。此为基于ResNet18主干网络，对结直肠数据集进行的分类任务。一般来说，𝐿𝑈𝑉和𝑌 𝑥𝑦色彩空间的表现不如其他色彩空间，而𝐻𝑆𝑉、𝐿𝐴𝐵、𝐻𝐿𝑆和𝑅𝐺𝐵色彩空间的表现更为出色。在病理图像分析中，当主干网络结构、数据集或任务发生变化时，也能观察到类似的结果。箱线图下方的图块是𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚层在多个色彩空间中进行归一化处理的示例。

Fig. performance is not 6. guaranteed. The normalization of the dataset results can be on topped classification up. One or tasks two in have 𝐿𝐴𝐵 a , 𝐻 slight 𝑆𝑉 , performance and 𝑅𝐺𝐵 space advantage with different due to the datasets initial and value backbones. being consistent Implemented with the with local up to optimum, eight groups, yet their the stability

图6：性能并不能得到保证。在分类任务中，数据集的归一化结果是可以进一步提升的。在𝐿𝐴𝐵、𝐻𝑆𝑉和𝑅𝐺𝐵色彩空间中，由于初始值与局部最优值在一定程度上相符，并且不同的数据集和主干网络的影响，一两个任务会有轻微的性能优势。该实验实施了多达八组，但它们的稳定性仍有待考量。

Fig. 7. The metrics of Dice and IoU in the segmentation task of the sole-space normalization from the superior color spaces of 𝐿𝐴𝐵, 𝐻𝑆𝑉 , and 𝑅𝐺𝐵. .

图7：在分割任务中，使用来自表现出色的色彩空间（即𝐿𝐴𝐵、𝐻𝑆𝑉和𝑅𝐺𝐵）进行单色彩空间归一化时的迪赛系数（Dice）和交并比（IoU）指标情况。

Fig. improvement 8. The box when plots applied of the with classification sole-space optimization results carried and out multi-space with ResNet18, fusion, respectively. ResNet50, DenseNet121 and VGG11. Different backbones gain their proportional performance

图8：分别展示了使用ResNet18、ResNet50、DenseNet121和VGG11网络时，单空间归一化优化结果以及多空间融合结果在分类任务中的箱线图。不同的主干网络在性能提升方面都有各自相应的表现。

Fig. 9. The box plots of Dice with typical nuclei segmentation backbone of CIA-Net and CA2.5-Net on the public dataset and in-house datasets

图9：在公开数据集和内部数据集上，使用典型的细胞核分割主干网络（CIA-Net和CA2.5-Net）时的迪赛系数（Dice）箱线图。

Fig. 10. Visualization of images processed by different stain normalization methods on nuclei segmentation dataset MoNuSeg, along with their segmentation outcome, evaluatedwith the SOTA nuclei segmentation backbone CIA-Net. False positives are marked in red and false negatives in blue, compared with ground-truth labels. The green boxes highlightthe tissues. variations apparent The hence stain drawbacks prone styles of to of the the be misdiagnosed Macenko normalized and and Vahadane in segmented the succeeding methods results. tasks. often The 𝑅𝐺 come CL-StainGAN 𝐵 Fix to unsatisfactory and Reinhard and StainDiff are consistency, not decrease limited as the to examples the contrast range show. in [0, 1] proportional Patches , hence color normalized patches variations by hence StainGAN can causing be observed appear misidentification in morphological some sparse ofcell sole-template boundaries. mode Overall, is employed our method for a is fair more comparison competitive between for its state-of-the-art attribute of staining methods. style and tissue structure preservation and performs better in the downstream tasks. The

图10：展示了在细胞核分割数据集MoNuSeg上，由不同染色归一化方法处理后的图像及其分割结果的可视化效果，评估使用了当前最优的细胞核分割主干网络CIA-Net。与真实标签相比，误报用红色标记，漏报用蓝色标记。绿色框突出显示了组织部分。 Macenko和Vahadane等归一化方法的染色风格往往存在明显差异，因此在后续的分割任务中容易导致误诊。从示例中可以看出，RGB、CL-StainGAN、Fix以及Reinhard和StainDiff等方法的一致性不尽如人意，这不仅限于对比度范围在[0, 1]内的情况。经StainGAN归一化的图像块中，可以观察到颜色变化，因此在某些稀疏的细胞边界处可能会出现形态学上的误判。 总体而言，我们的方法更具竞争力，因为它在保留染色风格和组织结构属性方面表现出色，并且在下游任务中表现更佳。为了在各种先进的染色方法之间进行公平比较，采用了单一模板模式。

Table

表

Table The Task profile 1 of experimental datasets to evaluate the performance of 𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚 and the effectiveness in downstream diagnosis

表1 用于评估𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚性能以及其在下游诊断中有效性的实验数据集的任务概况

Table Ablation 2 study in terms of color space fusion. Our method is compared with prevalent methods, evaluated by the average accuracy on the

effect classification of common task, space the Dice, weights and and IoU self-attention on segmentation pixel tasks. weights, As mentioned their combination in the explanation (Ours), as well of Eq. as ( the 15), prevalent our ablation concat study method. investigates the

表2 关于色彩空间融合的消融研究。我们的方法与常用方法进行了比较，通过在常见分类任务上的平均准确率、在分割任务上的迪赛系数（Dice）和交并比（IoU）来进行评估。正如在公式（15）的解释中所提到的，我们的消融研究探讨了常见空间权重、自注意力像素权重、它们的组合（我们的方法）以及常见的拼接方法的效果。  

Table Quantitative namely 3 ResNet18 comparison and CIA-Net of stain are normalization employed. methods on classification and nuclei segmentation tasks, where two widely used backbones,

表3：在分类和细胞核分割任务中，对染色归一化方法进行的定量比较。在这些任务中，采用了两种广泛使用的主干网络，即ResNet18和CIA-Net。

Table Quantitative 4 comparison of the time cost for different stain normalization methods on different datasets, with training and inference timereported. The average training time for one epoch of the deep learning based methods including StainGAN (Shaban et al., 2019), CL-StainGANpresented. ( Reinhard Ke et al., (Reinhard As 2021b training ), StainDiff et processing al., 2008 (Shen ), is Macenko et absent al., 2023 in (Macenko conventional ), MultiPathGAN et al., methods, 2009 (Nazki ), Vahadane we et report al., 2023 (Vahadane the ), image CycleGAN et processing al., 2016 + DN ), time ( along Ho of et with conventional al., 2024 the inference ) and methods 𝐿𝑆𝑡𝑎𝑖𝑛𝑁 time including 𝑜𝑟𝑚 of deep arelearning methods.

表4：不同染色归一化方法在不同数据集上的时间成本的定量比较，其中报告了训练时间和推理时间。包括基于深度学习的方法的每个训练周期的平均训练时间，这些方法有染色生成对抗网络（StainGAN，沙班等人，2019年）、对比学习染色生成对抗网络（CL-StainGAN，柯等人，2021年b）、染色扩散模型（StainDiff，沈等人，2023年）、莱因哈德方法（Reinhard，莱因哈德等人，2008年）、马琴科方法（Macenko，马琴科等人，2009年）、多路径生成对抗网络（MultiPathGAN，纳兹基等人，2023年）、瓦哈达内方法（Vahadane，瓦哈达内等人，2016年）、循环生成对抗网络加深度网络（CycleGAN + DN，何等人，2024年）。由于传统方法不存在训练过程，我们报告了传统方法的图像处理时间，同时也给出了包括𝐿𝑆𝑡𝑎𝑖𝑛𝑁𝑜𝑟𝑚在内的深度学习方法的推理时间。