2026.6.18
本文提出无监督ViFIT框架，将多风格H&E图像标准化，并进一步生成SHG、RF、MT等虚拟纤维图像，用于术后和术中辅助病理诊断。
Title题目
01
ViFIT辅助组织病理学：从H&E风格标准化到虚拟纤维图像转换
ViFIT-assisted histopathology: From H&E style standardization to virtual fiber image transformation
文献速递介绍
02
病理组织学是疾病诊断的金标准之一，H&E染色能够突出细胞核和胞质形态，是常规初诊的核心手段，但它难以特异显示胶原纤维、网状纤维、弹性纤维等细胞外基质成分。肿瘤相关纤维在肿瘤发生发展、浸润、预后评估和鉴别诊断中具有重要价值，因此病理医师往往需要额外的特殊纤维染色或SHG等无标记成像。然而这些技术对样本制备、固定和染色流程要求高，耗时且成本较高，特别不适合术中冰冻诊断等时间敏感场景。已有深度学习虚拟染色方法可以在一定程度上从H&E或其他显微图像生成特殊染色图像，但常依赖配准图像对、专家标注、预定义输入风格或人工调参，面对多中心H&E染色差异时泛化能力不足。本文因此提出ViFIT，一个无监督的虚拟纤维图像转换框架，通过先标准化H&E风格、再生成虚拟纤维图像，降低风格差异对虚拟染色的干扰，并以ViFIT辅助组织病理学的形式服务术后和术中诊断。
Aastract摘要
03
本文关注常规H&E病理无法特异显示肿瘤相关纤维结构、而特殊纤维染色和SHG成像又耗时、昂贵且难以在术中推广的问题。作者提出ViFIT辅助组织病理学流程，其核心是一个两阶段无监督虚拟纤维图像转换框架：先把不同来源、不同染色风格的H&E图像转换为病理医师偏好的标准H&E风格，再基于标准化图像生成内容一致的虚拟SHG、RF和MT纤维图像。方法上，第一阶段通过风格预测和语义一致性两个预训练式任务增强无监督H&E风格标准化能力；第二阶段通过强度反转的纤维敏感生成模块和由粗到细的训练策略，使模型更好地区分纤维、细胞和背景。实验在多风格乳腺H&E数据集以及覆盖七类组织疾病的H&E到纤维数据集上进行，结果显示ViFIT在NMI、KID、MS-SSIM、下游纤维定量和病理医师盲评中均优于多种无监督基线方法，并可在术后和术中场景中提供快速辅助诊断。
Method方法
04
ViFIT包含两个主要阶段。第一阶段是H&E染色图像风格标准化，目标是在不依赖配对监督和不破坏组织内容的前提下，将来自不同机构、不同扫描质量和不同染色条件的H&E图像转换为专家共识的标准风格。该阶段采用循环GAN思想，包含标准化生成器S-Gen和重建生成器R-Gen，两者结构相同但参数不同；S-Gen负责从原始风格映射到标准风格，R-Gen负责从标准风格恢复到指定原始风格。作者在此基础上引入两个预训练式任务：风格预测任务将查询风格作为生成条件，同时要求生成器预测输入图像风格，从而增强模型对多风格H&E的表征能力；语义一致性任务从两个生成器的编码特征中提取语义token，并约束其一致，以减少风格转换过程中细胞核、基质和组织结构被错误改写的风险。第二阶段是虚拟纤维图像转换，目标是用无配对的标准化H&E图像和真实纤维图像示例，生成SHG、RF和MT等纤维图像。该阶段包含纤维生成器和辅助生成器，二者均基于ResNet结构。针对无监督训练中纤维、细胞和背景容易混淆的问题，作者提出强度反转的纤维敏感生成策略：辅助生成器先学习生成强度反转的纤维图像，使纤维区域与背景在视觉上更易分离，再将其反转回正常强度作为纤维生成器早期训练的粗监督。随后模型停止辅助生成器训练，让纤维生成器继续细化纤维细节，形成由粗到细的训练流程。
实验设计
作者构建了两个公开数据集。多风格乳腺H&E染色数据集包含8578张ROI图像，来自自采数据以及BreakHis、BACH、BreCaHAD等公开数据，覆盖七种H&E染色风格及不同分辨率和放大倍率。H&E到纤维数据集包含54张全切片图像和116张ROI H&E图像，以及相邻切片获得的RF、MT和未染色SHG图像，覆盖乳腺肿瘤、肺肿瘤、肠道肿瘤、脑膜瘤、垂体神经内分泌肿瘤、甲状腺肿瘤和腮腺基底细胞腺瘤七类疾病。实现上，所有生成器均采用含9个残差块的ResNet结构，输入输出patch大小为256×256，训练使用Adam优化器，初始学习率0.0002，总训练65个epoch，并在单张NVIDIA RTX 3090 GPU上实现。对比方法方面，H&E标准化阶段比较CAGAN、HistAuGAN、Staintools和HistomicsTK；虚拟纤维转换阶段比较VirtualMultiplexer、UTOM、DRIT和UVCGAN。评价指标包括NMI、KID、MS-SSIM、RGB强度分布、CurveAlign纤维长度数量密度和对齐分析、VGG-16感知特征，以及病理医师用户研究。
实验结果：H&E风格标准化
在H&E风格标准化任务中，作者测试了来自自采数据和BreakHis数据集的五类代表性H&E风格，包括颜色偏移、模糊、模糊伴阴影、过曝和褪色。结果显示，ViFIT能够把这些图像转换为16名病理医师共识定义的标准风格，同时保持细胞和细胞外基质结构。相比之下，CAGAN的输出与标准风格偏差较大，HistAuGAN虽然可部分校正颜色，但容易把细胞核误转为胶原纤维或血细胞，或将白色背景误判为胶原区域；传统Staintools和HistomicsTK主要做整体颜色校正，难以应对复杂的风格和扫描质量变化。定量上，ViFIT在162个ROI上取得最高NMI和MS-SSIM以及最低KID，NMI为0.079，KID为0.030，MS-SSIM为0.693，优于所有基线。用户研究也显示，ViFIT标准化结果更符合病理医师的观察偏好。
实验结果：基于标准化H&E的虚拟纤维转换
在虚拟纤维转换任务中，作者以标准化H&E图像为输入，生成乳腺浸润性小叶癌和浸润性导管癌的SHG胶原纤维图像与RF染色图像。结果表明，ViFIT生成的SHG图像能连续、完整地呈现胶原纤维，接近相邻未染色切片获得的真实SHG参考图像；VirtualMultiplexer存在纤维不完整问题，UTOM会把细胞核误生成为胶原纤维，DRIT生成纤维强度不足，UVCGAN难以生成有效内容。在RF图像中，ViFIT能较好地区分网状纤维和胶原纤维，而其他方法常出现纤维类型聚类错误。定量结果显示，ViFIT在SHG任务上MS-SSIM达到0.908、KID为0.065，在RF任务上MS-SSIM达到0.834、KID为0.071，均优于DRIT、UVCGAN、UTOM和VirtualMultiplexer。作者还证明H&E风格标准化阶段可以降低虚拟纤维生成所需训练数据量，并提升后续转换的可靠性。
实验结果：跨疾病适应性和下游定量分析
作者进一步在乳腺癌、肺癌和结直肠癌等不同疾病H&E图像上验证ViFIT全流程的适应性。ViFIT的标准化加转换两阶段流程能在不同组织结构和H&E风格下稳定生成SHG和RF纤维图像，并较好对应相邻切片参考图像；其他无监督方法在跨风格和跨疾病条件下更容易混淆纤维与细胞。为了验证虚拟纤维图像是否可用于下游分析，作者使用CurveAlign计算纤维数量、密度、长度和对齐程度，并用VGG-16提取浅层纹理和深层感知特征。结果显示，ViFIT生成的虚拟纤维在空间分布、方向和对齐热图上最接近参考图像。例如SHG纤维密度与参考图像的平均差异仅约0.03，而其他模型通常超过0.1；RF纤维长度分析中，ViFIT与参考图像平均值几乎一致，分别约100.1和100.4。这说明ViFIT不仅能生成视觉上可信的纤维图像，也能支持较稳定的定量病理分析。
实验结果：ViFIT辅助虚拟组织病理诊断
本文将ViFIT用于五个典型术后和术中病理案例，评估其临床流程潜力。术后场景中，ViFIT仅基于数字H&E切片即可在约10分钟内生成标准化H&E图像和配准的虚拟MT、RF、SHG纤维图像。在良性乳腺叶状肿瘤案例中，ViFIT在全切片尺度显示肿瘤分叶结构，在高倍下进一步揭示每个小叶中的纤维组成及其与血管和细胞的空间关系；在脑膜瘤和垂体神经内分泌肿瘤中，ViFIT可突出肿瘤微环境、硬脑膜结构关系和肿瘤细胞团周围胶原假包膜。术中冰冻场景中，特殊纤维染色往往无法在诊断时限内完成，而ViFIT可在约6分钟内生成虚拟纤维图像，低于25分钟术中诊断窗口。在乳头状甲状腺癌案例中，ViFIT可显示正常滤泡、肿瘤间质硬化反应和肿瘤浸润被膜区域，并通过胶原排列图和方向对齐指标增强浸润判断。8名认证病理医师的盲评显示，ViFIT虚拟图像与真实染色图像在染色准确性、背景对比和染色强度等维度的一致性良好，ICC总体超过0.80。
消融研究
消融实验验证了ViFIT关键设计的必要性。去除风格预测预训练任务后，模型难以生成目标标准风格，颜色仍明显偏离GT；加入该任务后，色调准确性和结构保真度明显提高。去除语义一致性任务后，生成图像出现颜色不一致和内容扭曲，说明语义token约束有助于保持原始组织结构。去除强度反转纤维敏感生成策略后，模型会把血管腔、空白背景等白色区域错误识别为纤维，导致伪纤维生成；加入强度反转后，纤维连续性和位置准确性提升。去除由粗到细的精修训练策略后，生成纤维较粗糙、分辨率低；采用该策略后，纤维边界、颜色和细节更清晰。这些结果表明，两个预训练式任务主要保证第一阶段的风格和内容可靠性，强度反转与粗到细训练主要提升第二阶段纤维生成质量。
Conclusion结论
05
作者认为，ViFIT辅助组织病理学能够缓解特殊纤维染色和SHG成像在临床常规使用中的流程复杂、成本高和耗时问题。相比直接从多风格H&E端到端生成纤维图像，ViFIT通过先进行H&E风格标准化来降低输入表示空间复杂度，使后续虚拟纤维转换更稳定，也减少了对大规模严格配准H&E到纤维数据的依赖。该框架的无监督设计避免了大量人工标注和图像配准负担，标准化H&E本身也可作为多中心会诊中的有用中间结果。作者同时指出，当前每一种纤维图像类型需要单独训练一个模型，增加了计算和维护成本；未来可探索单模型多模态纤维生成、结合少量配对数据的混合监督、更大规模H&E到纤维基础模型，以及基于文本提示的交互式虚拟染色定制。总体而言，ViFIT在图像质量、定量分析和病理医师评价上均表现突出，展示了将虚拟纤维染色嵌入临床数字病理工作流的潜力。
Figure图
06
图1.
该图概括了ViFIT的核心框架。第一阶段将多风格H&E图像通过S-Gen和R-Gen转换为统一标准风格，并通过风格预测和语义一致性两个任务保持风格可控和内容不变。第二阶段以标准化H&E为输入，通过纤维生成器和辅助生成器完成虚拟SHG、RF、MT等纤维图像生成，其中强度反转和由粗到细精修用于提升纤维结构的准确性。
图2.
该图展示了第一阶段的网络细节和循环训练数据流。标准化生成器和重建生成器均由下采样、中间残差块、上采样和语义token分支组成，判别器用于区域级真伪和风格监督。图中强调了从非标准风格到标准风格、再从标准风格恢复到原风格的循环映射，以及语义一致性和风格预测如何嵌入训练过程。
图3.
该图展示了第二阶段的纤维生成器、辅助生成器和判别器结构。训练分为初步patch生成和粗到细精修两个阶段：辅助生成器先产生强度反转纤维patch，引导主纤维生成器关注纤维区域；随后主生成器独立优化细节，从而减少背景或细胞被误识别为纤维的问题。
图4.
该图展示ViFIT对颜色偏移、模糊、模糊阴影、过曝和褪色等H&E风格变化的标准化结果。与CAGAN、HistAuGAN等方法相比，ViFIT更接近病理医师共识标准风格，并能更好地保持细胞核和基质结构。RGB强度分布和NMI、KID、MS-SSIM定量指标进一步说明ViFIT与GT最相似。
图5：
该图是虚拟纤维生成的主结果图。ViFIT从标准化H&E生成SHG胶原纤维图像和RF染色图像，能够产生连续完整的胶原纤维并区分网状纤维与胶原纤维。相比VirtualMultiplexer、UTOM、DRIT和UVCGAN，ViFIT在视觉结果以及MS-SSIM、KID指标上最接近参考纤维图像。
图6：
该图展示ViFIT在乳腺肿瘤、肺肿瘤和肠道肿瘤中的全流程表现。不同疾病的H&E图像先被标准化，再生成SHG和RF纤维图像，结果与相邻切片参考图像保持较好一致。该图说明标准化加转换的两阶段设计有助于提升跨疾病、跨风格泛化能力。
图7.
该图验证ViFIT生成的虚拟纤维是否可用于定量病理分析。通过CurveAlign分析纤维位置、方向、对齐、长度、数量和密度，并用VGG-16提取感知特征，ViFIT生成图像的结果最接近参考图像，说明其不仅视觉上可信，也能支持纤维形态学定量。
图8.
该图展示ViFIT嵌入临床病理流程的示例。术后场景中，ViFIT从H&E全切片生成标准化H&E和虚拟MT、RF、SHG图像，显示乳腺叶状肿瘤的分叶结构和纤维分布；术中场景中，ViFIT在数分钟内生成甲状腺癌相关纤维图像和胶原排列图，辅助判断被膜浸润。
图9.
该图比较病理医师对ViFIT虚拟病理图像和真实纤维染色图像的评价一致性。8名病理医师在染色准确性、背景对比、染色强度和总体评分上给出的ICC总体超过0.80，表明ViFIT生成图像在专家评估中与真实染色图像具有良好一致性。
图10.
该图展示ViFIT各组成部分的贡献。风格预测任务提升色调保真度，语义一致性任务保护组织内容，强度反转策略减少错误纤维生成，粗到细精修策略提升纤维清晰度和细节准确性。消融结果支持本文方法设计的必要性。
