2026.7.8
本文提出CountIHC，通过秩感知选择多个基础模型教师并结合语义锚点微调，实现高效、准确的IHC多类别细胞计数。
Title题目
01
用于免疫组化图像细胞计数的秩感知基础模型聚合
Rank-aware agglomeration of foundation models for immunohistochemistry image cell counting
文献速递介绍
02
本文关注免疫组化图像中的自动细胞计数问题。IHC用于显示Ki67、PD-L1、CD3等疾病相关蛋白表达，是癌症分型、靶向治疗选择和预后评估的重要依据；例如TPS需要分别统计标志物阳性和阴性肿瘤细胞，人工计数不仅耗时，而且存在观察者间差异。现有检测式方法依赖实例级标注，在密集、粘连或染色重叠场景下容易漏检；回归式密度图方法更适合重叠细胞且标注成本较低，但通常不支持端到端多类别计数。与此同时，病理基础模型已具备强大的表征能力，不同模型因训练数据和目标不同具有互补优势，但现有多基础模型聚合往往等权学习或基于特征相似度启发式选择教师，缺乏面向细胞计数任务的细粒度、可解释选择机制。为此，作者提出CountIHC：先用秩感知教师选择策略RATS将多个基础模型聚合到紧凑学生模型，再通过视觉语言对齐和语义锚点完成阳性、阴性细胞的多类别密度回归。
相关工作
论文首先回顾细胞计数方法。检测式方法通过分割或检测单个细胞实例得到计数，代表方法包括Mask R-CNN、Cellpose、HoVerNet、CellViT、μSAM和DeepLIIF等，优点是可提供实例轮廓，但在高度拥挤、粘连和复杂组织背景中性能受限，且通常需要较昂贵的实例标注。回归式方法直接预测空间密度图并积分得到计数，代表方法包括FCRN、C-FCRN+Aux、DCL以及基于视觉语言的CLIP-EBC等，更适合重叠场景和点标注训练，但在IHC场景下多类别、端到端、类别区分明确的密度回归仍研究不足。论文随后讨论多基础模型聚合。CLIP、DINO系列以及病理基础模型如Virchow2、H-Optimus-1等在下游任务中表现强，但部署成本高；知识蒸馏和聚合可以将多个异构基础模型的特征知识压缩到一个学生模型。现有AM-RADIO、RADIOv2.5、UNIC、GPFM等方法多采用等权蒸馏或teacher dropping，缺少对教师在具体任务和具体样本上的能力评估，因此难以实现真正任务驱动的教师选择。
Aastract摘要
03
免疫组化图像中的阳性与阴性肿瘤细胞计数对蛋白表达量化、TPS或Ki67 LI等临床评分以及癌症诊断具有重要意义，但染色差异、细胞重叠和形态多样性使自动计数非常困难。本文提出一个秩感知基础模型聚合框架，将Virchow2、H-Optimus-1和CLIP-L等多个冻结教师模型的互补知识蒸馏到轻量学生模型CountIHC中。核心方法RATS利用无需标注的全局到局部嵌套裁剪构造细胞数量排序任务，以排序一致性按样本选择最适教师；随后通过结构化文本提示生成包含类别和数量信息的离散语义锚点，引导阳性和阴性细胞的类别特异密度图回归。大量实验显示，CountIHC在覆盖12种IHC生物标志物和5类组织的数据集上总体优于现有回归式与检测式方法，并与病理医生评分达到较高一致性，同时在H&E染色图像上也表现出可扩展性。
Method方法
04
方法由两个阶段组成。第一阶段是秩感知聚合，目标是把多个冻结基础模型教师的知识蒸馏到ViT-Base学生模型CountIHC中。作者选用Virchow2、H-Optimus-1和CLIP-L作为教师，并为每个教师配置轻量投影器，使学生特征可与教师特征在维度和统计分布上对齐；蒸馏损失由余弦相似度损失和平滑L1损失组成。关键创新是RATS，即Rank-Aware Teacher Selecting。RATS不依赖人工标注，而是利用中心对齐的嵌套裁剪构造一组从局部到全局的图像块，因为较大图像块包含较小图像块，所以其细胞数量不应少于内部小块。每个教师对同一组图像块提取特征，再与离散数量语义锚点对齐得到预测计数，若预测计数顺序违背嵌套包含关系，则产生排序损失。每个批次中排序损失最低的教师被视为当前样本组最具计数能力的教师，其特征用于指导学生学习。第二阶段是面向多类别计数的锚点引导微调。作者将计数重写为视觉语言对齐问题，通过结构化文本模板为每个细胞类别和离散数量区间生成提示，例如无某类细胞、一个某类细胞、多个某类细胞以及超过阈值的某类细胞，再由CLIP文本编码器得到语义锚点。图像经冻结的CountIHC和可训练视觉解码器得到特征图，特征图与语义锚点计算相似度并经softmax得到每个空间位置、每个类别、每个数量bin的概率，最后取期望形成阳性和阴性细胞密度图。为减少阳性与阴性通道在同一位置的错误共激活，作者提出Spatial Exclusivity Loss，通过软阈值惩罚高置信的跨类别空间重叠；总体训练目标结合类别加权计数损失、分布匹配损失和空间互斥损失。
实验
实验覆盖六个IHC数据集，包括私有Ki67-Camera、Ki67-WSI、IHC-MBM，以及公开BCData、DeepLIIF-Data、LyNSeC 1。这些数据横跨12种IHC生物标志物和5种组织类型，评估指标包括阴性细胞MAE、阳性细胞MAE、TPS MAE和加权MSE。与CSRNet、C-FCRN+Aux、DCL、CLIP-EBC等回归式方法以及DeepLIIF、CellViT、Cellpose、μSAM等检测式方法相比，CountIHC在多数数据集和指标上取得最佳或接近最佳表现，尤其在类别均衡误差WM上优势明显。例如在Ki67-WSI上，CountIHC的WM为21.3，优于强回归基线；在IHC-MBM上，WM从强基线的74.0降至58.4，并同时取得最低阴性和阳性细胞MAE。定性结果显示，CountIHC的密度峰更集中，阳性和阴性通道分离更清晰，检测式方法在弱染色、小细胞和重叠细胞上更易漏检。论文还进行了病理医生一致性评估，在独立Ki67-Camera和Ki67-WSI患者级测试集中，CountIHC与五位病理医生的QWK分别达到与人类观察者相当的水平：Ki67-Camera上机器与医生为0.81至0.92，Ki67-WSI上为0.71至0.76，后者虽较低但仍处于医生间一致性范围内。消融实验表明，RATS优于等权学习和tdrop；文本提示优于秩提示；SELoss能降低跨类别共激活并改善高密度混合表型区域的计数。模型压缩方面，CountIHC仅约85.7M参数、30.3G FLOPs、10.3ms延迟，却能达到或超过更大教师模型的计数效果。论文还将框架扩展到H&E染色图像，在MoNuSeg和TNBC上获得有竞争力甚至最佳的MAE和RMSE，说明该方法不局限于IHC。
Discussion讨论
05
讨论部分进一步解释RATS为何有效。作者可视化样本级教师分配后发现，不同基础模型确实呈现互补特性：H-Optimus-1更常被分配给核拥挤、形态异质或染色较弱且不均匀的样本；Virchow2更常处理低对比度或细胞稀疏区域，有助于抑制假阳性；CLIP-L更偏向边界清晰、典型且强染色的阳性肿瘤核样本。定量分析显示，排序损失较低的样本组通常具有更低下游计数误差，说明无标注排序代理任务与真实计数能力之间存在关联。与oracle教师比较时，RATS在TM指标下Top-1一致率为67.7%，在WM指标下为84.8%，均显著高于随机三选一的水平；Top-2一致率分别达到88.0%和93.3%。当未选中oracle教师时，遗憾值总体较低，中位数为0，说明选择偏差通常有限。训练稳定性分析还显示，教师选择次数随epoch变化逐渐平滑，同一样本跨epoch切换教师的比例持续下降，相似相邻批次被分配到同一教师的比例后期约为0.8，表明RATS不是随机振荡，而是逐步形成稳定路由。
Conclusion结论
06
论文提出CountIHC，一个由多个基础模型秩感知聚合得到的轻量IHC细胞计数模型。其核心贡献在于用RATS通过无监督全局到局部图像块排序评估教师的内在计数能力，并按样本选择最优教师进行特征蒸馏；随后用文本语义锚点和空间互斥约束实现阳性、阴性肿瘤细胞的端到端多类别密度回归。实验证明，CountIHC在多个IHC数据集上优于现有方法，并在病理评分中与专家保持较高一致性，同时以远低于教师模型的参数量和推理成本实现相近或更优表现。该框架在H&E染色图像上的成功扩展进一步说明，其秩感知聚合与锚点引导计数策略具有跨病理染色模态的潜在通用性。
Figure图
07
图1.
该图概括了CountIHC的两阶段流程。上半部分是聚合阶段：IHC图像被裁剪成全局到局部的嵌套图像块组，根据天然的细胞数量排序关系评估多个教师基础模型，并通过RATS选择最适合当前样本的教师来蒸馏学生模型。下半部分是微调阶段：CountIHC提取图像特征，文本模板生成包含数量和类别的语义锚点，二者对齐后回归阳性和阴性细胞密度图，并结合计数损失和空间互斥损失得到IHC评分。
图2.
该图展示RATS如何在无标注条件下选择教师。对于同一组从局部到全局的图像块，每个候选基础模型先输出视觉特征，再与数量语义锚点相似度匹配得到每个图像块的预测计数。随后用计数排序损失衡量该教师是否保持了嵌套图像块应有的数量单调关系，损失最小的教师被选为该组样本的教师。这使教师选择具有任务相关性和可解释性，而不是简单等权或随机丢弃。
图3.
该图比较CountIHC、CLIP-EBC、DCL、CellViT和Cellpose在Ki67-WSI和IHC-MBM样本上的预测结果。CountIHC给出的阴性和阳性计数最接近真实标注，例如负/正细胞预测约89.9/5.6接近90/6，88.6/19.4接近91/19。相比之下，DCL密度图更噪声化，检测式方法在重叠和弱染色细胞上存在漏检或误检，说明密度回归与语义锚点结合能更好处理IHC复杂场景。
图4.
该图用QWK热图和混淆矩阵比较CountIHC与五位病理医生在Ki67-Camera和Ki67-WSI上的分级一致性。Ki67-Camera上机器与医生的QWK为0.81至0.92，接近医生之间的0.80至0.92；Ki67-WSI上机器与医生为0.71至0.76，也落在医生间0.62至0.87的变异范围内。混淆矩阵显示多数样本位于对角线，错误主要发生在相邻等级，表明模型具有接近临床专家的Ki67表达分级可靠性。
图5：
该图展示是否使用Spatial Exclusivity Loss时阳性和阴性密度图的差异。没有SELoss时，两个类别通道会在同一细胞位置出现虚假共激活，导致类别混淆；加入SELoss后，共激活被抑制，箭头标注位置的阳性响应更清晰、与阴性通道分离更好。这直接支持了空间互斥约束能改善多类别细胞计数的结论。
图6：
该图给出MoNuSeg和TNBC两类H&E染色数据上的定性比较。CountIHC的预测计数与真实计数接近，例如MoNuSeg中预测46.1接近GT 50，TNBC中预测81.5接近GT 81；相比之下，检测式方法容易漏掉密集细胞，部分回归式方法出现过平滑或噪声响应。该图说明本文框架不仅适用于IHC，也可迁移到H&E病理图像细胞计数。
图7.
该图展示RATS将不同样本分配给Virchow2、H-Optimus-1和CLIP-L的实例。可见不同教师被选择的样本具有不同视觉特征：H-Optimus-1更常处理拥挤和异质样本，Virchow2偏向稀疏或低对比区域，CLIP-L更适合典型清晰阳性染色细胞。这说明RATS确实在利用教师模型互补性，而不是固定偏向单一教师。
图8.
该图将Ki67-WSI测试样本按排序损失分成Q1到Q5五个分位，并统计不同教师在NM、PM、TM和WM上的下游误差。总体上，低排序损失分位Q1和Q2对应较低计数误差，高排序损失分位Q4和Q5对应更高误差，说明RATS使用的无标注排序损失与真实计数能力具有相关性，是有效的教师选择信号。
图9.
该图显示聚合训练中相邻epoch之间，同一图像块组被分配给不同教师的比例逐步降低，后期达到较低水平。该结果说明RATS在训练初期允许一定动态探索，但随着学生表征和教师评估稳定，样本级教师路由趋于一致，避免了长期随机波动。
