2026.7.6
本文提出H2CL，将欧氏与双曲几何特征、层级对比学习和医学标签文本蕴含约束结合，用于更可靠的医学层级图像分类。
Title题目
01
基于双几何图像文本学习的医学层级图像分类
Medical hierarchical image classification via dual-geometry image–text learning
文献速递介绍
02
论文首先指出，医学诊断中的图像分类并不是扁平的单标签问题，而是常常遵循树状分类体系：临床上会先给出较粗但更可靠、可操作的判断，再在证据充分时细化到亚型。例如皮肤病变可先区分良性黑色素细胞性、良性角化性或恶性黑色素瘤，再细化为乳头状、复合痣等子类。与自然图像相比，医学图像存在类间高度相似和类内形态异质性，单层softmax分类会把所有细粒度类别等同处理，既不能区分不同层级错误的临床风险，也无法利用父子标签关系。作者进一步指出，传统层级分类或多任务方法常依赖复杂结构，且多数工作仍在欧氏空间中建模；而双曲空间由于体积随半径指数增长，更适合低失真表示树状层级。基于此，本文提出H2CL，将欧氏空间对局部形态差异的刻画能力与双曲空间对全局层级结构的建模能力结合，并引入医学标签文本语义，为层级医学图像分类提供结构一致且细粒度可分的表示。
相关工作
相关工作部分围绕层级分类、双曲学习和视觉语言模型展开。早期层级分类常采用自顶向下或自底向上的级联策略，但容易出现错误传播，尤其当低层标签噪声或类别不平衡时鲁棒性不足；后续方法通过多任务联合学习、标签关系图和对比学习改善层级一致性，但常需要额外先验或复杂架构。细粒度分类方法虽然擅长区分相似子类，但通常默认标签空间是扁平的，没有充分利用上位类关系。双曲学习方面，Poincaré嵌入和双曲神经网络已证明可有效表示词汇、视觉类别等树状结构，原因在于双曲空间的指数扩张特性与层级结构天然匹配。视觉语言模型方面，CLIP及其医学版本MedCLIP能够通过文本提示引入语义先验，缓解医学数据稀缺问题；本文借鉴MERU的双曲图文蕴含思想，但将其从单层图文对齐扩展到父子两级标签的层级对齐。
Aastract摘要
03
医学图像诊断天然具有层级结构，例如先判断良恶性或大类病变，再细分到具体亚型，但传统单层分类往往忽略标签树关系，容易产生临床风险较高的粗粒度错误。本文提出H2CL双几何图像文本框架：图像分支同时学习欧氏特征和双曲特征，前者强调形态学细节与实例区分，后者利用负曲率空间刻画层级分类结构；文本分支使用冻结的MedCLIP编码层级标签提示，并通过双曲蕴含损失约束图像文本对齐。方法还设计了Group Contrastive Learning，将同一子类样本作为强正样本、同父不同子类样本作为弱正样本、不同父类样本作为负样本，从而显式建模多级标签依赖。实验在宫颈细胞、皮肤病变和胆囊超声三个医学数据集上验证，H2CL在ACC、AUC和层级错误距离d-HIE上整体优于多种骨干网络、细粒度分类方法和层级分类基线，并在iNaturalist2021-mini上显示出跨领域层级泛化能力。
Method方法
04
方法部分定义了H2CL的核心结构。任务被形式化为两级层级分类：每张医学图像同时具有父类标签和子类标签，模型需要预测完整标签路径。图像分支以Swin Transformer等预训练视觉骨干提取欧氏特征f，再经MLP得到适配特征z；随后通过指数映射将特征投影到Poincaré球双曲空间得到h，并经H-Adapter得到j。为了融合两种几何信息，作者提出CS-Attention：先把双曲特征通过对数映射放回原点切空间，与欧氏特征拼接后进行注意力交互，再将更新后的双曲部分映射回双曲流形，得到增强的欧氏特征和双曲特征。最终分类使用双曲Möbius分类器，类别logit由样本到双曲类别原型的负距离给出。
组对比学习
Group Contrastive Learning是本文用于显式利用父子标签关系的关键训练策略。对于每个锚样本，若另一样本属于同一子类，则被视为强正样本；若属于同一父类但不同子类，则被视为弱正样本；若属于不同父类，则作为负样本。该设计符合临床诊断的粗到细逻辑：同父类样本共享较稳定的病因或临床属性，但子类之间仍需通过细微形态差异区分。作者分别在欧氏空间和双曲空间应用这种策略：欧氏对比损失强调局部形态可分性，以缓解类间相似；双曲对比损失则通过双曲距离强化父子层级和全局分类树一致性，以缓解类内异质性。弱正样本的权重由批内强正与弱正数量自适应决定，避免同父不同子类样本被过度拉近。
图像文本层级对齐
文本分支利用冻结的MedCLIP文本编码器处理父类和子类标签提示，例如“a microscopic image of {name}”或“dermatoscopic image of {name}”。每个标签使用多种模板编码后取平均，再映射到双曲空间形成父类文本嵌入和子类文本嵌入。与普通CLIP式对比学习不同，本文在双曲空间中加入蕴含锥约束：更一般的父类概念应靠近原点，并形成覆盖子类的角锥区域；更具体的子类应位于更远的半径位置，并落在父类蕴含锥内。损失函数同时约束父子文本、父层图像文本和子层图像文本的匹配关系，并结合双曲图文对比项。总损失由双曲交叉熵、欧氏层级对比损失、双曲层级对比损失和双曲图文蕴含损失加权组成，图像编码器端到端训练，MedCLIP文本编码器保持冻结。
实验设置
实验使用三个医学层级图像数据集：HiCervix包含39124张宫颈细胞图像，具有4个疾病大类和21个细胞类型；MoleMap包含46698张皮肤镜图像，使用8个疾病亚型父类和41个皮肤状况子类；UIdataGB包含10792张胆囊超声图像，定义4个主要病理父类和9个子类。作者还使用iNaturalist2021-mini作为非医学辅助基准，以验证方法对更深层级分类树的泛化能力。默认图像编码器为Swin Transformer，文本编码器为MedCLIP，输入分辨率为384×384，训练100个epoch，batch size为32，优化器为Adam，学习率为1e-5。评价指标包括分层准确率ACC、AUC以及层级距离d-HIE，其中d-HIE越低表示预测与真实层级路径越接近。所有主要结果均在三个随机种子上报告均值和标准差。
比较结果
在三个医学数据集上，H2CL整体优于MobileNetV2、ResNet50、Swin Transformer、PIM、API、HRN、MHN、Hier和HCAST等基线。HiCervix上，H2CL在L1达到89.7%准确率和98.1%AUC，在L2达到77.0%准确率和98.0%AUC，同时将L2 d-HIE降至0.202；相对普通Swin，L2准确率提升8.7个百分点。MoleMap上，H2CL在L1达到75.3%准确率，在L2达到59.1%准确率和94.4%AUC，表现出对皮肤镜细粒度层级类别的优势。UIdataGB上，由于任务接近性能上限，所有强方法AUC都很高，但H2CL仍取得最高或接近最高的准确率，并保持最低层级错误。图像分支的H2CL(ViT)在去除文本分支后仍在MoleMap和UIdataGB上优于HCAST，说明双几何与组对比学习本身有效；加入文本分支后，HiCervix等更复杂任务进一步提升。iNaturalist2021-mini的雷达图显示，随着层级加深到L3，H2CL比Swin和HCAST更能保持较低d-HIE，说明方法不仅适用于医学，也适合一般树状分类体系。统计检验显示，H2CL与HCAST在三套医学数据六个L1/L2准确率比较中，有五项达到p小于0.05且效应量较大，说明性能提升具有可重复性。
消融实验
消融实验系统验证了各模块贡献。仅使用欧氏特征或双曲特征时，HiCervix L2准确率分别约为68.3%和69.9%；简单拼接两种特征提升有限，而使用CS-Attention后可提升到74.6%，说明跨几何自适应交互比直接融合更有效。在隔离双曲几何影响时，纯欧氏层级交叉熵为68.7%，加入MedCLIP可达73.6%，而无文本的双几何CS-Attention已达74.6%，保留双几何但换用普通分类头的H2CL(H-CE)达75.4%，表明收益并非只来自文本或分类器，而是来自双曲结构表示。文本分支方面，标准图文对比略有提升，而双曲蕴含损失进一步将L2准确率推至77.0%；仅使用父类或子类文本约束均不如完整父子层级监督。随机可学习原型替代MedCLIP文本语义反而下降到72.5%，说明医学语义基础模型提供了有效语义锚点。骨干比较显示，MedCLIP优于CLIP和BioCLIP，Swin优于MobileNetV2、ResNet50和ViT；损失权重和batch size实验表明模型对超参数较稳健，默认等权重和batch size 32效果最佳。
可视化与失败案例
可视化部分用UMAP和t-SNE展示H2CL学习到的特征结构。与普通Swin相比，H2CL在局部邻域中形成更紧凑的子类簇，在全局视角下又能保持父类宏观分组，HiCervix在n_neighbors为100时的子类kNN纯度从Swin的47.0%提升到69.6%，而父类纯度仍保持相当水平。这说明双几何表示同时增强了细粒度可分性和层级组织性。t-SNE结果也显示，Swin容易把同父类子类分散到不同区域，而H2CL能在父类簇内部保持子类分离。失败案例揭示了当前模型的困难来源：HiCervix中某些细胞病变处于相邻细胞学谱系且受放大尺度影响；MoleMap中反光、低分辨率和早期病变会掩盖关键结构；UIdataGB中结石、腺肌症、炎症和恶性征象存在影像重叠。这些错误提示未来需要更强的多尺度建模、局部结构增强和不确定性表达。
计算开销
作者进一步评估了H2CL的实际部署成本。对于默认Swin骨干，参数量从195.2M增加到200.2M，仅增加2.6%；训练时间增加0.7%，推理延迟仅增加0.3%。对较小的R50和ViT，参数相对增幅更高，但绝对增量仍较小。训练显存会因加载冻结MedCLIP文本编码器和计算蕴含损失而增加约2到3GB，但文本分支在推理阶段可移除，因此推理显存几乎不变。整体来看，H2CL以较低的额外计算代价换来了稳定的层级分类性能提升，尤其适合在已有医学图像骨干上作为轻量层级分类增强框架使用。
Conclusion结论
05
论文总结提出了H2CL，一个面向医学层级图像分类的双几何图像文本框架。它将欧氏空间的局部形态判别能力、双曲空间的层级结构建模能力、Group CL的多级样本关系约束以及MedCLIP文本语义的双曲蕴含对齐结合起来。实验证明，H2CL能够在多种医学模态和疾病分类体系中提高准确率、AUC并降低层级错误，同时计算开销较低。该方法为医学图像分类从扁平标签预测走向临床更一致的层级决策提供了有价值的技术路线。
Figure图
06
图1.
该图用皮肤病学标签树说明本文问题动机。层级分类先区分父类，如良性黑色素细胞性、良性角化性或恶性黑色素瘤，再细化到子类；这种方式能够给出更稳健、临床上更可操作的粗粒度判断。单层分类则把所有细粒度类别平铺处理，忽略疾病谱系和父子关系，容易导致不符合临床风险层级的错误。
图2.
该图展示H2CL的核心结构。图像分支从输入图像提取欧氏特征，并通过指数映射和H-Adapter得到双曲特征，随后用CS-Attention在切空间融合两种几何表示，再用双曲分类器预测子类。文本分支使用冻结MedCLIP编码父类和子类标签提示，并映射到双曲空间。右侧的蕴含示意表明父类特征应靠近原点，子类特征应落入父类蕴含锥内，从而将层级语义注入图像表示。
图3.
该图说明Group CL如何利用标签层级关系构造训练信号。对某个锚样本，同子类样本是强正样本，同父类但不同子类样本是弱正样本，不同父类样本是负样本。该策略同时应用于欧氏空间和双曲空间，既鼓励同一精细类别聚合，又避免把同父不同子类强行混在一起，并推远跨父类样本。
图4.
该图汇总HiCervix、MoleMap和UIdataGB三个实验数据集，覆盖显微细胞学、皮肤镜和超声三种医学模态。饼图内圈表示高层标签，外圈表示细粒度标签，体现各数据集的父子分类结构和类别不平衡情况。该图说明H2CL不是只针对单一模态，而是在不同成像机制和不同疾病分类树上进行验证。
图5：
该图左侧用雷达图比较H2CL、Swin和HCAST在iNaturalist2021-mini三层分类上的ACC、AUC和d-HIE，显示H2CL在更深层级下仍能保持更低层级错误。右侧给出H2CL相对HCAST在三套医学数据上的配对t检验结果，六项L1或L2准确率比较中五项显著，且Cohen’s d较大，支持H2CL提升不是偶然波动。
图6：
该图集中展示图像分支、双曲几何、文本分支、文本编码器和图像编码器的消融结果。结果表明，欧氏与双曲特征互补，CS-Attention优于简单拼接；双曲结构表示本身能带来收益；双曲蕴含损失优于普通图文对比；MedCLIP比通用CLIP或BioCLIP更适合医学语义对齐；Swin作为图像骨干表现最佳。
图7.
该图比较Swin基线和H2CL在HiCervix上的特征分布。H2CL在局部设置下形成更紧凑的子类簇，在全局设置下保持清晰的父类组织结构，并显著提高子类kNN纯度。该可视化直观支持本文核心主张：双几何学习能够同时提升细粒度区分和层级一致性。
图8.
该图列出三个数据集上的代表性误判。错误主要来自医学图像中真实存在的形态连续性、低分辨率、反光遮挡、多病灶共现以及细微结构不足等因素。该图有助于理解H2CL虽能降低层级错误，但在相邻病理谱系、多尺度病灶和成像质量受限场景下仍存在改进空间。
图9.
该图比较不同骨干下H2CL相对基线的参数量、训练时间、推理延迟和训练显存开销。默认Swin设置下，H2CL参数和时间开销很小，推理阶段因文本分支可移除而几乎不增加显存和延迟，说明该框架具备较好的实用部署潜力。
