Title
题目
Self-knowledge distillation-empowered directional connectivity transformerfor microbial keratitis biomarkers segmentation on slit-lamp photography
用于裂隙灯摄影中微生物角膜炎生物标志物分割的自我知识蒸馏赋能定向连接Transformer
01
文献速递介绍
微生物角膜炎（MK）是一种使人衰弱的感染性角膜疾病，是全球第五大致盲原因（Cabrera-Aguas等人，2022）。MK表现为因患者和感染微生物而异的复杂形态学特征。治疗对视力预后的效果取决于临床医生客观评估MK生物标志物（如基质浸润（SI）和上皮缺损（ED））形态的能力（Mannis和Holland，2021；Vital等人，2007）。疾病的严重程度评估还可通过其他生物标志物指示，如白细胞（WBC）浸润和前房积脓（Lalitha等人，2006）。迄今为止，眼科医生缺乏量化MK生物标志物形态的标准化、客观工具。当前对MK生物标志物的评估具有主观性，包括裂隙灯生物显微镜手动测径测量、电子健康记录（EHR）中的文本描述和示意图绘制（Mukerji等人，2003；VanRoekel等人，2006；Otri等人，2012；Maganti等人，2019）。这些主观测量可能导致角膜病理生理评估不充分，进而引发治疗延迟、更差的视力预后甚至失明（Miedziak等人，1999）。同时，先前研究（Toutain-Kidd等人，2014；Patel等人，2018）表明，使用基于标准化图像的方法捕获和测量角膜中的MK生物标志物可提高数据可靠性和保真度，这表明需要开发自动测量MK生物标志物的方法。 裂隙灯摄影（SLP）（Martonyi等人，2007）是一种低成本且广泛应用的高分辨率眼前节成像技术。通过不同的照明选择，SLP可增强特定MK生物标志物的可见性，如上皮缺损（Bennett和Barry，2009）。鉴于SLP的广泛可及性，基于SLP的自动图像分析工具若能提供准确客观的MK生物标志物评估，将有助于MK治疗规划。 早期角膜生物标志物分割研究依赖传统图像处理技术，如k-means（Deng等人，2018a）和超像素（Deng等人，2018b），这些方法泛化能力较低。深度神经网络（Gu等人，2019；Ronneberger等人，2015；Yang和Farsiu，2023；Long等人，2015）卓越的特征提取和泛化能力使其成为角膜图像分割的常用方法（Portela等人，2021；Mayya等人，2021；Sun等人，2017；Wang等人，2022a，2021）。然而，这些算法大多仅关注量化单一生物标志物（如基质浸润），而忽略了其他对评估MK至关重要的生物标志物，如前房积脓、白细胞或上皮缺损（Loo等人，2021）。 MK生物标志物分割面临若干挑战：（1）尽管定位生物标志物边界对下游评估至关重要，但生物标志物（如图1所示的SI和WBC）缺乏清晰边界（Loo等人，2020b）。因此，自动模型需要具备强大的特征提取和定位能力。同时，需要进行评分者间变异性研究以确定手动评分的可靠性范围。（2）生物标志物可能存在大面积重叠区域（图1），这要求网络具备强大的特征聚合能力。（3）缺乏大规模数据集进一步限制了网络训练。针对第一个挑战，基于连接性的方法通过建模像素间关系和边界区域的稀疏性提供了解决方案（Yang等人，2022b）。我们最近关于定向连接建模的工作DconnNet（Yang和Farsiu，2023）通过在连接网络的特征图通道中融入方向信息，进一步增强了网络的特征提取能力。然而，DconnNet假设方向信息会随着解码器深度增加而自动优化，这一简化假设可通过对中间方向特征添加额外正则化进一步改进，如图2所示。解决第二个（重叠）挑战的常见方法是Mask R-CNN（He等人，2017）范式，即先检测边界框再分割实例掩码。我们先前分割MK多生物标志物的工作SLIT-Net（Loo等人，2020b）采用了这种两阶段架构，并引入了一个受试者数量有限的MK分割数据集。但其性能严重依赖编码器结构（Ke等人，2021），且需要额外后处理，这限制了其效率和准确性。 在本文中，我们扩展了关于定向连接建模的会议论文（DconnNet）（Yang和Farsiu，2023），提出了一种自我知识蒸馏赋能的定向连接Transformer（SDCTrans），并配套一个新的大规模数据集，用于MK生物标志物分割。相比会议论文，我们引入了多项改进：首先，构建了基于Transformer的编码器，配备子路径方向激励（SDE）模块以增强定向连接建模，这是首次将Transformer与连接性建模结合的工作。其次，为监控和解码器中定向特征的一致性，我们提出了分层自我知识蒸馏解码器（HSDD）。最后，提出基于类别特异性连接的分割头（CCSH），以低计算成本预测重叠生物标志物，并进一步聚焦于单个生物标志物类别的边界建模。通过第5节的综合实验，我们证明所提出的模型是分割MK生物标志物的最新（SOTA）模型。通过第5.3节的评分者间研究，我们表明该模型在标注MK时可达到与第二位评分者相当的性能。第5.4节中对皮肤病变分割的额外实验进一步证明了SDCTrans作为医学分割通用解决方案的优越性。为评估模型的临床适用性，第6节研究了真实临床病例中预测生物标志物与视力的相关性。 综上所述，本研究的主要贡献包括： • 提出一种新颖的基于定向连接的Transformer（SDCTrans）用于MK生物标志物分割，这也是首个基于连接性的视觉Transformer模型。 • 设计分层自我知识蒸馏机制以监控和解码器中定向特征的相似度最大化，同时提出基于连接性的新型分割头，以可忽略的额外计算成本预测重叠生物标志物。 • 相比SOTA的MK生物标志物分割方法和其他主流图像分割方法表现更优，结果与人类评分相当。验证了模型在评估MK视力预后及其他医学分割任务中的潜力。 • 免费共享开源代码和专家标注数据集。据我们所知，这个包含167例MK患者、三种裂隙灯成像设置的数据集是目前最大的具有多生物标志物注释的裂隙灯图像开放获取数据集。
Abatract
摘要
The lack of standardized, objective tools for measuring biomarker morphology poses a significant obstacleto managing Microbial Keratitis (MK). Previous studies have demonstrated that robust segmentation benefitsMK diagnosis, management, and estimation of visual outcomes. However, despite exciting advances, currentmethods cannot accurately detect biomarker boundaries and differentiate the overlapped regions in challengingcases. In this work, we propose a novel self-knowledge distillation-empowered directional connectivity transformer, called SDCTrans. We utilize the directional connectivity modeling framework to improve biomarkerboundary detection. The transformer backbone and the hierarchical self-knowledge distillation scheme in thisframework enhance directional representation learning. We also propose an efficient segmentation head designto effectively segment overlapping regions. This is the first work that successfully incorporates directionalconnectivity modeling with a transformer. SDCTrans trained and tested with a new large-scale MK datasetaccurately and robustly segments crucial biomarkers in three types of slit lamp biomicroscopy images. Throughcomprehensive experiments, we demonstrated the superiority of the proposed SDCTrans over current stateof-the-art models. We also show that our SDCTrans matches, if not outperforms, the performance of experthuman graders in MK biomarker identification and visual acuity outcome estimation. Experiments on skinlesion images are also included as an illustrative example of SDCTrans’ utility in other segmentation tasks.
缺乏用于测量生物标志物形态的标准化、客观工具，这是微生物角膜炎（MK）管理的重大障碍。先前研究表明，可靠的分割有助于MK的诊断、管理和视觉预后评估。然而，尽管取得了令人振奋的进展，当前方法在具有挑战性的病例中仍无法准确检测生物标志物边界并区分重叠区域。 在这项工作中，我们提出了一种新颖的基于自我知识蒸馏的定向连接Transformer，称为SDCTrans。我们利用定向连接建模框架来改善生物标志物的边界检测。该框架中的Transformer主干和分层自我知识蒸馏方案增强了方向表示学习能力。我们还提出了一种高效的分割头设计，以有效分割重叠区域。这是首次成功将定向连接建模与Transformer结合的工作。 SDCTrans在一个新的大规模MK数据集上进行训练和测试，可准确且稳健地分割三种裂隙灯生物显微镜图像中的关键生物标志物。通过综合实验，我们证明了所提出的SDCTrans优于当前最先进的模型。此外，我们还表明，SDCTrans在MK生物标志物识别和视力预后评估方面的表现即使不超过专业人类评分者，也与之相当。作为SDCTrans在其他分割任务中实用性的例证，我们还对皮肤病变图像进行了实验。
Method
方法
We propose a novel self-knowledge distillation-empowered directional connectivity transformer (SDCTrans, Fig. 3), as described indetail in the following subsections.
我们提出了一种新颖的自我知识蒸馏赋能定向连接Transformer（SDCTrans，如图3所示），具体细节将在以下小节中详细阐述。
Conclusion
结论
In this work, we proposed a novel self-knowledge distillationempowered directional connectivity transformer, SDCTrans, for MKbiomarker segmentation. This method is the first to integrate connectivity modeling into a transformer architecture. Through extensiveexperiments on SLP images under three different illuminations, ourmodel demonstrated its superiority over other state-of-the-art models,especially in segmenting pathological MK biomarkers. Finally, an interreader variability study and a demonstrative clinical applicability studyshowed that the performance of the proposed automatic SDCTransbased method performance is statistically either on par or better thanthe critically time-consuming, subjective, and expensive expert humanevaluation of MK biomarkers on SLP images. To promote future research in this area, we have made our extended annotated data set andnew and improved algorithms open-source and freely available online.
在这项工作中，我们提出了一种新颖的自我知识蒸馏赋能定向连接Transformer（SDCTrans），用于微生物角膜炎（MK）生物标志物的分割。该方法首次将连接性建模集成到Transformer架构中。通过在三种不同光照条件下的裂隙灯摄影（SLP）图像上进行的大量实验，我们的模型展现出了优于其他最先进模型的性能，尤其在分割病理性MK生物标志物方面表现突出。最后，一项评分者间变异性研究和一项示范性临床适用性研究表明，基于自动SDCTrans的方法在统计意义上与基于SLP图像的MK生物标志物的专家人工评估相当，甚至更优，而人工评估耗时、主观且成本高昂。为推动该领域的未来研究，我们已将扩展的注释数据集和新的改进算法开源并在网上免费提供。
Figure
图
Fig. 1. Example of MK biomarkers in white light Slit-lamp image. The task is challenging due to heavily overlapping between biomarkers, lack of definite borders, and dataimbalance.
图1. 白光裂隙灯图像中的微生物角膜炎（MK）生物标志物示例。由于生物标志物间的严重重叠、边界不明确以及数据不平衡，该任务具有挑战性。
Fig. 2. Comparison of different modeling methods. Connectivity modeling (b)–(d) exhibits advantages over general modeling (a) e.g., Ronneberger et al. (2015). In (b), Yang et al.(2022b) the latent space of the connectivity network is undefined. In © Yang and Farsiu (2023), directional features were extracted in the bottleneck and passed to the decoderwithout regularization. Frequent interactions between the two branches lead to the fusion of directional and categorical features. In (d), our model adds extra regularization tothe decoder to ensure the consistency of the directional embeddings
图2. 不同建模方法的对比。与常规建模方法（如Ronneberger等人于2015年提出的方法，图a）相比，连接性建模方法（图b-d）展现出显著优势。具体而言： - 图b（Yang等人，2022b）中，连接性网络的潜在空间未明确定义； - 图c（Yang和Farsiu，2023）在瓶颈层提取方向特征并传递至解码器，但未进行正则化处理，两个分支的频繁交互导致方向特征与类别特征融合； - 图d为我们提出的模型，通过在解码器中引入额外正则化，确保方向嵌入的一致性。
Fig. 3. Overview of the SDCTrans architecture, including a Transformer-based encoder and sub-path directional excitation (SDE) module, a Hierarchical Self-knowledge DistillatedDecoder (HSDD), and several Class-specific Connectivity-based Segmentation heads (CCSHs)
图3. SDCTrans架构概览，包括基于Transformer的编码器与子路径方向激励（SDE）模块、分层自我知识蒸馏解码器（HSDD），以及多个基于类别特异性连接的分割头（CCSH）。
Fig. 4. The 𝑖 𝑡ℎ and (𝑖 + 1)𝑡ℎ Space Blocks and the DSKD module between them. The directional embedding was distilled with cosine similarity from one stage to the next.
图4. 第𝑖个和第(𝑖+1)个空间块及其间的DSKD模块。方向嵌入通过余弦相似度从一个阶段蒸馏至下一阶段。
Fig. 5. CCSH module. For each biomarker, multi-scale feature maps will be integrated into the connectivity map before the final prediction. CBR stands for Convolution, BatchNorm,and ReLu.
图5. 基于类别特异性连接的分割头（CCSH）模块示意图。对于每个生物标志物，多尺度特征图在最终预测前将被整合至连接性映射中。其中，CBR表示卷积（Convolution）、批量归一化（BatchNorm）和ReLU激活函数。
Fig. 6. Visualization of the segmentation performance of SDCTrans and other best-performed models in each category: CE-Net and DconnNet (CNN-based), H2Former (transformerbased), and SLIT-Net (MK) in white light, blue light, and ScS SLP images.
图6. SDCTrans与各类型最佳性能模型的分割效果可视化：包括白光、蓝光和ScS裂隙灯摄影图像中的CE-Net和DconnNet（基于CNN）、H2Former（基于Transformer）以及SLIT-Net（针对MK）。
Table
表
Table 1Summary of sample size and biomarker size of the dataset.
表1 数据集样本量及生物标志物尺寸汇总
Table 2Results on the white light images. Mean (std) are reported for each metric. Model size and processing speed are also reported. The best results are bold
表2 白光图像的实验结果 每项指标均报告均值（标准差），同时列出模型规模和处理速度。最优结果以粗体标注。
Table 3Results on the Blue light images (left) and ScS images (right). Mean (std) are reported for each metric. The best results are bold
表3 蓝光图像（左）与ScS图像（右）的实验结果 每项指标均报告均值（标准差），最优结果以粗体标注。
Table 4Ablation study on while light images. Baseline stands for DconnNet. DSC are reported for each architecture, along with the sizes of the addedmodule.
表4 白光图像的消融实验结果 基线模型为DconnNet，报告各架构的DSC系数及新增模块的参数量。
Table 5Study on the encoder structures by replacing SDCTrans’ encoder with different architectures. DSC is reported.
表5采用不同架构替换SDCTrans编码器的研究 报告相应的DSC系数。
Table 6Reliability study on SLIT-Net dataset. Top: Results comparison on SLIT-Net dataset. Bottom: Inter-grader study using the same annotation dataand sub-set in SLIT-Net paper. All results are DSC over P1 except the statistical test.
表6 SLIT-Net数据集的可靠性研究 上部分： SLIT-Net数据集的结果对比； 下部分： 使用SLIT-Net论文中相同标注数据和子集进行的评分者间一致性研究。除统计检验外，所有结果均为基于P1的DSC系数。
Table 7Experiments on ISIC2018 skin lesion segmentation dataset. Best results are Bold.
表7 在ISIC2018皮肤病变分割数据集上的实验结果 最优结果以粗体标注。
Table 8Correlations coefficients between BCVA and individual pathological biomarkers and the combined biomarkers.
表8 BCVA与单个病理生物标志物及组合生物标志物之间的相关系数
