Title

题目

Toward automated detection of microbleeds with anatomical scale localization using deep learning

利用深度学习实现对微出血的自动检测以及基于解剖学尺度的定位

01

文献速递介绍

脑微出血（CMBs）是脑组织中小的血液产物的慢性沉积，由血管壁受损所致。脑微出血通常出现在动脉和毛细血管附近（鲁布等人，1999年；塔朱丁等人，2016年）。在高龄人群以及脑血管疾病患者中常能检测到脑微出血（韦林等人，2005年）。特别是在阿尔茨海默病（AD）、痴呆症、缺血性和出血性中风患者中，脑微出血更为常见。近来，有研究报道脑微出血与认知能力下降、脑内出血、脑梗死以及短暂性脑缺血发作的复发相关（阿库达德等人，2016年；帕克等人，2017年）。此外，据观察，脑微出血是高血压或脑淀粉样血管病（CAA）导致的小血管病理损伤的有价值生物标志物（格雷瓜尔等人，2009年；费尔努伊等人，2008年）。与疾病的关联不仅取决于脑微出血的存在，还取决于其所在位置，比如脑叶、深部和幕下区域。例如，位于脑叶区域的脑微出血与脑淀粉样血管病密切相关，而脑淀粉样血管病又与阿尔茨海默病有关（马丁内斯-拉米雷斯等人，2015年）。位于深部区域的脑微出血与腔隙性脑梗死、高血压和舒张压变异性相关。位于幕下区域的脑微出血与收缩压变异性和无先兆偏头痛相关（阿金克等人，2015年；高等人，2018年；刘等人，2012年；勒纳尔，2018年）。关于认知能力下降，脑叶的脑微出血与一般认知功能、执行功能、记忆力和处理速度相关，而深部和幕下的脑微出血则与精神运动速度和注意力相关（阿库达德等人，2016年）。 磁共振成像（MRI）是检测脑微出血最广泛使用的方式。利用由梯度回波（GRE）磁共振成像脉冲序列生成的磁敏感加权图像（SWI），可以筛查出直径小至200微米的血管出血（田中等人，1999年）。然而，脑微出血的检测存在一些具有挑战性的因素。这些圆形或椭圆形的病变，大小在2到10毫米之间，与整个脑组织相比非常稀疏且微小（格林伯格等人，2009年；沃德劳等人，2013年）。另一个具有挑战性的因素是存在许多类似脑微出血的结构，它们在磁敏感加权图像中呈现出与脑微出血相似的低信号（例如，钙化灶和软脑膜血管）。据观察，利用相位图像可以区分钙化灶和脑微出血，因为它们的信号强度相反（山田等人，1996年）。然而，如图1所示，区分软脑膜血管和脑微出血具有挑战性，因为软脑膜血管在磁敏感加权图像和相位图像中呈现出相同的信号强度。因此，需要通过检查连续的切片或从多个方向（如冠状面和矢状面）的视图来进行辨别（格林伯格等人，2009年）。由于这些原因，手动检测和解剖学定位既耗时又费力，并且神经放射科医生之间的检查结果具有主观性。使用自动化检测工具作为辅助手段可以缓解这些问题，有助于提高脑微出血检测的时间效率。 在相关文献中，有两种使用深度学习卷积神经网络（CNN）的脑微出血检测方法（即单阶段检测方法和两阶段检测方法）。单阶段检测方法仅使用一个深度学习模型直接检测脑微出血。单阶段检测方法使用分类模型以取得比检测模型更好的性能。然而，与检测模型不同，检测模型通过一次性对输入图像的所有区域进行分类来提供多个输出，而分类模型仅对输入图像的中心目标进行分类。因此，有必要在逐步移动裁剪图像块中心的同时进行多次推理，这导致计算成本高且执行时间长。 另一方面，两阶段检测方法由两个顺序的模型组成：一个检测模型和一个分类模型。第一阶段通常用于筛选（即潜在候选目标检测），而第二阶段负责区分真正的脑微出血和类似脑微出血的结构（即减少假阳性）。与单阶段检测方法不同，两阶段检测方法所需的计算成本相对较低，因为只有第一阶段检测出的脑微出血候选目标才会进入第二阶段的分类模型。此外，大多数两阶段检测方法的性能优于单阶段检测方法，尤其是在假阳性率方面。然而，两阶段检测方法不是以端到端的方式进行训练的，所以存在一个缺点，即第二阶段的性能取决于第一阶段的表现；特别是在那些被遗漏的假阴性情况方面。 在本文中，我们提出了一种用于自动检测脑微出血的单阶段三维深度学习检测模型。所提出的研究工作将磁敏感加权图像（SWI）和相位图像都用作三维输入，以有效地捕捉三维信息。这项工作的主要贡献总结如下。首先，我们通过在单个端到端网络中整合三维U型网络（3D U-Net）作为骨干网络以及更快区域卷积神经网络（Faster R-CNN）的区域建议网络（RPN），建立了一个新的三维脑微出血检测模型（切克等人，2016年；任等人，2015年）。其次，我们将特征融合模块（FFM）纳入模型中，以便它能够有效地学习上下文信息（曹等人，2019年，2018年）。第三，我们开发了一种无需分类模型的单阶段检测方法，通过添加受卷积原型学习（CPL）启发的难样本原型学习（HSPL）中新提出的额外损失项（杨等人，2018年），其性能优于两阶段检测方法。 此外，我们将最初在2022年医学图像计算与计算机辅助干预国际会议（MICCAI2022）上提出的单阶段检测方法扩展为一个框架，该框架不仅能够检测脑微出血，还能通过分割脑结构来告知其解剖学位置（金等人，2022年）。这项工作的新贡献包括：首先，据我们所知，我们开发了一个前所未有的解剖学定位任务，该任务能够识别脑微出血的解剖学位置（即脑叶、深部和幕下区域），并进一步减少检测方法中的假阳性结果。其次，我们在我们的数据集上，将我们的检测方法的性能与当前最先进的方法进行了比较。 本文的其余部分结构如下。第2节提供了详细的文献综述。第3节详细解释了所提出的深度学习框架，该框架由一个单阶段检测方法和一个解剖学定位工具组成。第4节展示并讨论了该框架的实验结果。最后，第5节得出结论。

Aastract

摘要

Cerebral Microbleeds (CMBs) are chronic deposits of small blood products in the brain tissues, which have explicit relation to various cerebrovascular diseases depending on their anatomical location, including cognitive decline, intracerebral hemorrhage, and cerebral infarction. However, manual detection of CMBs is a time consuming and error-prone process because of their sparse and tiny structural properties. The detection of CMBs is commonly affected by the presence of many CMB mimics that cause a high false-positive rate (FPR), such as calcifications and pial vessels. This paper proposes a novel 3D deep learning framework that not only detects CMBs but also identifies their anatomical location in the brain (i.e., lobar, deep, and infratentorial regions). For the CMBs detection task, we propose a single end-to-end model by leveraging the 3D U-Net as a backbone with Region Proposal Network (RPN). To significantly reduce the false positives within the same single model, we develop a new scheme, containing Feature Fusion Module (FFM) that detects small candidates utilizing contextual information and Hard Sample Prototype Learning (HSPL) that mines CMB mimics and generates additional loss term called concentration loss using Convolutional Prototype Learning (CPL). For the anatomical localization task, we exploit the 3D U-Net segmentation network to segment anatomical structures of the brain. This task not only identifies to which region the CMBs belong but also eliminates some false positives from the detection task by leveraging anatomical information. We utilize Susceptibility-Weighted Imaging (SWI) and phase images as 3D input to efficiently capture 3D information. The results show that the proposed RPN that utilizes the FFM and HSPL outperforms the baseline RPN and achieves a sensitivity of 94.66 % vs. 93.33 % and an average number of false positives per subject (FPavg) of 0.86 vs. 14.73. Furthermore, the anatomical localization task enhances the detection performance by reducing the FPavg to 0.56 while maintaining the sensitivity of 94.66 %.

脑微出血（CMBs）是脑组织中小的血液产物的慢性沉积，根据其在解剖学上的位置，与各种脑血管疾病有着明确的关联，这些疾病包括认知能力下降、脑内出血和脑梗死。然而，由于脑微出血结构稀疏且微小，手动检测脑微出血是一个耗时且容易出错的过程。脑微出血的检测通常会受到许多类似脑微出血的结构的影响，这些结构会导致较高的假阳性率（FPR），比如钙化灶和软脑膜血管。 本文提出了一种新颖的三维深度学习框架，该框架不仅能够检测脑微出血，还能识别它们在大脑中的解剖学位置（即脑叶、深部和幕下区域）。对于脑微出血检测任务，我们提出了一个单一的端到端模型，该模型以三维U型网络（3D U-Net）为骨干网络，并结合了区域建议网络（RPN）。为了在同一个单一模型中显著降低假阳性率，我们开发了一种新方案，其中包含特征融合模块（FFM）和难样本原型学习（HSPL）。特征融合模块利用上下文信息检测小的候选目标，难样本原型学习则挖掘类似脑微出血的结构，并使用卷积原型学习（CPL）生成一个额外的损失项，称为集中损失。 对于解剖学定位任务，我们使用三维U型网络分割网络来分割大脑的解剖结构。这项任务不仅能够确定脑微出血属于哪个区域，还能通过利用解剖学信息，从检测任务中消除一些假阳性结果。我们将磁敏感加权成像（SWI）图像和相位图像作为三维输入，以便有效地捕捉三维信息。 结果表明，所提出的利用了特征融合模块和难样本原型学习的区域建议网络优于基线区域建议网络，其灵敏度达到了94.66%（基线为93.33%），并且每个受试者的平均假阳性数（FPavg）为0.86（基线为14.73）。此外，解剖学定位任务在保持94.66%灵敏度的同时，将平均假阳性数降低到了0.56，从而提高了检测性能。

Method

方法

3.1. Datasets

We retrospectively collected brain MR images of patients with CMBs from Gachon University Gil Medical Center (GMC). A total of 114 subjects including 365 CMBs were acquired. The mean number of CMBs per subject was 3.2, with a standard deviation of 4.53. Twenty-three subjects, including 75 CMBs, were randomly selected for testing, while the remaining 91 subjects, including 290 CMBs, composed the training dataset. The size range of CMBs is predominantly under 5 mm, with a maximum size limit reaching 10 mm. The subjects comprised 59 patients with cognitively normal, seven patients with mild cognitive impairment, and 48 patients with dementia (e.g., Alzheimer’s dementia, frontotemporal dementia, and traumatic brain injury). All subjects were scanned using 3T Verio and Skyra Siemens MRI scanners with the following imaging parameters: echo time (TE): 20 ms; repetition time (TR): 27 ms; flip angle (FA): 15◦; bandwidth/pixel (BW/pixel): 120 Hz/ pixel; resolution: 0.50 × 0.50 × 2 mm3 ; and matrix size: 512 × 448 × 72.We collected additionaldata from a total of 94 subjects, including 311 CMBs. The mean number of CMBs per subject was 3.31, with a standard deviation of 2.3. This dataset was utilized for generalization assessment. This testing data were collected from Seoul National University Hospital (SNUH) and were scanned using a 3T Biograph mMR Siemens MRI scanner with the following imaging parameters: TE: 20 ms; TR: 28 ms; FA: 15◦; BW/pixel: 170 Hz/pixel; resolution: 0.5 × 0.5 × 3 mm3 ; and matrix size: 448 × 392 × 52.The data acquisition was conducted in accordance with relevant regulations and guidelines. The study received approval from the Institutional Review Board of both sites.

我们回顾性地从加图立大学吉尔医学中心（GMC）收集了患有脑微出血（CMB）患者的脑部磁共振成像（MR）图像。共采集了114名受试者的图像，其中包含365个脑微出血病灶。每位受试者的脑微出血病灶平均数量为3.2个，标准差为4.53。随机选取了23名受试者（包含75个脑微出血病灶）用于测试，其余91名受试者（包含290个脑微出血病灶）构成了训练数据集。脑微出血病灶的大小范围主要在5毫米以下，最大可达10毫米。这些受试者包括59名认知正常的患者、7名轻度认知障碍患者以及48名患有痴呆症（如阿尔茨海默病性痴呆、额颞叶痴呆和创伤性脑损伤）的患者。所有受试者均使用3T的西门子Verio和Skyra磁共振扫描仪进行扫描，成像参数如下：回波时间（TE）：20毫秒；重复时间（TR）：27毫秒；翻转角（FA）：15度；带宽/像素（BW/像素）：120赫兹/像素；分辨率：0.50×0.50×2立方毫米；矩阵大小：512×448×72。 我们还从另外94名受试者处收集了数据，其中包含311个脑微出血病灶。每位受试者的脑微出血病灶平均数量为3.31个，标准差为2.3。该数据集用于进行泛化评估。这些测试数据来自首尔国立大学医院（SNUH），使用3T的西门子Biograph mMR磁共振扫描仪进行扫描，成像参数如下：回波时间（TE）：20毫秒；重复时间（TR）：28毫秒；翻转角（FA）：15度；带宽/像素（BW/像素）：170赫兹/像素；分辨率：0.5×0.5×3立方毫米；矩阵大小：448×392×52。 数据采集是按照相关规定和指南进行的。本研究获得了两个研究地点的机构审查委员会的批准。

Conclusion

结论

In this paper, we present a framework that not only detects CMBs in the detection task but also identifies their anatomical location in the newly proposed anatomical localization task. In the case of the detection task, we proposed the Feature Fusion Module (FFM) that reduces false positives by incorporating contextual information into the final feature map, and the Hard Sample Prototype Learning (HSPL) that enables the model to concentrate on CMB mimics (i.e., hard samples). The proposed modules in our single-stage detector outperform the two-stage detectors without using any classification model. Further, the main purpose of the anatomical localization task is to identify the anatomical location of CMBs, contributing to elimination of false positives in regions where CMBs could not exist, decreasing FPavg.

在本文中，我们提出了一个框架，该框架不仅能在检测任务中检测出脑微出血（CMBs），还能在新提出的解剖学定位任务中识别出它们的解剖学位置。 在检测任务方面，我们提出了特征融合模块（FFM），它通过将上下文信息融入到最终的特征图中，从而减少假阳性结果；还提出了难样本原型学习（HSPL），它能让模型专注于类似脑微出血的结构（即难样本）。我们单阶段检测器中提出的这些模块，在不使用任何分类模型的情况下，性能优于两阶段检测器。 此外，解剖学定位任务的主要目的是识别脑微出血的解剖学位置，这有助于剔除脑微出血不可能存在区域中的假阳性结果，从而降低平均假阳性数（FPavg）。

Results

结果

We qualitatively validated the effect of FFM on CMBs detection in Fig. 6. To visually evaluate the feature maps at each level, the number of channels in the feature map at each level is set to 1. As the baseline RPN and the RPN with FFM were trained separately, a strict comparison of the feature maps between the two models is challenging. Nevertheless, it can be observed that the contrast difference in the final feature map affects the probability map in both models. In the baseline RPN, the feature map of the third level serves as the final feature map. As shown in the probability map of the baseline RPN, regions containing CMB mimic exhibit high probability scores. In the case of the RPN with FFM, the final feature map is generated by summing the feature maps from three distinct levels. As shown in Fig. 6(a) and (b) of the RPN with FFM, regions where the CMB mimics might exist were identified utilizing contextual information. Subsequently, these regions were summed with those incorrectly predicted as the CMB regions in Fig. 6© of the RPN with FFM, resulting in the corrected Fig. 6(d). Therefore, the probability scores of the RPN with FFM in the regions of CMB mimic are reducedcompared to the baseline RPN case. As shown in Fig. 7, we plotted dimension-reduced feature vectors of true positives, false positives, false negatives, and true negatives. We randomly extracted feature vectors of true negatives from regions not close to the regions of CMBs and false positives. When comparing baseline RPN and RPN with FFM, it can be observed that the RPN with FFM exhibits a lower feature vector density of false positives compared to the baseline RPN. Quantitatively, for the GMC dataset as shown in Table 1, incorporating FFM resulted in a 40.12 % reduction in FPavg while maintaining sensitivity. For the SNUH dataset, incorporating FFM led to a 0.32 % decrease in sensitivity, but achieved a 31.32 % reduction in FPavg.

我们在图6中定性地验证了特征融合模块（FFM）对脑微出血（CMB）检测的效果。为了从视觉上评估每个层级的特征图，我们将每个层级特征图的通道数设置为1。由于基线区域提议网络（RPN）和带有特征融合模块的区域提议网络是分别进行训练的，所以严格比较这两个模型的特征图具有一定挑战性。尽管如此，可以观察到最终特征图中的对比度差异会影响两个模型中的概率图。 在基线区域提议网络中，第三层级的特征图作为最终特征图。正如基线区域提议网络的概率图所示，包含脑微出血类似物（假阳性区域）的区域具有较高的概率得分。对于带有特征融合模块的区域提议网络，最终特征图是通过对三个不同层级的特征图求和得到的。如带有特征融合模块的区域提议网络的图6(a)和(b)所示，利用上下文信息识别出了可能存在脑微出血类似物的区域。随后，将这些区域与带有特征融合模块的区域提议网络的图6©中被错误预测为脑微出血区域的部分进行求和，从而得到了修正后的图6(d)。因此，与基线区域提议网络相比，带有特征融合模块的区域提议网络在脑微出血类似物区域的概率得分降低了。 如图7所示，我们绘制了真阳性、假阳性、假阴性和真阴性的降维特征向量。我们从远离脑微出血区域和假阳性区域的地方随机提取真阴性的特征向量。当比较基线区域提议网络和带有特征融合模块的区域提议网络时，可以观察到，与基线区域提议网络相比，带有特征融合模块的区域提议网络的假阳性特征向量密度更低。 从定量角度来看，对于加图立大学吉尔医学中心（GMC）的数据集，如表1所示，加入特征融合模块在保持敏感度的同时，使平均假阳性率（FPavg）降低了40.12%。对于首尔国立大学医院（SNUH）的数据集，加入特征融合模块使敏感度降低了0.32%，但平均假阳性率降低了31.32%。

Figure

图

Fig. 1. Comparison between CMB and pial vessel through consecutive slices in the axial, sagittal, and coronal planes. The scan resolution of these MR images is 0.5 ×0.5 × 2 mm3 .

图1：通过轴位、矢状位和冠状位的连续切片对脑微出血（CMB）和软脑膜血管进行的对比。这些磁共振图像的扫描分辨率为0.5×0.5×2立方毫米。

Fig. 2. Overview diagram of the proposed deep learning framework.

图2：所提出的深度学习框架的概览图。

Fig. 3. The architecture of the detection task. The input consists of SWI and phase images. conv(n): n × n × n convolutional layer, BN: batch normalization, transposed conv(n): n × n × n transposed convolutional layer, maxpool(n): n × n × n max pooling layer. The Lcls, Lreg, and Lcon are losses for classification, bounding box offset, and concentration learning, respectively

图3：检测任务的架构图。输入由磁敏感加权成像（SWI）图像和相位图像组成。conv(n)：表示n×n×n的卷积层，BN：表示批量归一化，转置卷积（transposed conv(n)）：表示n×n×n的转置卷积层，最大池化（maxpool(n)）：表示n×n×n的最大池化层。$L{cls}$、$L{reg}$ 和 $L_{con}$ 分别是用于分类、边界框偏移以及集中学习的损失项。

Fig. 4. Overview diagram of the proposed Hard Sample Prototype Learning (HSPL).

图4：所提出的难样本原型学习（HSPL）的概览图。

Fig. 5. The architecture of the anatomical localization task. The input consists of a cropped patch and three tensors which have absolute coordinate information for x, y, and z axes.

图5：解剖学定位任务的架构图。输入由一个裁剪后的图像块以及三个分别包含x轴、y轴和z轴绝对坐标信息的张量组成。

Fig. 6. The feature maps and their generated probability map of the baseline RPN and RPN with FFM. The lesion in red circle is a CMB mimic. (a), (b), and © show the feature maps from first to third levels. (d) shows the final feature map. The probability map is also shown on the far right. Note that RPN+FFM reduces the detection probability for this CMB mimic.

图6：基线区域建议网络（RPN）以及带有特征融合模块（FFM）的区域建议网络的特征图及其生成的概率图。红色圆圈中的病变是一个类似脑微出血（CMB）的结构。（a）、（b）和（c）展示了从第一级到第三级的特征图。（d）展示了最终的特征图。最右边还显示了概率图。请注意，带有特征融合模块的区域建议网络（RPN + FFM）降低了对这个类似脑微出血结构的检测概率。

Fig. 7.Feature vectors of CMBs and non-CMBs for three models. The dimension of feature vectors is reduced to two dimensions using t-SNE. The blue, red, yellow, and green points indicate feature vectors of true positives, false positives, false negatives, and true negatives, respectively. The top row represents an instance from the GMC dataset, while the bottom row shows an example from the SNUH dataset.

图7：三种模型的脑微出血（CMBs）和非脑微出血的特征向量。使用t分布随机邻域嵌入（t-SNE）将特征向量的维度降至二维。蓝色、红色、黄色和绿色的点分别表示真阳性、假阳性、假阴性和真阴性的特征向量。上排展示的是来自GMC数据集的一个实例，而下排展示的是来自首尔国立大学医院（SNUH）数据集的一个示例。 

Fig. 8. Examples of the detected candidates using different methods: baseline RPN, RPN with FFM, and RPN with FFM and HSPL. The lesions in green boxes are CMBs and lesions in red boxes are CMB mimics. The values written over the probability maps indicate the probability scores, with thresholds set at 0.3, 0.5, and 0.4 for the baseline RPN, RPN with FFM, and RPN with FFM and HSPL, respectively

图8：使用不同方法检测到的候选目标示例：基线区域建议网络（RPN）、带有特征融合模块（FFM）的区域建议网络，以及带有特征融合模块（FFM）和难样本原型学习（HSPL）的区域建议网络。绿色框中的病变是脑微出血（CMBs），红色框中的病变是类似脑微出血的结构。概率图上方的数值表示概率得分，基线区域建议网络、带有特征融合模块的区域建议网络、带有特征融合模块和难样本原型学习的区域建议网络的阈值分别设置为0.3、0.5和0.4。

Fig. 9. (a) shows the sensitivity vs. FPavg, while the (b) presents the PR curve for baseline RPN, RPN with FFM, and RPN with FFM and HSPL.

图9：（a）展示了灵敏度与平均假阳性数（FPavg）的关系，而（b）呈现了基线区域建议网络（RPN）、带有特征融合模块（FFM）的区域建议网络，以及带有特征融合模块（FFM）和难样本原型学习（HSPL）的区域建议网络的精确率-召回率（PR）曲线。

Fig. 10. Distribution of false positives per subject for baseline RPN, RPN with FFM, and RPN with FFM and HSPL, presenting performance results on (a) the GMC dataset and (b) the SNUH dataset.

图10：基线区域建议网络（RPN）、带有特征融合模块（FFM）的区域建议网络，以及带有特征融合模块（FFM）和难样本原型学习（HSPL）的区域建议网络中每个受试者假阳性的分布情况，分别展示了在（a）GMC数据集和（b）首尔国立大学医院（SNUH）数据集上的性能结果。

Fig. 11. The lesions in boxes are CMB candidates from detection task. The red, green, and blue regions indicate lobar regions, deep regions, and infratentorial regions, respectively. All these detected CMB candidates get eliminated after checking the segmentation results where the candidates exist out of the anatomical regions.

图11：框内的病变是检测任务中得到的脑微出血（CMB）候选目标。红色、绿色和蓝色区域分别表示脑叶区域、深部区域和幕下区域。在检查分割结果后，所有这些检测到的脑微出血候选目标都被剔除了，因为这些候选目标存在于相应的解剖区域之外。

Table

表

Table 1 Comparison between the proposed single-stage approach and the two existing works using GMC and SNUH datasets.

表1：所提出的单阶段方法与两项现有研究成果在使用GMC数据集和首尔国立大学医院（SNUH）数据集时的对比情况。

Table 2 Comparison between the proposed single-stage approach against the recent works in the literature on CMBs Detection

表2：所提出的单阶段方法与文献中近期关于脑微出血（CMBs）检测的研究成果之间的对比情况。

Table 3 Performance on the anatomical localization task across three types of data

表3：在三种类型的数据上进行解剖学定位任务时的性能表现。

Table 4 Performance of the overall framework.

表4：整体框架的性能表现。