Title
题目
Organ-level instance segmentation enables continuous time-space-spectrum analysis of pre-clinical abdominal photoacoustic tomography images
器官级实例分割实现了对临床前腹部光声断层成像图像的连续时空频谱分析。
01
文献速递介绍
光声断层成像（Photoacoustic Tomography, PAT）是一种新兴的成像模式，凭借其卓越的空间分辨率、丰富的成像对比度和非电离辐射的光学特性，被广泛应用于临床前研究（Ivankovic et al., 2019; Knieling et al., 2017; Li et al., 2019; Taruttis and Ntziachristos, 2015; Tang et al., 2023）。作为一种多光谱成像技术，PAT能够从生物组织中获取空间、时间和光谱信息（Li et al., 2022; Zhang et al., 2023; Razansky et al., 2011），在心血管和炎症疾病（Deán-Ben et al., 2015）、血氧饱和度（sO2）可视化（Li et al., 2018）、肿瘤定位（Zhang et al., 2019a）、器官损伤分析（Lv et al., 2021）及药物输送（Zhang et al., 2019b; Manivasagan et al., 2016）等领域具有广泛应用。
PAT的多维连续成像能力体现在以下三个典型场景中：纵向观察（时间域成像）、多切面轴向扫描（空间域成像）和多光谱成像（光谱域成像）。在纵向观察中，图像序列反映了组织运动、器官形态和功能随时间的连续变化。在轴向扫描场景中，可获得目标对象的三维模型；在多光谱成像中，通过多波长光激发的PAT图像，可以区分组织内光吸收体（如氧合血红蛋白和脱氧血红蛋白）的分布。在小动物腹部PAT成像中，上述多维成像应用通常需要器官级图像分析，以提取器官形状、大小、色素浓度及定位、药物沉积和内源性/外源性生物标记信号分布等定量信息。这些多参数图像分析任务使得器官解剖结构的精准分割变得至关重要。例如，在纵向成像中，器官形态随时间的变化可以通过器官分割加以量化。此外，不同器官的分割还可以进一步实现基于器官的图像处理。由于PAT图像中的光学能量密度分布是吸收系数与光流分布的乘积，光流衰减校正是一种提高图像质量并恢复光吸收体分布的有效方法。然而，现有校正方法假设整个动物体的光学吸收均匀，仅分割体表，这种方法忽略了不同器官的光学异质性，校正性能受到限制。通过对主要器官的精准分割，可以将这些器官的光学吸收参数引入光流校正，进一步提高性能。此外，结合器官级光流校正，多波长PAT图像的解混可以改善深部组织中光吸收体的定位。
目前，PAT图像的器官分割通常依赖手动标注，通过逐层识别器官轮廓完成，这种方法重复性高、耗时长，特别是在需要处理大量连续图像时更为困难。此外，手动分割的精度和可重复性高度依赖操作人员的经验，存在较大的观察者间差异。为解决这些问题，已有多种PAT图像自动分割方法被提出，例如小动物图像结构识别、肿瘤分割、血管分割和皮肤层分割等。然而，这些方法通常聚焦于局部成像区域中的特定器官或组织类型，尚未见针对大范围器官实例分割的研究。小动物腹部器官在PAT图像中的典型特征包括低对比度、模糊的边界和复杂的形态，这为精准器官分割带来了挑战。此外，不同器官相对大小的显著差异，例如肝脏与血管的大小差异，容易导致传统基于卷积神经网络（CNN）的方法出现局部语义信息丢失问题。相比之下，基于图卷积网络（GCN）的方法能够缓解特征提取过程中的位置信息和结构信息丢失问题，生成与实际解剖特征一致的平滑轮廓。因此，将这种方法应用于PAT图像的器官分割任务是可行的。此外，在多维连续PAT成像中，获取的图像序列共享丰富的目标信息，时间-空间-光谱信息可以被引入模型以提高分割精度。
基于上述分析，我们提出了一种基于结构融合增强图卷积网络（SFE-GCN）的多器官实例分割方案，适用于临床前腹部PAT图像。我们的方法通过上下文融合结构特征，提取连续图像中的空间-时间-光谱关联信息。具体来说，我们使用基于CNN的主干网络提取语义特征，生成初始轮廓和每个器官的分类属性。然后，通过残差GCN（ResGCN）估算轮廓的顶点偏移，获得最终的分割边界。无需人工干预或参数调整，我们的方法能够自动分割腹部PAT图像中的主要器官，包括身体、肝脏、肾脏、脾脏、血管和脊柱。我们在超过3000张注释过的小鼠腹部PAT图像上验证了其性能，这是迄今为止最大的腹部PAT图像器官分割验证数据集。此外，我们的方法在器官动态分析、基于器官的光流衰减校正以及深部组织内源性对比剂可视化增强等多维器官分析任务中展现了优势。
总结来说，本研究的贡献包括：SFE-GCN首次实现了腹部PAT图像的精准多器官实例分割。我们的方法利用了连续PAT图像的共享结构信息，提高了分割精度。我们在时间、空间和光谱域连续腹部PAT数据集（超过3000张图像）上评估了SFE-GCN的性能。通过多器官分割，我们实现了器官随时间变化的定量分析、基于器官的光流校正以及光谱解混对比剂的可视化增强。
文章其余部分组织如下：第2节介绍SFE-GCN的总体框架及其组成部分的详细描述；第3节阐述实验数据、参数设置和定量评价指标；第4节对实验结果进行全面分析；第5节和第6节分别为讨论和结论。
Aastract
摘要
Photoacoustic tomography (PAT), as a novel biomedical imaging technique, is able to capture temporal, spatialand spectral tomographic information from organisms. Organ-level multi-parametric analysis of continuousPAT images are of interest since it enables the quantification of organ specific morphological and functionalparameters in small animals. Accurate organ delineation is imperative for organ-level image analysis, yetthe low contrast and blurred organ boundaries in PAT images pose challenge for their precise segmentation.Fortunately, shared structural information among continuous images in the time-space-spectrum domain maybe used to enhance segmentation. In this paper, we introduce a structure fusion enhanced graph convolutionalnetwork (SFE-GCN), which aims at automatically segmenting major organs including the body, liver, kidneys,spleen, vessel and spine of abdominal PAT image of mice. SFE-GCN enhances the structural feature of organs byfusing information in continuous image sequence captured at time, space and spectrum domains. As validatedon large-scale datasets across different imaging scenarios, our method not only preserves fine structural detailsbut also ensures anatomically aligned organ contours. Most importantly, this study explores the application ofSFE-GCN in multi-dimensional organ image analysis, including organ-based dynamic morphological analysis,organ-wise light fluence correction and segmentation-enhanced spectral un-mixing.
光声断层成像（Photoacoustic Tomography, PAT）是一种新型的生物医学成像技术，能够从生物体中捕获时间、空间和光谱的断层信息。对连续PAT图像进行器官级多参数分析具有重要意义，因为它可以定量评估小动物特定器官的形态和功能参数。然而，器官级图像分析需要精准的器官分割，而PAT图像中低对比度和模糊的器官边界为精准分割带来了挑战。幸运的是，可以利用连续图像在时间-空间-光谱域中共享的结构信息来提高分割效果。
在本文中，我们提出了一种结构融合增强图卷积网络（Structure Fusion Enhanced Graph Convolutional Network, SFE-GCN），旨在对小鼠腹部PAT图像中的主要器官（包括身体、肝脏、肾脏、脾脏、血管和脊柱）进行自动分割。SFE-GCN通过融合时间、空间和光谱域中的连续图像序列信息来增强器官的结构特征。在不同成像场景下的大规模数据集验证表明，我们的方法不仅能够保留精细的结构细节，还能够确保解剖学上对齐的器官轮廓。
更重要的是，本研究探索了SFE-GCN在多维器官图像分析中的应用，包括基于器官的动态形态分析、器官光流校正和基于分割的光谱解混。
Method
方法
The architecture of the proposed SFE-GCN framework is shown inFig. 2. Given a continuous image sequence (from the time, space orspectrum domain) as input, the method first extracts low level featuresfrom the image sequence and fuses them through summation. Then,the multi-scale CNN feature extractor extracts the semantic featureat different scales to produce a global feature map. Three predictionheads are employed to assign classification labels and generate initialcontours for each organ. Finally, the ResGCN module transforms theinitial contours into graph-structured data and then predicts the offsetsfor all vertices to generate the final segmentation contours.
所提出的SFE-GCN框架的架构如图2所示。给定一个连续的图像序列（来源于时间域、空间域或光谱域）作为输入，方法首先从图像序列中提取低级特征，并通过求和实现特征融合。随后，多尺度CNN特征提取器在不同尺度上提取语义特征，生成全局特征图。接着，三种预测头被用来为每个器官分配分类标签并生成初始轮廓。最后，ResGCN模块将初始轮廓转换为图结构数据，并预测所有顶点的偏移量，从而生成最终的分割轮廓。
Conclusion
结论
In this paper, we propose an end-to-end multi-organ instance segmentation method named SFE-GCN for abdominal PAT images. Byincorporating a multi-scale feature extractor and a GCN-based contourdetector, the method fuses structural enhancement information fromcontinuous PAT image sequence, whether captured in time, space,or spectrum domains. On three distinct continuous imaging scenarios, SFE-GCN matches or exceeds the performance of state-of-the-artsegmentation models. With this method, we further demonstrate dynamic analysis of organ size changes, organ-wise light fluence correction, and segmentation-enhanced spectral un-mixing. The results showthat organ-level segmentation provided by SFE-GCN may significantlyaid various preclinical PAT imaging tasks by facilitating quantitativemulti-parametric analysis.
在本文中，我们提出了一种针对腹部PAT图像的端到端多器官实例分割方法，称为SFE-GCN。该方法结合了多尺度特征提取器和基于GCN的轮廓检测器，能够融合来自时间、空间或光谱域连续PAT图像序列的结构增强信息。在三种不同的连续成像场景中，SFE-GCN的性能与最新分割模型相当或更优。通过该方法，我们进一步实现了器官大小变化的动态分析、基于器官的光流校正以及分割增强的光谱解混。结果表明，SFE-GCN提供的器官级分割可显著促进各种临床前PAT成像任务，支持定量多参数分析。
Results
结果
4.1. Results on time domain continuous PAT images
Segmentation performance. The qualitative results of four differentsegmentation methods on TD dataset are shown in Fig. 5a. It can beseen that our method demonstrates results closest to the referencecontours among the compared models. In the other methods, the smallvessel cannot be correctly detected and segmented (white arrows),whereas our method is able to accurately obtain contours consistentwith human reference annotation. It demonstrates that SFE-GCN canavoid the loss of the information of small structure. The result showthat some parts of the body masks produced by nnU-Net and PointRendextend into the background, which might indicate their susceptibilityto background noise. In addition, while the PolySnake model performswell in segmentation, it is susceptible to classification errors (e.g., thespine being misclassified as a vessel, and the right kidney being misclassified as the spleen). We quantitatively compare the segmentationaccuracy of SFE-GCN with the other methods for each organ on the TDdataset, and the result is listed in Table 3. From the quantitative results,we can observe that our method outperforms all other comparisonmethods in terms of both MCC and HD95 scores across all organs.For the kidneys with relatively weak boundaries, the performanceof PolySnake and SFE-GCN is significantly improved, indicating theadvantage of the graph convolutional network in handling boundarystructure. In terms of overall average score, SFE-GCN yields the highestMCC of 93.44% (95% confidence interval: [93.20, 93.68]) and thelowest HD95 of 0.51 mm (95% confidence interval: [0.50, 0.53]). Insummary, these results underscore that our method either matches orexceeds the state-of-the-art performance on TD dataset.
4.1. 时间域连续PAT图像上的结果
分割性能在TD数据集上，四种不同分割方法的定性结果如图5a所示。从中可以看出，在对比的模型中，我们的方法在结果上最接近参考轮廓。其他方法中，小血管无法被正确检测和分割（白色箭头所示），而我们的方法能够准确地得到与人工参考标注一致的轮廓。这表明SFE-GCN可以有效避免小结构信息的丢失。结果还显示，nnU-Net和PointRend生成的身体掩膜的部分区域延伸到了背景中，可能表明它们容易受到背景噪声的影响。此外，尽管PolySnake模型在分割上表现良好，但容易发生分类错误（例如脊柱被错误分类为血管，右肾被错误分类为脾脏）。我们对比了SFE-GCN与其他方法在TD数据集上对每个器官的分割精度，定量结果列于表3。从定量结果可以看出，我们的方法在MCC和HD95指标上在所有器官中均优于其他方法。对于边界较弱的肾脏，PolySnake和SFE-GCN的性能显著提高，这表明图卷积网络在处理边界结构方面具有优势。在整体平均得分上，SFE-GCN的MCC最高，为93.44%（95%置信区间：[93.20, 93.68]），HD95最低，为0.51毫米（95%置信区间：[0.50, 0.53]）。综上所述，这些结果表明，我们的方法在TD数据集上的表现与最新技术水平相当或更优。
Figure
图
Fig. 1. Schematic diagram of abdominal organ segmentation and analysis of pre-clinical PAT images. a: Data acquisition: continuous PAT images of mouse abdominal organsare acquired. b: Time-domain longitudinal observation. c: Space-domain multi-slice axial scanning. d: Spectral-domain multispectral imaging. e: Multi-organ instance segmentationresults. f: Organ-based dynamic morphological analysis. g: Organ-wise light fluence correction. Corrected: light fluence corrected PAT image. h: Organ-based spectral un-mixing.SFE-GCN: structure fusion enhanced graph convolutional network. HbO2 : oxygenated hemoglobin, Hb: deoxygenated hemoglobin, sO2 : blood oxygen saturation.
图1. 临床前PAT图像中腹部器官分割与分析的示意图。 a: 数据采集：获取小鼠腹部器官的连续PAT图像。 b: 时间域纵向观察。 c: 空间域多切面轴向扫描。 d: 光谱域多光谱成像。 e: 多器官实例分割结果。 f: 基于器官的动态形态分析。 g: 基于器官的光流校正。Corrected: 光流校正后的PAT图像。 h: 基于器官的光谱解混。 SFE-GCN: 结构融合增强图卷积网络。HbO2 : 氧合血红蛋白，Hb: 脱氧血红蛋白，sO2 : 血氧饱和度。
Fig. 2. Overview of the proposed SFE-GCN. a: Contextual fusion of structural feature: low-level semantic information is fused in continuous images. b: Object classification andinitial contour generation: multi-scale feature information is extracted and classification bounding boxes are obtained to generate initial contours. c: GCN contour segmentation:the ResGCN module utilizes global structural information of vertex boundaries to predict the final contour
图2. 所提出的SFE-GCN的概览。 a: 结构特征的上下文融合：在连续图像中融合低级语义信息。 b: 对象分类和初始轮廓生成：提取多尺度特征信息，获取分类边界框并生成初始轮廓。 c: GCN轮廓分割：ResGCN模块利用顶点边界的全局结构信息预测最终轮廓。
Fig. 3. Schematic diagram of Residual GCN. The GCN consists of multiple residual graph convolution operations (GCO). Vertex feature: the part from the global feature map ismarked in yellow, and the current position of the vertex is marked in red. FC is a fully connected layer.
图3. 残差图卷积网络（Residual GCN）的示意图。 GCN由多个残差图卷积操作（GCO）组成。 顶点特征：来自全局特征图的部分以黄色标记，顶点当前位置以红色标记。 FC表示全连接层（Fully Connected Layer）。
Fig. 4. Light fluence estimation and correction procedures. a: Multi-organ segmentation. b: Absorption and scattering maps for each region. c: LF distribution map. d: LF correctedPAT image.
图4. 光流估算与校正流程。 a: 多器官分割。 b: 每个区域的吸收和散射图。 c: 光流分布图。 d: 光流校正后的PAT图像。
Fig. 5. Results of time-continuous imaging experiments . a: Qualitative comparison of four segmentation methods on the TD dataset. b: Top: organ-based motion offset analysis.The red arrow points to the offset direction, and its size represents the offset trend. Bottom: Changes in sO2 distribution of the left kidney at different time. Scale bar: 5 mm.
图5. 时间连续成像实验结果 a: TD数据集上四种分割方法的定性比较。 b: 上部：基于器官的运动偏移分析。红色箭头指示偏移方向，箭头大小表示偏移趋势。 下部：左肾在不同时间点sO2分布的变化。比例尺：5毫米。
Fig. 6. Quantitative analysis of organ area continuously monitored within 15 s in TDdataset.
图6. TD数据集中15秒内连续监测的器官面积定量分析。
Fig. 7. Segmentation results of the space-continuous imaging experiment (SD dataset). Segmentations produced by mask-based methods are shown with filled semi-transparentregions. Segmentations of contour-based methods and human expert annotations are indicated with opaque lines. Scale bar: 5 mm.
图7. 空间连续成像实验（SD数据集）的分割结果。 基于掩膜的方法生成的分割结果以填充的半透明区域表示。基于轮廓的方法的分割结果和人工专家标注以不透明线条表示。比例尺：5毫米。
Fig. 8. Quantitative results of each organ in the SD dataset. a, b: Box plots of MCCand HD95 scores per organ; each box extends from lower to upper quartile values ofdata, with a black line at the median; the whiskers extend to the outmost data pointwithin 1.5× the interquartile range; the outliers outside the whiskers are shown as redcircles; the blue lines represent the baseline trained with a single slice.
图8. SD数据集中各器官的定量结果。 a, b: 各器官的MCC和HD95得分的箱线图。每个箱体从数据的下四分位数延伸到上四分位数，中间的黑线表示中位数；须状线延伸到1.5倍四分位距范围内的最外端数据点；须状线外的离群值以红色圆圈表示；蓝色线表示用单切片训练的基线结果。
Fig. 9. Qualitative comparison results of LF correction experiments on the SD dataset. 𝝁 𝒃𝒐𝒅 𝒂 𝒚 represents absorption coefficient map obtained by body-only segmentation. 𝝁 𝒐𝒓𝒈𝒂𝒏𝒔 𝒂represents the organ-level absorption coefficient map obtained by SFE-GCN segmentation. Scale bar: 5 mm.
图.9.在 SD 数据集上进行的 LF 校正实验的定性比较结果。𝝁 𝒃𝒐𝒅 𝒂 𝒚 表示仅通过人体分割获得的吸收系数图。𝝁 𝒐𝒓𝒈𝒂𝒏𝒔 𝒂 表示通过 SFE-GCN 分割获得的器官级吸收系数图。比例尺：5 毫米。
Fig. 10. a: The intensity profiles of the original PAT image, the body-only LF corrected image and organ-wise LF corrected image plotted along the white lines A1, A2, and A3in Fig. 9. b: CV and CNR scores for each organ of PAT images before and after LF correction using SD datasets. Each box extends from lower to upper quartile values of data,with a black line at the median; the whiskers extend to the outmost data point within 1.5× the interquartile range. The outliers outside the whiskers are shown as red circles.Description in a: L: liver, A/IVC: artery/inferior vena cava; K: kidney; S: spleen. Abbreviations in b: Or: original PAT images; Bo: body-only LF corrected images; Ow: organ-wiseLF corrected images.
图.10. a：图 9 中沿白色线 A1、A2 和 A3 绘制的原始 PAT 图像、仅身体低频校正图像和器官级低频校正图像的强度分布曲线。b：使用 SD 数据集对 PAT 图像进行低频校正前后每个器官的 CV 和 CNR 得分。每个箱体从数据的下四分位数延伸到上四分位数，黑色线位于中位数；须延伸至四分位距 1.5 倍范围内的最外数据点。须之外的异常值以红色圆圈表示。a 中的描述：L：肝脏；A/IVC：动脉/下腔静脉；K：肾脏；S：脾脏。b 中的缩写：Or：原始 PAT 图像；Bo：仅身体低频校正图像；Ow：器官级低频校正图像。
Fig. 11. Segmentation results of the spectrum-continuous imaging experiment (WD dataset). Segmentations produced by mask-based methods are shown with filled semi-transparentregions. Segmentations of contour-based methods and human expert annotations are indicated with opaque lines. Scale bar: 5 mm.
图11. 光谱连续成像实验（WD数据集）的分割结果。 基于掩膜的方法生成的分割结果以填充的半透明区域表示。 基于轮廓的方法的分割结果和人工专家标注以不透明线条表示。 比例尺：5毫米。
Fig. 12. a: Qualitative comparison results of LF correction experiments on the WD dataset. b: Spectral un-mixing results. HbO2 : oxygenated hemoglobin, Hb: deoxygenated hemoglobin, and sO2 : blood oxygen saturation. A: artery; IVC: inferior vena cava; PV: portal vein; K: kidney; S: spleen; Sp: spine; Scale bar: 5 mm.
图12. a: WD数据集中光流校正实验的定性比较结果。 b: 光谱解混结果。HbO2 : 氧合血红蛋白，Hb: 脱氧血红蛋白，sO2 : 血氧饱和度。 A: 动脉；IVC: 下腔静脉；PV: 门静脉；K: 肾脏；S: 脾脏；Sp: 脊柱。 比例尺：5毫米。
Fig. 13. a: The intensity profiles of the original PAT image, the body-only LF corrected image and organ-wise LF corrected image plotted along the white lines A4, A5 and A6in Fig. 12. b: CV and CNR scores for each organ of PAT images before and after LF correction using WD datasets. Each box extends from lower to upper quartile values of data,with a black line at the median; the whiskers extend to the outmost data point within 1.5× the interquartile range. The outliers outside the whiskers are shown as red circles.Description in a: L: liver, A/IVC: artery/inferior vena cava. Abbreviations in b: Or: original PAT images; Bo: body-only LF corrected images; Ow: organ-wise LF corrected images.
图13. a: 沿图12中白线A4、A5和A6绘制的原始PAT图像、仅身体级光流校正图像和器官级光流校正图像的强度剖面图。 b: 使用WD数据集对PAT图像在光流校正前后每个器官的CV（变异系数）和CNR（对比噪声比）得分。每个箱体从数据的下四分位数延伸到上四分位数，中间的黑线表示中位数；须状线延伸到1.5倍四分位距范围内的最外端数据点；须状线外的离群值以红色圆圈表示。a部分说明 L: 肝脏；A/IVC: 动脉/下腔静脉。b部分缩写Or: 原始PAT图像；Bo: 仅身体级光流校正图像；Ow: 器官级光流校正图像。
Table
表
Table 1Details of the time domain (TD), spatial domain (SD), and spectral domain (WD, W for wavelength) datasets used in our experiments.
表1 我们实验中使用的时间域（TD）、空间域（SD）和光谱域（WD，W代表波长）数据集的详细信息。
Table 2Approximated absorption and scattering coefficients for each organ used in this work (not real measured values).
表2本研究中每个器官使用的近似吸收系数和散射系数（非实际测量值）。
Table 3Quantitative comparison of the segmentation results of each organ in the TD dataset, presented as mean with 95% confidence intervals (color overlay).
表3TD数据集中各器官分割结果的定量比较，结果以均值和95%置信区间的形式表示（带颜色覆盖）。
Table 4Quantitative comparison of the segmentation results of each organ in the WD dataset, presented as mean with 95% confidence intervals (color overlay).
表4WD数据集中各器官分割结果的定量比较，结果以均值和95%置信区间的形式表示（带颜色覆盖）。
Table 5Model performance with different size (𝐿) of the adjacent image sequence
表5不同大小（𝐿）的相邻图像序列对模型性能的影响。
Table 6Model performance with different number of vertices (𝐾).
表6不同顶点数量（𝐾）对模型性能的影响。
Table 7Evaluation of cross-scenario generalization ability of SFE-GCN.
表7SFE-GCN跨场景泛化能力的评估。
