Title
题目
Automated labeling using tracked ultrasound imaging: Application in tracking vertebrae during spine surgery
基于超声跟踪成像的自动标注技术：在脊柱手术中椎体追踪的应用
01
文献速递介绍
超声（US）成像在医学诊断领域已确立重要地位，其非侵入性、实时成像能力及无电离辐射等特性（Huang等，2023；Li等，2022），推动了它在介入治疗场景（如影像引导手术）中的广泛应用（Holm和Skjoldbye，1996）。在脊柱神经外科中，超声已被用于术中可视化椎间盘、脊柱肿瘤等解剖结构（Comeau等，2000；Ferrucci等，2023；Giussani等，2023；Ivanov等，2010；Rosa等，2023）。 与此同时，辅助导航工具与机器人系统的应用日益受到关注，这些技术旨在提高植入物放置的精准度（Gueziri等，2020；Li等，2015；Liao等，2012）。这类系统通常通过稀疏特征标记物进行追踪，例如监测患者刚体运动的动态参考框架（Székely和Nolte，2016；Ungi等，2016）。然而，当解剖结构（如椎体）与参考框架发生相对位移时（如标记物意外错位或更常见的手术中脊柱受力变形），系统精度会显著下降。这种变形指脊柱因椎体间复杂关节运动产生的整体形态变化，其中每个椎体均经历刚体变换。现有导航方案对解剖结构变化的监测能力有限，当前解决方案依赖2D或3D X射线重配准并更新手术计划（Han等，2022；Huang等，2024；Ketcha等，2017；Zhang等，2022；Zhao等，2023），但这类设备体积庞大，且会使患者和手术人员暴露于电离辐射中。在此背景下，实时术中超声成像通过提供解剖结构的精细局部追踪，成为恢复几何精度的潜在方案。 尽管超声成像优势显著，但其在可视化脊柱等骨性结构时仍面临挑战。这主要源于骨骼与软组织间的声阻抗不匹配，导致超声波反射与散射，产生噪声及声影、混响伪影等。波束宽度（厚度）会导致图像模糊和细节丢失，而波束偏转可能扭曲图像中骨表面的感知位置。骨表面可视化精度还高度依赖入射角度，非垂直角度会降低反射强度。这些因素共同导致图像质量下降，难以精确识别复杂骨性结构边界。此外，由于不熟悉的斜切面和有限视野，获取用于定性评估的合适扫描平面较为困难。这些挑战要求外科医生具备高水平技能与经验，常需专门操作人员/超声医师调整成像参数并操控探头以获取诊断可用图像，凸显了其陡峭的学习曲线（Masoumi等，2023）。 旨在改善介入超声成像（Huang等，2022）和图像分析的研究包括散斑去噪（China等，2015；Wang等，2024；Ying等，2024）、分辨率增强（China等，2019b；Liu等，2023）、解剖特征分割（China等，2019a；Masoumi等，2023）及手术工具检测（Beigi等，2021；Yang等，2023）等方法。与依赖手工特征或计算密集型数值优化的传统方法相比，机器学习（ML）的最新进展实现了快速分析（Fiorentino等，2023），后者常因严格的操作时间限制而表现不足（Masoumi等，2023）。这些解决方案的有效性高度依赖训练数据质量。鉴于监督学习需要大量标注超声帧，逐帧手动标注并不可行，且手动标注可能因标注者内和标注者间差异导致数据集主观性（Webb等，2021；Lee等，2018；Liao等，2019）。此前已有半自动化标注方法被提出（Alsinan等，2020；Baka等，2017；Katzougian等，2012；Saibro等，2022；Ungi等，2020），但其手动步骤仍可能引入不一致性。这一问题在棘突因声影难以精确勾勒轮廓时尤为突出，不同标注者的轮廓描绘可能存在显著差异。 本研究提出一种利用跟踪超声成像实现数据集自动标注的方法，该方法支持将配对3D图像（如CT或MR）中的任意结构直接映射到单帧超声图像。针对超声骨性结构成像挑战及手动标注变异性，该方案被应用于脊柱椎体的分割与配准。通过超声-CT配准这一下游任务，验证了自动生成标签在检测和纠正脊柱手术中解剖结构变化的有效性。 据我们所知，这是首项通过3D影像模态结构映射实现超声图像自动标签生成的研究。具体贡献包括：（i）利用跟踪超声成像生成密集、一致标签的全自动化流程；（ii）设计并评估三种椎体追踪标注策略；（iii）数据清洗与增强技术，以最小化超声扫描相关偏差或误差；（iv）在脊柱变形后恢复手术追踪精度的应用与评估。模型在尸体标本图像上进行训练和评估，关注分割结构精度及用于解决解剖变形的配准结果。
Abatract
摘要
Purpose: Recent advancements in machine learning (ML) allow for rapid analysis of complex image data, which supports the use of ultrasound (US)-based solutions in interventional procedures. These solutions often require large, labeled datasets that can be time-consuming to curate and subject to inter- and intra-labeler variability. This work presents a practical method for automated labeling of US images by transferring labels from 3D diagnostic images (e.g., CT or MR) using tracked US imaging to support supervised training. The approach was applied to segmenting spinal vertebrae, and the quality of the generated labels was evaluated by registering individual vertebrae from US to CT images to account for potential spinal deformation during surgery.
研究目的：机器学习（ML）领域的最新进展使得复杂图像数据的快速分析成为可能，这为介入性手术中基于超声（US）的解决方案提供了支持。此类解决方案通常需要大规模的标注数据集，但这类数据集的整理不仅耗时，还可能存在标注者间及标注者内部的差异性。本研究提出一种实用的超声图像自动标注方法，通过利用跟踪超声成像技术从三维诊断图像（如CT或MR）转移标签，以支持监督学习训练。该方法被应用于脊柱椎体的分割，并且通过将超声图像中的单个椎体与CT图像配准，评估了生成标签的质量，从而能够考虑手术过程中可能出现的脊柱变形情况。
Method
方法
The proposed approach uses tracked US imaging to map target structures from CT volumes onto individual US frames. A dataset of spine images was created by scanning cadaveric torso specimens. Automated data cleaning methods were used to discard invalid frames, and data augmentations were applied to account for variability in image appearance. A simple U-Net model, called TernausNet, was trained for segmenting vertebrae using three labeling strategies: full vertebra (FV), posterior surface (PS), and weighted posterior surface (PSw). The labels were evaluated through vertebrae segmentation and registration of the resulting segmentations to corresponding CT structures, considering the impact of labeling strategy, calibration errors, and data cleaning.
本研究提出的方法利用跟踪超声成像技术，将CT容积中的目标结构映射到单帧超声图像上。通过扫描尸体躯干标本创建了脊柱图像数据集，采用自动化数据清洗方法剔除无效帧，并应用数据增强技术以应对图像外观的变异性。研究使用一种名为TernausNet的简化U-Net模型，基于三种标注策略对椎体进行分割训练：全椎体（FV）、后表面（PS）和加权后表面（PSw）。通过椎体分割以及将分割结果与对应CT结构配准的方式对标注进行评估，同时考虑标注策略、校准误差和数据清洗的影响。
Conclusion
结论
The study presents an automated labeling method for US imaging that supports the training of ML models by mapping 3D structures onto 2D US frames. The results highlight the importance of proper probe calibration, data cleaning, and specific labeling strategies in mitigating segmentation and registration errors. The work demonstrates the potential of real-time US imaging as a tool for precise anatomical tracking in surgery.
本研究提出了一种适用于超声（US）成像的自动标注方法，该方法通过将三维结构映射到二维超声帧上，为机器学习模型的训练提供支持。研究结果强调，合理的探头校准、数据清洗以及特定的标注策略，对降低分割和配准误差至关重要。这项工作证实了实时超声成像在手术中作为精确解剖结构追踪工具的潜力。
Results
结果
The proposed labeling strategies yielded improved segmentation accuracy over the direct mapping of CT labels (viz. FV), yielding a median of 5.18 [4.24, 6.66] mm RMSD for PS and 3.86 [2.87, 5.60] mm for PSw labeling. The PSw approach was particularly effective in reducing hallucination artifacts in the acoustic shadow regions below the vertebral cortex. Using the resulting segmentations, registrations were solved with 1.56 [1.30, 1.62] mm TRE for PS and 1.52 [1.32, 2.38] mm for PSw labeling. Automated data cleaning and augmentation were found to significantly enhance the accuracy of bone feature segmentation and vertebra registration.
与直接映射 CT 标签的方法（即 FV 方法）相比，所提出的标注策略显著提高了分割精度。PS 标注的均方根误差（RMSD）中位数为 5.18 [4.24, 6.66] 毫米，PSw 标注为 3.86 [2.87, 5.60] 毫米。PSw 方法在减少椎体皮质下方声影区域的伪影方面尤其有效。基于分割结果进行配准，PS 标注的目标配准误差（TRE）为 1.56 [1.30, 1.62] 毫米，PSw 标注为 1.52 [1.32, 2.38] 毫米。研究还发现，自动数据清洗和增强技术可显著提升骨特征分割和椎体配准的准确性。
Figure
图
Fig. 1. Experimental setup for labeled dataset generation and application in tracking displaced vertebrae. (a) Transformation chain used for mapping CT slices (and segmented structures therein) to US frames. (b) Application of the pre-trained network in segmenting and registering displaced vertebrae from US images to corresponding structures in CT.
图1.标注数据集生成及追踪移位椎体的实验装置示意图 （a）用于将CT切片（及其中分割结构）映射到超声帧的变换链； （b）预训练网络在分割移位椎体并将其从超声图像配准到CT对应结构中的应用。
Fig. 2. Calibration of US slice thickness. (a) Water bath setup. (b) Zoomed inset showing the geometric relation between imaged wire length and slice thickness. © Example image of the wire acquired at a depth set to focal length.
图2. 超声切片厚度的校准 （a）水浴装置； （b）放大插图显示成像金属丝长度与切片厚度的几何关系； （c）在焦距深度设置下采集的金属丝示例图像。
Fig. 3. Data cleaning and augmentation. (a-d) Example images with partial or no labels due to the limited field of view of 3D images. 3D quiver plots of tracked probe positions for each frame (e) before and (f) after normalizing the spatial distribution of acquired frames. (g) Initial normal image frame and (h-j) consecutive frames with motion artifacts. (k) Original scan at G = 50 dB and DR = 80 dB, and (l-n) augmented images using simulated G and DR values.
图3. 数据清洗与增强 （a-d）因3D图像视野限制导致标签不全或无标签的示例图像； （e）清洗前、（f）清洗后各帧跟踪探头位置的3D矢量图（归一化采集帧的空间分布）； （g）初始正常图像帧，（h-j）带运动伪影的连续帧； （k）增益G=50 dB、动态范围DR=80 dB的原始扫描图像，（l-n）通过模拟不同G和DR值生成的增强图像。
Fig. 4. Optimization of data cleaning parameters on the validation dataset. (a) Identifying images with missing/invalid labels. (b) Angular and translational distance thresholds for normalizing the spatial density of the dataset. © Angular and translational velocity thresholds for identifying images with motion artifacts.
图4. 验证数据集上数据清洗参数的优化 （a）识别标签缺失/无效的图像； （b）用于归一化数据集空间密度的角度和线性距离阈值； （c）用于识别运动伪影图像的角速度和线速度阈值。
Fig. 5. Vertebrae labeling approaches. The first row shows labels overlaid on US images, and the second row shows the label contours overlaid on corresponding CT slices. (a-b) US and CT slices without label overlays. (c-d) FV, (e-f) PS, and (i-j) PSw, labels. (g) PSw weights are obtained by convolution with a 2 × 2 mm kernel across the entire PS label.
图5. 椎体标注方法 第一行显示超声图像上叠加的标签，第二行显示对应CT切片上叠加的标签轮廓： （a-b）无标签叠加的超声和CT切片； （c-d）全椎体（FV）标注；（e-f）后表面（PS）标注；（i-j）加权后表面（PSw）标注； （g）PSw权重通过在整个PS标签上使用2×2 mm内核卷积获得。
Fig. 6. Evaluation of different labeling strategies on test dataset: (a) 2D segmentation and (b) 3D registration accuracy. Segmentations overlaid on (c-e) US frames and (f-h) corresponding CT slices. (i-k) 3D visualizations of the vertebra cortex after registration; the blue surface is the original (ground truth), and the orange surface is after the registration.
图6. 测试数据集上不同标注策略的评估：（a）2D分割精度与（b）3D配准精度 叠加在（c-e）超声帧和（f-h）对应CT切片上的分割结果； （i-k）配准后椎体皮质的3D可视化：蓝色表面为原始（真实）结构，橙色表面为配准后结构
Fig. 7. Slice thickness calibration and validation. (a) Gaussian fits for varying θ at fixed 30 mm depth. (b) Slice thickness estimates at varying depth levels. © Registration accuracy was minimized when using the estimated slice thickness. (d) TRE was estimated from the models trained with simulated spatial calibration error on the label set
图7. 切片厚度校准与验证 （a）固定深度30 mm时不同角度θ的高斯拟合曲线； （b）不同深度层的切片厚度估算值； （c）使用估算切片厚度时配准精度达到最小； （d）通过在标签集上模拟空间校准误差训练模型并估算目标配准误差（TRE）。
Fig. 8. Evaluation of the data curation using PS labeling. C+ indicates the use of data cleaning, and A+ indicates the use of augmentation. (a) 2D segmentation and (b) 3D registration accuracy. Effects of data cleaning and augmentation on the training of the network are visualized as segmentation contour overlay on (c-f) US frames and (g-j) corresponding CT slices.
图8.基于PS标注的数据管理评估 C+表示使用数据清洗，A+表示使用数据增强： （a）2D分割精度与（b）3D配准精度； 数据清洗和增强对网络训练的影响通过叠加在（c-f）超声帧和（g-j）对应CT切片上的分割轮廓可视化。
Fig. 9. Effect of the individual data cleaning processes. (a) TRE for varying the utilization of each cleaning method and their effect altogether. (b-e) Visualization of the segmentation maps on the soft-tissue US images.
图9. 单独数据清洗流程的影响 （a）不同清洗方法的使用及其整体效果对目标配准误差（TRE）的影响； （b-e）软组织超声图像上分割图的可视化效果。
Fig. 10. Evaluation of the data curation using PSw labeling. C+ indicates the use of data cleaning, and A+ indicates the use of augmentation. (a) 2D segmentation and (b) 3D registration accuracy. Effects of data cleaning and augmentation on the training of the network are visualized as segmentation contour overlay on (c-f) US frames and (g-j) corresponding CT slices.
图10. 基于PSw标注的数据管理评估 C+表示使用数据清洗，A+表示使用数据增强： （a）2D分割精度与（b）3D配准精度； 数据清洗和增强对网络训练的影响通过叠加在（c-f）超声帧和（g-j）对应CT切片上的分割轮廓可视化。
Fig. 11. Hyperparameter tuning of PS labeling. (a) TRE for varying score thresholds. (b-m) Qualitative evaluation over different thresholds, where the first row (b-g) is the US frame overlay with colored bone weights, and the second row (h-m) is the corresponding CT slice overlay with the same weights
图11. PS标注的超参数调优 （a）不同分数阈值对应的目标配准误差（TRE）； （b-m）不同阈值下的定性评估：第一行（b-g）为叠加彩色骨权重的超声帧，第二行（h-m）为叠加相同权重的对应CT切片。
Fig. 12. Hyperparameter tuning of PSw labeling. (a) TRE for varying weight thresholds. (b-k) Qualitative evaluation over different thresholds, where the first row (bf) is the US frame overlay with colored bone weights, and the second row (g-k) is the corresponding CT slice overlay with the same weights.
图12. PSw标注的超参数调优 （a）不同权重阈值对应的目标配准误差（TRE）； （b-k）不同阈值下的定性评估：第一行（b-f）为叠加彩色骨权重的超声帧，第二行（g-k）为叠加相同权重的对应CT切片。
