Title
题目
AutoFOX: An automated cross-modal 3D fusion framework of coronary X-ray angiography and OCT
AutoFOX：一种自动化的冠状动脉X线造影与OCT跨模态3D融合框架
01
文献速递介绍
冠状动脉X线造影与OCT的跨模态3D融合自动化框架AutoFOX
冠状动脉疾病（Coronary Artery Disease, CAD）仍然是全球范围内的主要致死原因（Martin et al., 2024）。经皮冠状动脉介入治疗（Percutaneous Coronary Intervention, PCI）是CAD的主要诊断和治疗手段，其中冠状动脉X线造影（X-ray Angiography, XA）与光学相干断层扫描（Optical Coherence Tomography, OCT）被广泛应用，以提供互补信息来指导PCI（Räber et al., 2018）。如图1所示，XA能够直观地评估冠状动脉的整体解剖结构，而OCT则可通过超高分辨率成像提供详细的血管腔及斑块组成（如钙化、脂质和纤维组织）评估（Bezerra et al., 2009）。将XA与OCT进行融合，可以整合二者的优势，从而增强对冠状动脉解剖结构及斑块形态学的理解，在CAD的诊断和预后评估中发挥重要作用。
一个理想的三维融合模型应能够准确地提供主干血管（Main Vessel, MV）的形态学细节，同时精确刻画侧支血管（Side Branch, SB）开口的解剖结构。这对于血流动力学评估（如内皮剪切应力（Endothelial Shear Stress, ESS）Li et al., 2018; Kweon et al., 2018）和计算生理学评估（如分数流储备（Fractional Flow Reserve, FFR）Wang et al., 2018; Jiang et al., 2021）至关重要。
2. 跨模态融合的主要挑战
在构建自动化的冠状动脉跨模态融合模型时，面临以下核心挑战：XA缩短效应和OCT采集非均匀性导致的错位问题；主干血管及其分叉结构的有效重建；
减少或消除中间阶段对人工干预的依赖。现有的跨模态对齐方法大致可分为“基于导丝（wire-based）”和“无导丝（wireless）”两类：基于导丝的方法 依赖于介入设备（如导丝上的成像探头）来标记对齐点，通常结合心电触发透视（ECG-triggered fluoroscopy）和血管内成像设备的回撤（Wang et al., 2013; Prasad et al., 2016; Wu et al., 2023），或者采用自定义系统记录解剖标志物（Houissa et al., 2019）。然而，这类方法仅适用于特定的采集条件，可能会增加辐射剂量，并且需要额外的手动操作或额外设备。
无导丝方法 仅依赖于原始影像数据，不改变导管室的标准操作流程，适用于回顾性数据分析。然而，现有的无导丝方法大多采用简单的等距映射（Wahle et al., 2006; Tu et al., 2011; Wang et al., 2018; Toutouzas et al., 2015; Andrikos et al., 2017），未充分利用血管轮廓的固有特征，因此容易出现错位问题（Kweon et al., 2018; Wu et al., 2020; Poon et al., 2023）。
在我们之前的研究（Qin et al., 2021）中，我们提出了一种用于2D XA与OCT的双阶段对齐方法，但该方法仅基于血管腔直径的非刚性点匹配，存在局限性。本研究在此基础上进行了改进，实现了三维血管对齐，并提升了对齐算法的智能化和自动化水平。此外，目前的融合方法通常仅适用于特定的分叉（如左主干或右冠状动脉）（Wu et al., 2020, 2023; Andrikos et al., 2017），且需要额外影像采集以涵盖每个侧支血管，限制了临床应用的广泛性。同时，现有方法仍依赖于半自动化的侧支血管重建（Li et al., 2015; Kweon et al., 2018; Li et al., 2018）及人工识别对齐标记点（Poon et al., 2023）。此外，由自动分析产生的侧支血管检测错误尚未得到有效解决。最后，目前缺乏直接的定量度量指标来评估融合精度，大多数研究仍采用间接临床参数（如ESS和FFR）作为评价指标，限制了模型的可解释性和推广性。
3. AutoFOX框架
针对上述问题，我们提出了一种基于深度学习的无导丝跨模态融合框架——AutoFOX（Automated Fusion framework of OCT and XA），该框架包括三个全自动化流程：初始重建（Initial Reconstruction, IR）、协同配准（Co-Registration, CR）、融合重建（Fusion Reconstruction, FR），如图2所示：IR流程 负责自动生成XA和OCT的冠状动脉解剖结构；CR流程 解决血管对齐和腔体旋转配准问题，提出了一种基于Transformer的冠状动脉血管对齐网络（TransCAN, Transformer-based Coronary vessel Alignment Net）。TransCAN将三维血管视为序列数据，结合动态时间规整（Dynamic Time Warping, DTW）理论（Müller, 2007）和Transformer架构（Vaswani et al., 2017），在多任务学习框架下充分融合侧支血管信息，有效解决错位问题。此外，该步骤还可修正血管轴向旋转误差；FR流程 采用创新的侧支血管腔重建算法，最终生成完整的冠状动脉融合模型。此外，我们定义了一系列新颖的形态学指标，并采用配对的冠状动脉计算机断层血管造影（CTA）作为参考标准，从而更直接、准确地评估融合模型的定量精度。
4. 研究贡献
本研究的主要贡献包括：提出AutoFOX框架，一种创新性的OCT与XA跨模态自动化三维融合方法，包括初始重建（IR）、协同配准（CR）和融合重建（FR）。提出多任务深度学习模型TransCAN，利用DTW理论和Transformer架构解决错位问题，并通过多个创新模块集成侧支血管信息。创新性地提出侧支血管腔重建算法，有效解决分叉融合问题，提升对分叉病变的评估能力。
利用配对CTA数据作为参考标准，并定义了一系列形态学评估指标，从而更精确地评估3D融合模型的定量精度。
5. 结论
本研究提出的AutoFOX框架提供了一种自动化、无导丝的跨模态三维融合方法，显著提高了冠状动脉X线造影与OCT数据的配准精度，特别是在分叉狭窄评估方面展现出重要的临床应用价值。该方法能够在不改变标准导管室工作流程的情况下，提高PCI影像指导的精准度，并为血流动力学和计算生理学评估提供更可靠的基础。
Aastract
摘要
Coronary artery disease (CAD) is the leading cause of death globally. The 3D fusion of coronary X-rayangiography (XA) and optical coherence tomography (OCT) provides complementary information to appreciatecoronary anatomy and plaque morphology. This significantly improve CAD diagnosis and prognosis byenabling precise hemodynamic and computational physiology assessments. The challenges of fusion lie inthe potential misalignment caused by the foreshortening effect in XA and non-uniform acquisition of OCTpullback. Moreover, the need for reconstructions of major bifurcations is technically demanding. This paperproposed an automated 3D fusion framework AutoFOX, which consists of deep learning model TransCAN for3D vessel alignment. The 3D vessel contours are processed as sequential data, whose features are extractedand integrated with bifurcation information to enhance alignment via a multi-task fashion. TransCAN showsthe highest alignment accuracy among all methods with a mean alignment error of 0.99 ± 0.81 mm along thevascular sequence, and only 0.82 ± 0.69 mm at key anatomical positions. The proposed AutoFOX frameworkuniquely employs an advanced side branch lumen reconstruction algorithm to enhance the assessment ofbifurcation lesions. A multi-center dataset is utilized for independent external validation, using the paired 3Dcoronary computer tomography angiography (CTA) as the reference standard. Novel morphological metrics areproposed to evaluate the fusion accuracy. Our experiments show that the fusion model generated by AutoFOXexhibits high morphological consistency with CTA. AutoFOX framework enables automatic and comprehensiveassessment of CAD, especially for the accurate assessment of bifurcation stenosis, which is of clinical value toguiding procedure and optimization
冠状动脉疾病（CAD）是全球范围内导致死亡的主要原因。冠状动脉X线造影（XA）与光学相干断层扫描（OCT）的三维融合能够提供互补信息，以更全面地解析冠状动脉解剖结构及斑块形态。这一融合显著提升了CAD的诊断与预后评估能力，使得精准的血流动力学和计算生理学评估成为可能。然而，融合过程中面临的挑战包括：XA中的缩短效应可能导致错位，以及OCT回撤成像的非均匀采集。此外，主要分叉血管的重建在技术上也极具挑战性。
本研究提出了一种自动化的三维融合框架 AutoFOX，其核心是用于三维血管对齐的深度学习模型 TransCAN。在该方法中，三维血管轮廓被处理为序列数据，利用特征提取并结合分叉血管信息，以多任务方式提升对齐精度。实验结果表明，TransCAN 在所有方法中表现出最高的对齐精度，其沿血管序列的平均对齐误差为 0.99 ± 0.81 mm，而在关键解剖部位的误差仅为 0.82 ± 0.69 mm。此外，AutoFOX 框架独特地引入了一种先进的侧支血管腔重建算法，以增强对分叉病变的评估能力。研究采用多中心数据集进行独立的外部验证，并以三维冠状动脉计算机断层造影（CTA）配对数据作为参考标准。同时，提出了一系列新颖的形态学指标来评估融合精度。实验结果显示，AutoFOX 生成的融合模型在形态学上与CTA具有高度一致性。
AutoFOX 框架实现了冠状动脉疾病的自动化与综合评估，尤其在精准评估分叉狭窄方面具有重要的临床价值，可为手术决策和优化提供指导。
Method
方法
To achieve automated cross-modal fusion, a series of necessarysteps need to be implemented. First, coronary vessel models for eachimage modality must be reconstructed separately. Then, their correspondences are established by treating reconstructed vessels as sequential data. To establish optimal longitudinal correspondence betweensequences, we adapt our previously proposed two-stage (coarse andfine) alignment strategy (Qin et al., 2021) to 3D alignment task, furtherenhancing it with deep learning models. Next, the relative axial rotational angle between vessels is determined. Finally, the reconstructionof the fusing model in 3D space is completed based on the alignmentresults, with optimized bifurcation structures. We proposed AutoFOXto implement the above cross-model fusion steps through three fullyautomated procedures, i.e., Initial Reconstruction (IR), Co-Registration(CR), and Fusion Reconstruction (FR). The AutoFOX workflow hasalready been implemented in a prototype software owned by ShanghaiJiao Tong University, with can be used to reproduce the data of thisstudy.
为了实现自动化的跨模态融合，需要执行一系列必要步骤。首先，需要分别重建不同影像模态下的冠状动脉血管模型。然后，将这些重建的血管视为序列数据，以建立它们之间的对应关系。为了在序列之间建立最优的纵向对应关系，我们将之前提出的双阶段（粗略对齐与精细对齐）对齐策略（Qin et al., 2021）扩展至三维对齐任务，并进一步结合深度学习模型进行优化。接下来，确定血管间的相对轴向旋转角度。最后，在对齐结果的基础上，完成三维融合模型的重建，并优化分叉结构。我们提出AutoFOX 框架，通过初始重建（IR）、协同配准（CR）和融合重建（FR） 三个全自动化流程，实现上述跨模态融合步骤。AutoFOX 的工作流程已在上海交通大学拥有的原型软件中实现，该软件可用于复现本研究的数据。
Conclusion
结论
This paper presents AutoFOX, a fully automated cross-modal 3Dfusion framework for coronary X-ray Angiography and OCT throughthree procedures: Initial Reconstruction, Co-Registration, and FusionReconstruction. AutoFOX overcomes the limitations of existing vascular3D alignment and fusion methods with a dedicated designed multitask model TransCAN. AutoFOX treats vascular contours as sequentialdata, straightens 3D-XA to remove redundant curvature, and reducesmodel parameters through 3D to 1D transformation. Furthermore, thereconstruction algorithm is refined for SB lumen, which enhances theassessment of bifurcation lesions.TransCAN shows the highest alignment accuracy compared withother methods. The novelty of the TransCAN lies in the deep integrationof SB information: The SB-Matching sub-task enhances the matching of SB features; The BPEG module provides SB-weighted relativeposition encoding; and the SPSP-attention reduces the computationalcomplexity of cross-attention while effectively maintaining informationinteraction at the SBs. Two TransCAN modes, nTransCAN and softTransCAN are proposed and compared. The former achieves optimalaccuracy at the overall sequence level, while the latter performs betterat clinically key positions and has greater scalability in larger datasets.The proposed CSA loss effectively enhances model robustness. Althoughsome modules bring only minor numerical improvements, they are stillof great clinical significance considering their proportion in the smalllesion length and SB ostium length. Ultimately, we evaluate the fusionmodel with an independent multi-center dataset through 5 morphological metrics using the paired CTA as the reference standard. Highmorphological consistency is observed between the CTA and the fusionmodel generated by AutoFOX, especially for clinically significant BOAand BMLA. In addition to smaller difference in absolute luminal measurements, the improved correlation with CTA further demonstratesthat the integration of OCT enhances the fusion model’s consistencywith the actual lumen structure.One major advantage of our work is the full automation of the entireframework without the need of manual intervene. This is contributedby the special designed module within AutoFOX, making it robust tothe potential noise of the upstream output. Finally, the advanced 3D fusion model offers significant application value in guiding percutaneouscoronary intervention for CAD patients, particularly in complex bifurcation lesions. By enhancing lesion visualization, this technology enablescardiologists to make more informed decisions during procedures, optimizing treatment strategies and potentially reducing complications.Given the accumulated evidence supporting imaging-based computational physiology assessments, the fusion of OCT and XA can enhancethe evaluation accuracy of key parameters such as fractional flowreserve (FFR) and endothelial shear stress (ESS) by utilizing the precisegeometry modeling provided by Auto-FOX. Furthermore, the fused 3Dcoronary artery tree also paves the way for investigating hemodynamicmechanisms in CAD development, potentially uncovering novel insightsinto disease progression and informing more targeted therapeutic interventions. As for the analysis speed by AutoFOX, although the currentspeed falls short of meeting intraoperative real-time requirements, itmaintains high efficiency in preoperative planning and postoperativeevaluation without significantly increasing the overall diagnostic timecost. Future study on quantitative comparison of plaque distribution isworthy of investigation based on further improvement of CTA modelplaque detection performance.Notably, our framework is not limited to any specific image contentand modalities, we believe it could serve as a universal frameworkfor fusion tasks across various 3D vascular-like structures, such asbronchial tube, gastrointestinal tract, renal artery, cerebral vessel, etc.,thereby is spotential to expand into broader clinical application scenarios. However, it should be noted that several hyperparameters in thisstudy are specifically tailored to the characteristics of coronary data,such as the number of sampling points and network layers, which maynot be universally applicable when transferring to other tasks.
本研究提出了 AutoFOX，一个全自动化的冠状动脉X线造影（XA）与光学相干断层扫描（OCT）跨模态三维融合框架，其核心由初始重建（Initial Reconstruction, IR）、协同配准（Co-Registration, CR）和融合重建（Fusion Reconstruction, FR） 三个步骤构成。AutoFOX 通过专门设计的多任务模型 TransCAN，克服了现有三维血管对齐及融合方法的局限性。其核心创新包括：将血管轮廓作为序列数据进行处理、对 3D-XA 进行直线化以消除冗余曲率、以及利用3D 到 1D 变换减少模型参数。此外，侧支血管（SB）腔体重建算法的优化增强了对分叉病变的评估能力。TransCAN 在对齐精度上优于所有对比方法，其创新点在于对侧支血管信息的深度集成：
SB-Matching 子任务 提高了侧支特征的匹配能力；BPEG（Branch Position Encoder Generator）模块 通过侧支权重化的位置编码提升了对齐精度；SPSP 注意力（Slide Window + SB-Position Attention） 在减少计算复杂度的同时，保持了侧支信息的有效交互。本研究提出并比较了 nTransCAN 和 softTransCAN 两种模型：nTransCAN 在整体序列级别上达到了最优精度；softTransCAN 在临床关键位置表现更优，且在大规模数据集上的泛化能力更强。此外，CSA 损失函数 显著提升了模型的鲁棒性。尽管某些模块的改进在数值上较小，但考虑到病变区域及侧支血管开口的长度占比较小，这些优化在临床上仍具有重要价值。在独立的多中心数据集中，我们利用 5 种形态学指标 评估 AutoFOX 生成的融合模型，并以配对 CTA 作为参考标准。实验结果显示，AutoFOX 生成的模型在BOA（开口角度）和 BMLA（分支最小管腔面积）等关键临床参数上，与 CTA 具有高度一致性。此外，尽管绝对管腔测量的差异较小，但其与 CTA 之间的相关性显著增强，这表明 OCT 数据的融合提升了融合模型对真实血管腔结构的契合度。临床价值与未来展望AutoFOX 的全自动化特性 是本研究的一大优势，无需人工干预，即可稳健地处理上游输出的噪声。此外，高精度三维融合模型 为 CAD 患者的经皮冠状动脉介入（PCI） 提供了重要的影像指导，特别适用于复杂分叉病变的评估。通过增强病变可视化，该技术可帮助心脏病专家在手术过程中做出更精准的决策，优化治疗策略，并潜在降低手术并发症的风险。随着基于影像的计算生理学评估（computational physiology assessment） 证据的积累，OCT 与 XA 的融合 还能提高对关键参数（如 FFR（分数流储备）和 ESS（内皮剪切应力））的评估精度，从而增强冠状动脉疾病的病理机制解析。此外，三维冠状动脉树的融合模型还可用于研究 CAD 发展过程中的血流动力学机制，为疾病进展的理解提供新见解，并有助于更精准的靶向治疗。在分析速度方面，虽然 AutoFOX 目前尚未达到术中实时应用的要求，但在术前规划和术后评估方面仍保持了高效性，并未显著增加整体诊断时间成本。未来，基于 CTA 斑块检测性能的进一步优化，对斑块分布的定量比较研究 仍值得深入探索。值得注意的是，AutoFOX 并不局限于特定的影像内容或模态，我们认为该框架可作为通用的跨模态三维融合方案，适用于多种血管样结构（如支气管、胃肠道、肾动脉、脑血管等），因此具有广泛的临床应用潜力。然而，本研究中的某些超参数（如采样点数量和网络层数）是针对冠状动脉数据特性进行优化的，在迁移到其他任务时可能需要进一步调整。
Results
结果
4.1. DatasetsThe performance of AutoFOX is evaluated both internally for alignment accuracy of TransCAN and externally for morphological accuracyof the fusion model, using data from real world clinical practice withno overlap between them.
To develop and evaluate TransCAN for vessel alignment, pairedXA and OCT images of 278 patients from core lab (CardHemo,Med-X Research Institute, Shanghai Jiao Tong University) wereused. Experienced analysts at the core lab performed the dataannotation using the AngioPlus Core software (version V3, PulseMedical, Shanghai, China), generating 55,104 alignment pairs.The dataset was split into training, validation, and test sets in aratio of 7:1:2 at vessel level. We followed the standard practiceby using training data to learn model parameters, tuning hyperparameters and selecting the model based on validation data. Testdata is reserved solely for evaluating model once it is finalized.Model performance and ablation studies were reported on the testdata.
For the external validation of AutoFOX fusion model’s morphological accuracy, we used an independent dataset of 67 patientswith coronary CTA, XA, and OCT images. The data were providedby two sites: OLV Clinic, Aalst, Belgium (site1, 50 patients),and Fujian Medical University Union Hospital, Fuzhou, China(site2, 16 patients). The ethic committees of these two hospitalsapproved the retrospective analysis of these datasets. Patientsprovided written informed consent. The CTA model is used asthe reference standard for morphology assessment, which is automatically generated by CtaPlus Core software (version V2, PulseMedical, Shanghai, China).Medical Image Analysis 101 (2025) 1034327C. Li et al.The time intervals between different image modalities acquisitionwere within 3 months in majority (86.57%) of the study population,and the rest were less than 6 months. All images were acquired priorto any coronary intervention. Additionally, the analyzed CTA andXA images were synchronized to either end-diastole or end-systole toensure temporal synchrony.
4.1. 数据集AutoFOX 的性能评估分为两个部分：TransCAN 的对齐精度内部评估，以及 融合模型形态学精度的外部验证。所有数据均来源于实际临床应用，且训练数据与外部验证数据无重叠。TransCAN 血管对齐模型的开发与评估数据来自上海交通大学 Med-X 研究院核心实验室（CardHemo），共 278 名患者 的配对 XA 和 OCT 影像。经验丰富的分析师使用 AngioPlus Core 软件（V3 版，Pulse Medical，上海，中国） 进行数据标注，生成 55,104 组对齐样本。数据按照 7:1:2 的比例（血管级别）划分为 训练集、验证集和测试集。训练集用于学习模型参数，验证集用于调整超参数和选择最佳模型，测试集仅用于最终模型的评估。模型性能及消融实验均基于测试集进行报告。AutoFOX 融合模型形态学精度的外部验证比利时 OLV 诊所（site1，50 名患者）中国 福建医科大学附属协和医院（site2，16 名患者）独立的验证数据集包含 67 名患者，提供冠状动脉 CTA、XA 和 OCT 影像。数据来源于两个医疗机构：两家医院的伦理委员会 批准了这些数据的回顾性分析，患者均签署了书面知情同意书。形态学评估采用 CTA 模型作为参考标准，由 CtaPlus Core 软件（V2 版，Pulse Medical，上海，中国） 自动生成。影像采集时间间隔控制
86.57% 的患者 在不同影像模态的采集时间间隔 小于 3 个月，其余患者的间隔 小于 6 个月。
所有影像均在冠状动脉介入治疗前获取，确保影像未受手术影响。CTA 和 XA 影像均同步至舒张末期（end-diastole）或收缩末期（end-systole），确保时间一致性。
Figure
图
Fig. 1. Coronary artery disease diagnosis and treatment guided by the 3D fusion ofXA and OCT. (a) XA images from two views and (b) OCT pullback, and © 3D fusionmodel of coronary tree.
图 1. 基于 XA 与 OCT 三维融合的冠状动脉疾病诊断与治疗指导。(a) 两个视角下的 XA 影像，(b) OCT 回撤成像，© 冠状动脉树的三维融合模型。
Fig. 2. Workflow diagram of AutoFOX. (I) Initial Reconstruction (IR) includes (a) segmentation of the coronary vessels from two angiographic views, resulting in (b) 3D-XAcoronary tree. Meanwhile, IR provides © lumen segmentation (d) SB ostium detection, and (e) plaques identification, enabling the reconstruction of (f) 3D-OCT model with lipid,fibrous and calcification plaques reconstruction; (II) ; Co-Registration (CR) consists of (g) Coarse Alignment, (h) Fine Alignment via TransCAN, and (i) Rotational Registration; (III);Fusion Reconstruction (FR) includes (j) the reconstruction of the OCT SB ostium and (k) fusion into 3D-XA. (l) is the final fusion result with bifurcation structure, plaques and3D-image
图 2. AutoFOX 工作流程示意图。 (I) 初始重建（IR） 包括： (a) 从两个冠状动脉造影视角分割血管，得到 (b) 3D-XA 冠状动脉树。同时，IR 还提供 © 血管腔分割，(d) 侧支血管（SB）开口检测，(e) 斑块识别，并用于重建 (f) 3D-OCT 模型，其中包含脂质、纤维及钙化斑块的重建； (II) 协同配准（CR） 包括： (g) 粗略对齐，(h) 通过 TransCAN 进行精细对齐，(i) 旋转配准； (III) 融合重建（FR） 包括： (j) OCT 侧支血管开口的重建，(k) 与 3D-XA 进行融合，最终得到 (l) 结合分叉结构、斑块信息及三维影像的最终融合结果。
Fig. 3. The schematic of the design of (a) TransCAN and the details of (b) Contour Extractor module and © SB-Matching module in TransCAN.
图 3. (a) TransCAN 设计示意图；(b) TransCAN 中轮廓提取（Contour Extractor）模块的详细结构；© TransCAN 中侧支血管匹配（SB-Matching）模块的详细结构。
Fig. 4. Visual description of key challenges in fine-alignment. (a) The straighteningof 3D-XA with cubes representing convolution block; (b) Example slices p and d havesame area but differ in anatomical and topological characteristics. From left to rightrepresent the two slices have spatial distortions, locating on opposite directions ofa SB, and different contour shapes; © The SCT1D transforms 3D points into a 1Drepresentation.
图 4. 精细对齐中的关键挑战可视化示意图。 (a) 3D-XA 直线化处理，立方体表示卷积块； (b) 示例切片 p 和 d 具有相同的面积，但在解剖和拓扑特征上存在差异。左至右分别表示：两切片存在空间畸变、位于侧支血管（SB）相对方向、轮廓形状不同； © SCT1D 方法将三维点转换为一维表示形式。
Fig. 5. Branc Position Encoder Generator (BPEG) module. 𝐿 and 𝑑 represent thelength of sequence and contour feature 𝜒, respectively. The (⋅) consists of a flatteningoperation followed by a 1D-Depthwise Separable Convolution with a kernel size of ℎ×1.
图 5.Branch Position Encoder Generator（BPEG）模块。 L 和 d 分别表示序列长度和轮廓特征 𝜒。函数 (⋅) 由展平操作（flattening operation） 和 一维深度可分离卷积（1D-Depthwise Separable Convolution） 组成，卷积核大小为 h×1。
Fig. 6. Illustration of Branch Embedding and SPSP-Attention. (a) Branch Embedding𝜙(𝐵) with its binarized mask; (b) SB-position attention using 𝜙(𝐵 XO) with its binarizedmask; © SPSP-attention mask combines Slide Window attention and SB-Positionattention.
图 6. 分支嵌入（Branch Embedding）与 SPSP 注意力机制示意图。 (a) 分支嵌入 𝜙(𝐵) 及其二值化掩码； (b) 侧支血管（SB）位置注意力机制，使用 𝜙(𝐵 XO) 及其二值化掩码； © SPSP 注意力掩码，结合滑动窗口注意力（Slide Window attention）与侧支血管位置注意力（SB-Position attention）。
Fig. 7. Alignment matrices. (a) The GT self-align matrix 𝑀𝐷; (b) The GT cross-alignpath generated from annotation; © The GT cross-align matrix 𝑀.
图 7.对齐矩阵示意图。 (a) GT 自对齐矩阵 (𝑀𝐷); (b) 基于人工标注生成的 GT 跨模态对齐路径； © GT 跨模态对齐矩阵(𝑀)。
Fig. 8. Process of side branch lumen reconstruction. (a) Interpolation of OCT SB lumencontours; (b) Gradual growth of contours during the interpolation ; © Interpolationeffect of the new OCT SB lumen; (d) Repair and completion at the SB ostium afterreconstruction.
图 8. 侧支血管腔重建过程示意图。 (a) OCT 侧支血管腔轮廓的插值过程； (b) 插值过程中轮廓的逐步生长； © 新重建的 OCT 侧支血管腔的插值效果； (d) 重建后侧支血管开口（SB ostium）的修复与完善。
Fig. 9. Diagram of morphological metrics. (a) Definitions of BRA, BOA and BMLA; (b)Definitions of PBA and DBA; © Definition of directional vector 𝑉𝑝* pointing towards𝑃 .
图 9. 形态学指标示意图。 (a) BRA（分支角度）、BOA（开口角度）和 BMLA（分支最小管腔面积） 的定义； (b) PBA（近端分支角度）和 DBA（远端分支角度） 的定义； © 方向向量 𝑉𝑝* 指向 𝑃 的定义。
Fig. 10. Alignment results display of different methods. (a) to (j) are the alignment results of ten samples from the validation set. The background in the images shows the costpredicted by softTransCAN. The dynamic paths are from wdDTW, Transformer+VAVA, softTransCAN and GT. The paths are generated according to their respective cost maps. Thewhite dots represent key anatomical positions.
图 10. 不同方法的对齐结果展示。 (a) 至 (j) 为验证集中十个样本的对齐结果。图像背景显示了 softTransCAN 预测的成本分布。动态路径分别由 wdDTW、Transformer+VAVA、softTransCAN 和 GT（真实值） 生成，这些路径是基于各自的成本地图计算得到的。白色点表示关键解剖位置。
Fig. 11. The impact of different alignment methods on the fusion model for focal lesion, diffused lesion and aneurysm
图 11. 不同对齐方法对融合模型在局灶性病变、弥漫性病变和动脉瘤中的影响。
Fig. 12. The learning curve of nTransCAN and softTransCAN with changes in trainingdata scale.
图 12. nTransCAN 和 softTransCAN 在不同训练数据规模下的学习曲线。
Fig. 13. The accuracy of nTransCAN with changes of the unit repetition number 𝑀1and 𝑀2 .
图 13. nTransCAN 在不同单元重复次数 𝑀₁ 和 𝑀₂ 下的准确性变化。
Fig. 14. Visualization of side branch ostia generated by AutoFOX (purple) overlapped with side branch of 3D-XA (transparent blue), and 𝛥 is the BOA difference between AutoFOXand 3D-XA
图 14. AutoFOX 生成的侧支血管开口（紫色）与 3D-XA 侧支血管（透明蓝色）的重叠可视化，其中 𝛥 表示 AutoFOX 与 3D-XA 之间的 BOA（开口角度）差异。
Fig. 15. The reconstructed fusion model by the AutoFOX. (a) to (i) are paired comparison between the fusion model (left), the reference CTA vessel tree model (middle) and thewhole heart CTA image (right). There is high consistency in structure and intraluminal information distribution between the AutoFOX model and the CTA model in 3D space.Orange indicates OCT lumen and green indicates fibrous plaques
图 15. AutoFOX 生成的融合模型重建结果。 (a) 至 (i) 为融合模型（左）、参考 CTA 血管树模型（中）和整体心脏 CTA 影像（右）的配对比较。 AutoFOX 模型与 CTA 模型在三维空间结构及血管腔内信息分布上表现出高度一致性。 其中，橙色表示 OCT 血管腔，绿色表示纤维斑块。
Fig. 16. Correlation and agreement between 3D-XA and CTA-model in (a) BOA and (b) BMLA.
图 16. 3D-XA 与 CTA 模型在 (a) BOA（开口角度）和 (b) BMLA（分支最小管腔面积）上的相关性与一致性分析。
Table
表
Table 1Alignment results of TransCAN and comparison methods
表 1. TransCAN 与其他方法的对齐结果比较
Table 2Performance of ablation study on TransCAN
表 2. TransCAN 消融实验结果
Table 3Performance of ablation study on CSA loss.
表 3. CSA 损失函数消融实验结果
Table 4Performance of smooth parameter in SoftTransCAN
表 4. SoftTransCAN 平滑参数的性能评估
Table 5Morphological results of AutoFOX
表 5. AutoFOX 的形态学评估结果
Table 6Time cost of AutoFOX.
表 6. AutoFOX 的时间消耗评估
