2026.7.17
本文融合MRI影像组学、改进GhostNet病理标志物预测与LLM智能体，为肝细胞癌患者生成并评估个体化治疗建议。
Title题目
01
用于肝细胞癌个体化临床决策的多模态大语言模型智能体框架
A multimodal LLM-agent framework for personalized clinical decision-making in hepatocellular carcinoma
文献速递介绍
02
论文首先指出，肝细胞癌是全球高负担恶性肿瘤，具有诊断偏晚、进展快、复发率高和预后差等特点。虽然BCLC、CNLC等分期系统为治疗选择提供了基本框架，但真实世界中患者在肝功能、肿瘤负荷、基础肝病、合并症和病理侵袭性方面差异很大，同一分期患者可能需要不同治疗策略。影像组学和深度学习已被用于HCC检测、分割、预后预测和病理特征推断，但多数模型局限于单一模态，难以在复杂临床语境下综合临床、影像和病理信息。作者认为，LLM和智能体为多模态信息整合、指南对齐和自然语言解释提供了新机会，因此提出一个从术前MRI预测病理标志物到LLM智能体生成治疗建议、再由专家评估的完整临床决策框架。
Aastract摘要
03
肝细胞癌治疗决策受肿瘤异质性、肝功能、影像表现和病理生物学影响，单纯依赖BCLC、CNLC等指南难以覆盖真实临床中的个体差异。本文提出一个多模态AI框架，先用增强MRI构建影像组学与改进GhostNet深度学习融合模型，术前预测MVI、包膜、癌栓、分化程度、Hepa、GPC3和CK19等关键病理标志物，再将预测结果与临床指标、影像报告整合为结构化文本输入给六类LLM智能体。系统结合HCC指南、文献和知识库，通过检索增强与多轮对话生成患者级治疗建议，并由四名资深肝胆外科医生盲法评价。结果显示，影像组学与深度学习融合模型较单一模型显著提升病理标志物预测能力，DeepSeek-R1在六个智能体中获得最高临床相关性和可行性评分，提示该框架有望支持HCC精准、可解释和个体化决策。
Method方法
04
研究回顾性纳入两个独立队列共435例原发性HCC患者。复旦中山医院330例手术切除病例用于训练和验证病理标志物预测模型，因为这些病例具备完整术后病理报告；北京清华长庚医院105例接受手术、TACE、消融或系统治疗的病例用于评估临床决策框架的泛化和实际应用价值。影像数据来自术前增强MRI，包括T1WI、T2WI、DWI以及动脉期、门静脉期、延迟期动态增强序列，两名有经验的腹部影像医生使用ITK-SNAP勾画肿瘤区域并达成一致。临床数据包括人口学信息、肝功能、肿瘤标志物、血液学指标、病毒性肝炎状态、饮酒史、合并症和肿瘤分期等，并被整理为适合AI处理的结构化格式。
病理标志物预测模型
作者选择七个与HCC治疗和预后密切相关的病理标志物作为预测目标，包括包膜、癌栓、肿瘤分化程度、MVI、Hepa、GPC3和CK19。其中包膜、癌栓、Hepa、GPC3、CK19作为二分类变量，MVI和肿瘤分化程度作为有序多分类变量。影像组学分支使用PyRadiomics从MRI肿瘤区域提取一阶统计、形状、纹理和小波特征，每个时期初始提取993个特征，再通过LASSO和递归特征消除筛选，使用GBDT、LGBM、XGBoost和随机森林建模。深度学习分支以GhostNet为基础，加入扩张卷积以扩大感受野，引入CBAM增强通道和空间注意力，并整合RCA残差通道注意力模块以强化关键特征表达。最终的联合模型将影像组学特征经全连接层处理后与改进GhostNet倒数第二层深度特征拼接，再通过MLP输出分类结果，用交叉熵损失和Adam优化器训练，并与原始GhostNet、DenseNet121、ResNet50和FBNet等模型比较。
LLM临床决策智能体
临床决策模块包含GPT-4、DeepSeek、BioGPT、Med-PaLM 2、LLaMA 2和ChatDoctor六个LLM智能体。系统将结构化临床指标、影像发现和AI预测的病理标志物转换为统一自然语言报告，输入各智能体生成治疗建议。知识库覆盖BCLC、CNLC、AASLD、EASL等HCC治疗指南，结合LI-RADS、WHO消化系统肿瘤分类、联合治疗文献和专家共识。知识抽取层使用面向肝病语料微调的BioALBERT进行实体识别，并将疾病、操作、药物、基因蛋白和影像术语映射到UMLS、CMeSH、RxNorm、HGNC、UniProt和RadLex等标准体系；关系抽取结果组织进Neo4j符号知识图谱，同时以PubMedBERT嵌入构建FAISS向量索引用于RAG检索。作者还引入检索增强链式思维提示，使智能体在生成建议前检索相关证据，并在界面中显示证据路径、来源和推理痕迹，以提升可解释性并降低幻觉风险。
评价设计
病理预测模型使用准确率、召回率、精确率、F1分数和AUC评价。LLM决策建议则由四名具有15年以上经验的资深肝胆外科医生进行盲法评估，每名专家独立评价105例患者中六个智能体生成的匿名推荐。评分维度包括与指南的一致性、个体化与适应性、临床可行性与可操作性、以及与真实治疗记录的一致性，每项1到5分，总分最高20分。16分及以上被视为高质量建议，12到15分为中等质量，11分及以下提示需要显著调整或重新评估。作者还进行了提示鲁棒性实验，构造40种语义等价提示，并在无CoT、无显式证据引用、无RAG等消融条件下测试105例病例，总计生成16800条LLM响应，用自一致率、Fleiss κ、AUC漂移、变异系数和Jaccard@3等指标衡量稳定性。
实验结果
在影像组学分支中，LASSO共筛选出57个特征，不同病理标志物的最佳模型不同。包膜预测中GBDT准确率最高，肿瘤分级中GBDT取得较高AUC，CK19、GPC3、Hepa等任务在部分模型上准确率较高，但MVI预测仍较困难，说明单纯影像组学特征对部分侵袭性病理标志物的表征能力有限。改进GhostNet在深度学习分支中提升了多项指标，例如癌栓预测准确率为0.6750、F1为0.7105，GPC3准确率为0.8272、F1为0.7906，但部分任务AUC和召回仍有改进空间。联合模型表现最佳，改进GhostNet与影像组学融合后，在癌栓、包膜、GPC3、MVI和肿瘤分级等任务上整体优于原始GhostNet、DenseNet121、ResNet50和FBNet；例如癌栓准确率达到0.8625、F1达到0.8588，包膜和GPC3的F1分别达到0.8742和0.8889，MVI和肿瘤分级准确率分别达到0.8902和0.8765。Grad-CAM可视化显示模型关注区域主要位于肿瘤内部、边缘及强化区域，与包膜、血管侵犯和分化等临床相关征象具有一定生物学合理性。
LLM智能体结果
在105例真实HCC病例上，六个智能体均接收同样的结构化多模态输入并生成治疗建议。代表病例显示，多数模型能够根据BCLC和CNLC指南为B期HCC推荐TACE，但在后续治疗序贯和联合治疗策略上存在差异。DeepSeek和GPT-4更倾向于在TACE效果不佳时加入靶向治疗和免疫治疗，BioGPT强调GPC3阳性并提出靶向药和PD-1抑制剂，ChatDoctor则在TACE成功后提出更具体的解剖性肝切除建议。这说明LLM智能体不仅能复现指南级决策，还会根据模型知识结构和输入的病理预测信息产生不同层次的个体化建议。鲁棒性实验中，系统自一致率达到91.4%，Fleiss κ为0.82，AUC变化控制在±0.012以内，检索证据的Jaccard@3为0.71±0.05，表明在不同提示表述下推荐和证据路径较稳定。
外科专家评价
四名资深肝胆外科医生对六个智能体的建议进行评分后发现，DeepSeek-R1总分最高，平均约17.79到18.58分，在个体化、临床可行性、准确性和与真实决策的一致性方面均表现突出。GPT-4和Med-PaLM 2表现较好，平均分约13.96到16.22，说明它们能够较好对齐指南并生成具有临床意义的建议。BioGPT和ChatDoctor处于中等水平，能提供合理建议但个体化程度或临床适配性不足。LLaMA 2得分最低，平均约7.78到12.00，提示其在HCC专业决策、复杂多因素推理和实际可行性方面存在明显不足。总体结果支持将多模态病理预测、结构化病例输入和LLM指南推理结合起来作为临床辅助决策工具，但也提示不同LLM之间差异显著，必须经过专科场景验证。
Discussion讨论
05
作者认为，本文的核心价值在于将术前非侵入性病理标志物预测与LLM智能体决策联系起来，使治疗建议不再仅依赖影像分期和静态指南，而能纳入MVI、包膜、分化程度、CK19等反映肿瘤生物学和预后风险的信息。改进GhostNet的扩张卷积、CBAM和RCA模块增强了多尺度空间信息和关键通道表征，影像组学与深度特征融合则同时利用了人工定义的纹理形态特征和网络自动学习的抽象特征。LLM智能体可将这些预测结果与临床指标、影像报告和指南知识结合，生成可解释、可追溯、可由医生审阅的个体化建议。作者强调，DeepSeek-R1得分最高不应仅被理解为模型排行榜，而更重要的是本文建立了一个面向HCC决策的领域化、专家评分、多维度评价框架，为后续LLM临床决策系统的微调、验证和监管评估提供基础。
局限性
本文也存在多方面限制。首先，病理标志物预测模型的训练和验证样本量相对有限，且主要来自手术切除病例，可能影响对更广泛HCC人群和非手术患者的泛化能力。其次，影像特征仅来自增强MRI，尚未整合CT、PET或更丰富的多组学数据，可能不足以全面表征肿瘤微环境和异质性。第三，LLM智能体依赖既有指南和回顾性数据，面对快速演进的系统治疗、免疫联合治疗和临床试验结果时，需要持续更新知识库。第四，外科专家评价虽显示较高一致性，但105例决策评估来自单中心队列，仍需外部验证和前瞻性临床试验。最后，预测标志物仅限七项，未纳入Ki-67、PD-L1、EpCAM等潜在有价值指标，主要受限于多中心免疫组化标准不统一和缺失率较高。
Conclusion结论
06
本文构建了一个结合影像组学、改进GhostNet深度学习和LLM智能体的HCC个体化临床决策框架。研究显示，影像组学与深度学习融合能显著提升术前病理标志物预测表现，为风险分层和治疗规划提供更丰富的肿瘤生物学信息。在LLM智能体中，DeepSeek-R1获得最高专家评分，GPT-4和Med-PaLM 2也表现出较好的指南一致性和临床相关性。整体而言，该工作证明了将多模态AI预测与证据增强LLM推理结合用于HCC个体化决策的可行性，但在真正进入临床前仍需更大规模、多中心、前瞻性和安全性验证。
Figure图
07
图1.
该图概括了研究的端到端流程：从HCC患者MRI采集、病灶勾画，到病理标志物预测模型构建，再将预测病理数据、临床基线数据和影像报告转换为文本输入六个LLM智能体，最后通过外部知识库辅助生成治疗建议，并由资深外科医生从一致性、个体化、可行性和结果对齐四方面评估。它是理解本文方法链条的核心框架图。
图2.
该图比较DenseNet、FBNet、原始GhostNet、ResNet50和改进GhostNet融合影像组学特征后的病理标志物预测表现，覆盖准确率、召回率、精确率和F1分数。结果显示，加入RCA、CBAM和扩张卷积的GhostNet_RCA_CBAM_DIL整体表现最优，特别是在包膜、GPC3、MVI和肿瘤分级等关键任务上优势明显，支持多模态特征融合优于单一模型。
图3.
该图展示改进GhostNet对七类病理标志物预测时的热力图，包括癌栓、包膜、CK19、GPC3、Hepa、MVI和肿瘤分化。热区主要集中在病灶内部、边缘和强化相关区域，说明模型并非依赖无关背景，而是在临床上可能对应血管侵犯、包膜形成和肿瘤异质性的区域提取判别信息，从而增强模型解释性。
图4.
该图以一个随机HCC病例为例，展示GPT-4、DeepSeek、BioGPT、Med-PaLM 2、LLaMA 2和ChatDoctor生成的不同治疗建议。多数模型能识别指南推荐方向，例如B期HCC倾向TACE，但在是否加入靶向治疗、免疫治疗、后续手术或随访策略方面存在差异，反映出不同LLM的医学知识整合与个体化推理能力不同。
图5：
该图汇总四名资深肝胆外科医生对六个智能体在个体化、临床可行性、一致性和准确性方面的独立评分。DeepSeek-R1在各专家评分中总分最高，接近高质量临床建议水平；GPT-4和Med-PaLM 2次之；BioGPT和ChatDoctor中等；LLaMA 2最低。该图是证明LLM智能体临床可用性差异和框架评估价值的关键结果。
