最新影像组学多模态模型预测肺癌新辅助免疫化疗 作者开源模型 可以
image.png
2024年一项发表于《Journal for ImmunoTherapy of Cancer》的多中心研究显示，通过术前平扫+增强CT构建的深度学习模型（LUNAI-fCT），可无创、精准预测患者病理完全缓解（pCR），为临床决策提供重要参考。
image.png
作者预训练的肺癌CT专用基础模型FM-LCT (https://github.com/zhenweishi/FM-LCT) 已经开源，可以用于自己研究中直接提取特征或者经过微调后再提取特征
image.png
一、数据来源
多中心回顾性队列，覆盖113例训练+112例外部验证 本研究为回顾性多中心研究，纳入2019年8月至2023年2月期间，国内4家中心（A、B、C、D）接受新辅助免疫化疗后手术的NSCLC患者。
纳入标准：经病理证实为NSCLC（IB-III期），完成至少2周期新辅助免疫化疗，术后有完整病理评估，且有术前平扫及增强CT图像。
排除标准：CT图像缺失或质量不佳、CT检查距治疗开始超过1个月、临床病理资料不全。 最终，113例患者来自中心A（按8:2划分为训练集与内部验证集），112例患者来自中心B（73例）、C（20例）、D（19例）作为外部测试集，确保模型的外部泛化能力。
image.png
二、模型构建：从CT图像到预测模型，四步实现精准特征挖掘
1. 数据预处理：标准化图像，确保特征一致性
-
CT图像规格：纳入层厚0.625-1.25mm的平扫（non-contrast）和增强（contrast enhanced）CT，增强扫描使用350mg/mL非离子碘造影剂（60-80mL，注射速率2-3mL/min）。
-
预处理步骤：
体素重采样：通过B样条插值将图像统一为1mm各向同性体素，消除层厚差异；
强度归一化：采用z-score方法标准化CT值，减少不同设备的扫描偏差。 -
ROI分割：由放射科医生与胸外科医生联合使用ITK-SNAP软件手动分割肿瘤区域（ROI），随机抽取50例样本计算组内相关系数（ICC≥0.75），证实分割可靠性。
2. 特征提取
采用肺癌CT专用预训练基础模型FM-LCT(https://github.com/zhenweishi/FM-LCT) 提取深度特征。该模型通过掩码自编码器（MAE）对比学习算法，在大规模、多类型肺癌CT数据集上训练，可自动捕捉肿瘤异质性、血管生成等关键生物学特征。
- 从平扫CT中提取768维特征向量（FS-uCT）；
- 从增强CT中提取768维特征向量（FS-eCT）；
- 融合特征（FS-fCT）：对FS-uCT和FS-eCT进行平均池化，整合两种模态信息。
3. 模型训练：降维+随机森林，构建三种预测模型
- 特征降维：采用主成分分析（PCA）对上述特征降维，保留16个PCs，减少冗余信息并避免过拟合；
-
模型构建：使用随机森林算法分别构建
LUNAI-uCT模型（仅平扫特征）； LUNAI-eCT模型（仅增强特征）； LUNAI-fCT模型（融合平扫+增强特征）
image.png
三、模型结果
融合模型性能最优，AUC达0.866 在外部测试集（112例）中，三种模型的表现如下：
| 模型 | AUC（95%CI） | 准确率 | 敏感性 | 特异性 | 阴性预测值 |
|---|---|---|---|---|---|
| LUNAI-uCT | 0.762（0.654-0.791） | 0.676 | 0.958 | 0.532 | 0.962 |
| LUNAI-eCT | 0.797（0.724-0.844） | 0.716 | 0.833 | 0.660 | 0.892 |
| LUNAI-fCT | 0.866（0.821-0.883） | 0.800 | 0.917 | 0.739 | 0.944 |
image.png
融合模型（LUNAI-fCT）的Immu-TR评分（预测pCR的概率）在pCR与非pCR组间差异显著，Kolmogorov-Smirnov检验KS值达0.825（P<0.001），提示其区分能力优异；
亚组分析（按年龄、吸烟状态、临床分期）显示，融合模型在各亚组中均保持稳定性能。
模型解释
用SHapley Additive exPlanations（SHAP）分析量化各CT特征对预测的贡献；
image.png
- 通过梯度加权类激活映射（Grad-CAM）生成显著性热图，直观展示模型关注的肿瘤区域（主要为瘤内及瘤周环境）。
下图两例临床特征相似患者（相同TNM分期、吸烟状态、病理类型、病灶位置等）的Immu-TR评分实例： - 患者A的Immu-TR评分为0.791，病理证实达到pCR；
- 患者B的Immu-TR评分为0.213，病理为非pCR；
-
Grad-CAM显著性热图显示，模型提取的深度学习特征主要来自肿瘤内部区域，直观解释了预测依据。
image.png
