MM - GTUNets: Unified Multi - Modal Graph Deep Learning for Brain Disorders Prediction.
研究背景
脑部疾病如自闭症谱系障碍和注意力缺陷多动障碍影响患者生活与社交。临床诊断依赖多模态医疗数据，但数据多样性带来挑战。现有AI预测模型处理多模态数据存在局限，如未充分利用非影像数据、跨模态交互不足等。
方法速览
研究提出统一多模态图深度学习框架MM - GTUNets，包含三个阶段：模态奖励表示学习，用预训练VAE重建非影像特征潜在表示，Q - Learning调整权重；适应性跨模态图学习，GTUNet编码器提取局部节点嵌入，多模态注意力融合模块形成联合表示；分类分析，用MLP分类预测并可视化模态贡献权重。
主要发现
- 非影像数据利用：MRRL模块动态构建人口图，生成非影像特征潜在表示，AMRS分析贡献权重，提供更全面诊断信息。
- 跨模态交互：ACMGL模块捕捉多模态数据复杂交互，GTUNet编码器提取信息，在ABIDE和ADHD - 200数据集上诊断性能优于其他方法。
- 多模态特征联合：多模态注意力融合模块形成联合表示，提高模型诊断准确性，MM - GTUNets在两数据集上有高准确率和AUC值。
- 模态贡献可视化：t - SNE可视化显示MM - GTUNets有显著判别能力，rs - fMRI数据贡献最大，非影像数据中性别、年龄和采集地点贡献相对平衡，性别影响较大。
总结展望
MM - GTUNets在脑疾病二分类预测中表现出色，通过MRRL、ACMGL和模态贡献可视化提高诊断性能和可解释性。不过，其在多分类任务性能未充分验证，未利用低质量多模态数据，基于转导学习不适用于实时场景，硬件需求也有待优化。