医疗科研新突破 | 菁易科研解读：LLM引导提示助力医学影像诊断持续学习

LLM-Guided Decoupled Probabilistic Prompt for Continual Learning in Medical Image Diagnosis.

研究背景

动态临床环境中，新疾病挑战传统诊断模型，其处理新任务时会因灾难性遗忘致先前任务性能下降。连续学习（CL）被引入以持续学习新知识并保留旧知识，但现有CL方法在处理细粒度知识和集成专家知识上有局限。本文提出LLM引导的解耦概率提示（LDPP）连续学习框架来解决这些问题。

方法速览

1. 专家知识生成模块（EKG）：用LLM生成解耦专家知识和类别描述，涵盖病变位置、视觉属性等。
2. 解耦概率提示池（DePP）：构建共享池，通过高斯混合模型动态选提示，为图像提供多样描述。
3. 引导提示池（SPP）：引入非共享池，学习任务特定知识，用约束条件促进类内紧凑性。

主要发现

1. 解耦概率提示池提升性能：DePP显著提高模型处理新类别的性能，在SD - 260和Kvasir - Capsule数据集上ACC - T和ACC - S指标优于其他方法。
2. 专家知识生成模块增强特征表示：EKG生成的解耦专家知识提高模型对细粒度特征的表示能力，在不平衡数据集上Re - C指标提升约4.40%。
3. 引导提示池增强分类性能：SPP提高模型分类性能，处理新类别时效果显著，如SD - 260 - S的10个任务中ACC - T和ACC - S指标分别提高5.14%和11.37%。
4. 零样本学习验证泛化能力：在SD - 260的“Few”子集上，LDPP在不同训练设置下表现出色，处理未见过新类别时准确率高。
5. 模型对超参数敏感性低：LDPP对学习率和超参数λ敏感性低，能在较宽范围保持良好性能。
6. 任务增量学习表现佳：在任务增量学习设置下，LDPP在不同任务分割设置下均优于其他方法。

总结展望

LDPP框架在医学影像诊断的连续学习中表现出色，具有创新性，但也存在依赖LLM、模型复杂度高、数据分布假设等局限性。未来可进一步优化，以更好地应用于实际医疗场景。