医疗科研新突破！菁易科研解析AMVLM在半监督医学图像分割中的应用

AMVLM: Alignment-Multiplicity Aware Vision-Language Model for Semi-Supervised Medical Image Segmentation.

研究背景

半监督医疗图像分割（SSMIS）中低质量伪标签影响模型学习与一致性学习。现有视觉 - 语言模型（VLM）改善伪标签质量时面临跨模态对齐不确定性，导致语义降解。

方法速览

1. AMVLM预训练：采用CSS和ICL两个相似度度量策略，学习多模态细粒度语义的多个对应关系。
2. 文本引导的SSMIS：利用预训练的AMVLM，通过文本掩码生成器生成多模态监督信息，提高伪标签质量，增强模型一致性学习能力。
3. 实验设置：在四个公开医疗图像分割数据集广泛实验。

主要发现

1. 提高伪标签质量：CSS监督细粒度语义相似度分数，学习跨模态对应关系；ICL增强跨模态语义一致性。使伪标签更可靠，减少误分割区域。
2. 优越的分割性能：在四个公开数据集上，AMVLM驱动的SSMIS方法在Dice系数和mIoU指标超现有SSL和VLM方法，在标记数据少的情况下优势明显。
3. 多模态监督信息的生成：用预训练的AMVLM构建文本掩码生成器，注入多模态监督信息到一致性正则化，提升伪标签质量和模型稳定性。
4. 小样本任务中的优势：在1%和10%标记数据的QaTa - COV19数据集上，AMVLM的Dice系数显著优于其他VLM方法。
5. 消融实验验证：CSS和ICL对AMVLM性能提升显著，添加CSS和ICL后Dice系数在多个数据集上提高。
6. 不确定性分析：AMVLM处理语义歧义文本和图像时，余弦相似度更稳定，能更好处理跨模态对齐不确定性。

总结展望

AMVLM具有多模态细粒度对齐和文本引导的SSMIS创新性，但预训练计算复杂、依赖高质量文本描述。其在半监督医疗图像分割中效果显著，有实际应用潜力。