医疗科研新发现 | 菁易科研揭秘：眼动信息如何革新自监督医学图像预训练？

Improving Self‑Supervised Medical Image Pre‑Training by Early Alignment With Human Eye Gaze Information.

研究背景

医学图像分析里，自监督预训练法常缺与人类知识的早期对齐，学习效率低。本文提出Gaze Pre‑Training (GzPT) 法，在预训练阶段引入人类眼动信息，用对比学习拉近具相似眼动模式的图像，提高模型效率与性能，还增强了解释性。

方法速览

1. 眼动数据收集与表示：从经验丰富放射科医生处收集眼动数据，以眼动序列或热图表示。
2. 正样本对挖掘：通过Temporal Image Moment Analysis (TIMA) 评估眼动序列时空相似性，生成正样本对。
3. GazeDrop技术：随机丢弃基于眼动数据的正样本对，减少噪声影响。
4. 实验验证：在OAI、Tufts Dental和INbreast三个数据集上实验。

主要发现

1. 提升学习性能：在三个数据集上，GzPT均优于基线方法。如在OAI数据集上，ACC指标提升0.91%‑3.58%，MAE指标显著降低。
2. 生成优质表示：GzPT学习到的表示更有意义和解释性，如在INbreast数据集上，病变和正常区域表示表现更好。
3. 数据增强优势：作为语义感知的数据增强方法，GzPT在多数数据集和指标上表现更优。
4. 良好扩展性：在不同大小的Vision Transformer (ViT) 模型上，MAE和ACC指标均提升，专家级眼动数据效果更佳。
5. 计算效率高：TIMA计算眼动相似性时间复杂度低，性能优于其他方法。

总结展望

GzPT通过引入眼动信息，显著提升自监督医学图像预训练性能，且有良好的可扩展性和计算效率。不过，其依赖专家级眼动数据，在大规模标注数据集上提升有限。未来需探索减少对高专业数据依赖的方法，拓展其应用范围。