DINO-Reg: Efficient Multimodal Image Registration With Distilled Features.
研究背景
医疗图像配准是医学图像分析基本方法，在图谱映射等应用中关键。但人体解剖复杂，常需可变形配准，现有方法依赖手工特征或大量标注数据，限制临床应用。
方法速览
本文提出基于视觉基础模型DINOv2的无适应性医疗图像配准方法DINO - Reg，还提出知识蒸馏版本DINO - Reg - Eco提高计算效率。
主要发现
- 高效的多模态图像配准：DINO - Reg用DINOv2提取特征进行3D医疗图像对齐，在胸CT和腹部MR - CT图像配准任务中，Dice相似系数佳、Hausdorff距离低。如腹部MR - CT配准中，肝脏、脾脏和肾脏配准DSC值显著优于其他方法。
- 知识蒸馏加速特征编码：DINO - Reg - Eco通过知识蒸馏将DINOv2特征编码能力转移到3D UNet结构卷积神经网络。实验显示，它保持与DINO - Reg相当配准性能，特征编码时间减少99%，运行时间和内存消耗显著降低。
- 不同分辨率下的编码效果：112×96分辨率在多数据集表现最佳。低分辨率轮廓细节模糊，高分辨率不同模态一致性差，都会影响配准性能。
- 不同基础模型的比较：DINOv2 - L模型在所有任务中表现最佳，MAE和MedSAM在配准任务中表现不佳，缺乏全局语义理解。
- 不同视角的编码效果：轴向视角在大多数情况下表现最佳，其前三个主成分解释方差最多，利于对齐解剖结构。
- 失败案例分析：DINO - Reg在视野不同图像处理上有局限，DINOv2在脑部MR图像表现差，因脑部图像解剖区分不清晰。
总结展望
DINO - Reg能有效捕捉和对齐不同模态图像解剖结构，DINO - Reg - Eco提高计算效率且保持高精度配准性能。但DINO - Reg在视野不同图像处理及DINOv2在脑部图像应用上需改进。未来可探索优化模型应对挑战。