ToPoFM: Topology‑Guided Pathology Foundation Model for High‑Resolution Pathology Image Synthesis With Cellular‑Level Control.
研究背景
深度学习在数字病理学任务中表现出色，但因肿瘤异质性，标注病理图像数据稀缺，限制算法性能。同时，现有图像合成方法存在生成多样性低等问题。为解决这些挑战，本文提出ToPoFM模型用于高分辨率病理图像合成及细胞级别控制。
方法速览
- 细胞排列生成器（CAG）：利用多尺度K函数描述符和预训练轻量级DINO编码器，结合ViT‑S块和判别器头生成细胞排列。
- 随机滑动推理策略（RS）：随机选低分辨率潜在补丁合并为高分辨率潜在表示，减少合成扩散步骤。
- 高分辨率图像生成：以CAG生成的细胞排列为条件，通过LDM和RS策略生成高分辨率病理图像。
主要发现
- 图像合成质量提升：ToPoFM在BRACS和BCSS数据集上，多项指标表现出色，生成图像质量和分布更接近真实图像。
- CAG有效：CAG生成的细胞排列在多个指标上优于其他方法，证明其生成真实细胞排列的有效性。
- RS高效：RS减少了高分辨率图像合成的扩散步骤，提高计算效率，且保持图像高保真度。
- 合成数据应用佳：ToPoFM生成的合成数据在下游分类和分割任务中表现出色，能增强任务性能，尤其在真实数据有限时。
总结展望
ToPoFM模型创新性体现在实现细胞级别控制、采用随机滑动推理策略和多尺度K函数描述符。不过，该模型存在计算成本高、泛化能力待验证和有过拟合风险等局限。未来需进一步优化，提升其实用性和泛化能力。