TITAN – 哈佛医学院研究推出的多模态全切片病理基础模型 | AI工具集

TITAN是什么

TITAN是哈佛医学院研究团队开发的多模态全切片病理基础模型，通过视觉自监督学习和视觉-语言对齐预训练，能在无需微调或临床标签的情况下提取通用的切片表示，生成病理报告。它使用了335,645张全切片图像（WSIs）以及相应的病理报告，结合了423,122个由多模态生成型AI协作者生成的合成字幕。TITAN在多种临床任务中表现出色，包括线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索和病理报告生成。

TITAN的主要功能

• 生成病理报告：TITAN能够生成在资源有限的临床场景下，如罕见疾病检索和癌症预后，具有泛化能力的病理报告。
• 多任务性能：在多种临床任务上，如线性探测、少样本和零样本分类、罕见癌症检索和跨模态检索，以及病理报告生成等方面，TITAN均展现出优越的性能。
• 提取通用切片表示：TITAN能够提取适用于多种病理任务的通用切片表示，为病理学研究和临床诊断提供有力工具。
• 检索相似切片和报告：TITAN在罕见癌症检索和交叉模态检索任务中表现出色，能有效检索相似切片和报告，辅助临床诊断决策。
• 减少误诊和观察者间差异：TITAN在临床诊断工作流程中有重要潜力，可协助病理学家和肿瘤学家检索相似切片和报告，减少误诊和观察者间差异。

TITAN的技术原理

• 自监督学习和视觉-语言对齐：TITAN通过视觉自监督学习和视觉-语言对齐进行预训练，能无需任何微调或临床标签，提取通用目的的切片表示。
• 预训练策略：TITAN的预训练包含三个不同的阶段，确保最终生成的切片层面表示能够借助视觉和语言监督信号，同时捕捉ROI层面以及WSIs层面的组织形态学语义。
  • 第一阶段（仅视觉预训练）：在名为Mass-340K的内部数据集上进行预训练，该数据集包含335,645张全切片图像（WSIs）及182,862份医学报告。
  • 第二阶段（感兴趣区域与合成标题对齐）：使用423,122对8K×8K的感兴趣区域及其由PathChat生成的合成标题，对TITANV进行预训练，使模型能捕捉区域层面形态学信息。
  • 第三阶段（全切片图像与病理报告对齐）：利用182,862对全切片图像及其病理报告进一步预训练，得到最终模型TITAN，使其具备处理切片层面高层次描述的能力。
• 模型设计：TITAN基于视觉Transformer（ViT）架构，切片编码器使用预先提取的图像块特征，按二维特征网格排列以保留空间上下文。通过将图像块尺寸增大，有效减少输入序列长度。在处理全切片图像尺寸和形状不规则问题上，采用区域裁剪和数据增强方法。
• 语言能力赋予：通过对比标题生成器（CoCa）在第二、三阶段的预训练，将切片表示分别与合成标题及病理报告对齐，微调切片编码器、文本编码器和多模态解码器，使模型具备语言能力，包括生成病理报告、零样本分类和跨模态检索等。

TITAN的项目地址

TITAN的应用场景

• 病理学研究和临床实践：TITAN通过视觉自监督学习和视觉-语言对齐预训练，能提取通用的切片表示，生成病理报告，为病理学研究和临床实践提供更有效的工具。
• 资源有限的临床场景：TITAN特别适用于资源有限的临床场景，如罕见疾病检索和癌症预后，能生成具有泛化能力的病理报告。
• 临床诊断工作流程：TITAN可以协助病理学家和肿瘤学家检索相似的切片和报告，减少误诊和观察者间差异。
• 多样化的临床任务：TITAN在多种临床任务上表现出色，包括线性探测、少样本和零样本分类、罕见癌症检索和跨模态检索，以及病理报告生成。
• 病理报告生成：TITAN无需任何微调和临床标签，能生成高质量的病理报告，在资源受限的情况下。
• 跨模态检索：TITAN在罕见癌症检索和交叉模态检索任务中表现优异，能有效检索相似切片和报告，辅助临床诊断决策。