Paige与微软联合发布PRISM2:融合临床对话与病理图像,开启诊断文本生成新范式

Paige与微软联合发布的PRISM2模型示意图,展示病理图像与临床对话的融合

在医疗人工智能(AI)快速发展的今天,病理学作为疾病诊断的“金标准”,正经历着从数字化向智能化、生成化的深刻变革。近日,领先的医疗AI公司 Paige 与微软联合宣布了一项突破性的技术进展——推出了名为 PRISM2 的全新模型。该模型旨在通过融合病理全切片图像(WSI)与临床对话文本,实现从单纯的图像识别向具备临床推理能力的诊断问答系统的跨越,标志着多模态大模型在医疗垂直领域的应用迈出了关键一步。

PRISM2 模型的核心创新在于其独特的多模态融合架构。不同于传统的计算机视觉模型仅通过像素特征来识别病灶,PRISM2 采用了一种基于 Perceiver 的编码器。该架构被设计用于联合处理非结构化的视觉数据和结构化的文本数据。具体而言,PRISM2 不仅能够“看”懂病理切片上的细胞结构和组织形态,还能“读懂”源自病理报告的临床对话与诊断描述。

这种联合训练机制是 PRISM2 的技术亮点。模型在训练过程中,将成千上万个病理切片的图像块嵌入与对应的临床对话嵌入对齐。通过这种深度对齐,模型能够理解图像中的微观特征与宏观诊断结论之间的逻辑联系。例如,当模型在切片中识别出特定的组织异常时,它能结合临床对话中的上下文信息,生成更准确的诊断描述,而不仅仅是给出一个简单的分类标签。

根据官方披露的数据,PRISM2 的训练数据规模极为宏大,涵盖了超过 230 万张全切片图像。如此海量的数据训练,使得模型能够学习到复杂的病理特征分布,并具备处理不同类型癌症和组织样本的能力。更重要的是,PRISM2 不仅仅是一个分类器,它更像是一个“病理学家助手”。在生成式AI的加持下,PRISM2 能够生成自然语言文本,直接回答诸如“该样本是否存在异常?”或“请描述具体的组织学发现”等诊断问题。

这一技术的突破对于临床实践具有深远意义。在传统的病理诊断流程中,病理医生需要花费大量时间在显微镜下阅片,并手动撰写报告。PRISM2 的引入有望成为医生的强力辅助工具,通过自动生成初步的描述性报告或回答特定的诊断疑问,减轻医生的重复性劳动,从而将更多精力集中在复杂病例的研判上。此外,对于医疗教育和培训而言,PRISM2 能够提供解释性的诊断反馈,有助于培养新一代的病理学人才。

从行业角度看,PRISM2 的发布证明了生成式人工智能在医疗领域的巨大潜力。随着大模型技术的成熟,医疗AI正从“看图说话”向“逻辑推理”演进。Paige 与微软的合作再次表明,只有将强大的算力、海量的医疗数据以及先进的算法架构相结合,才能真正解决临床痛点,推动医疗服务的普惠与精准。

信息来源:AI News,原文链接:https://www.artificialintelligence-news.com/news/prism2-model-clinical-dialogue-interpret-pathology-slides/

封面图片来源:Unsplash / 摄影师 Logan Voss

oaido_ai

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注