毫无疑问，MRI 图像非常复杂并且数据量巨大。
因此，开发人员在训练大型语言模型(LLM) 进行 MRI 分析时，必须将捕获的图像切片成 2D。但这只能得到原始图像的近似值，从而限制了模型分析复杂解剖结构的能力。这给涉及脑肿瘤、骨骼疾病或心血管疾病的复杂病例带来了挑战。
但GE 医疗似乎已经克服了这一巨大障碍，在今年的AWS re:Invent上推出了业界首个全身 3D MRI 研究基础模型 (FM) 。模型首次可以使用整个身体的完整 3D 图像。
GE Healthcare 的 FM 完全基于 AWS 构建，专门为 MRI 等医学成像设计的模型非常少，并且基于来自 19,000 多项研究的 173,000 多张图像。开发人员表示，他们能够以比以前少五倍的计算量来训练该模型。
GE Healthcare 尚未将基础模型商业化；它仍处于进化研究阶段。早期评估机构Mass General Brigham计划很快开始试验它。
GE HealthCare 首席人工智能官 Parry Bhatia 表示：“我们的愿景是将这些模型交到医疗保健系统的技术团队手中，为他们提供强大的工具，以更快、更经济高效地开发研究和临床应用。”
实现复杂 3D MRI 数据的实时分析
虽然这是一项突破性的进展，但生成式人工智能和法学硕士对该公司来说并不是新领域。巴蒂亚解释说，该团队已经研究先进技术 10 多年了。
其旗舰产品之一是AIR Recon DL，这是一种基于深度学习的重建算法，可帮助放射科医生更快地获得清晰的图像。该算法可消除原始图像中的噪声并提高信噪比，从而将扫描时间缩短高达 50%。自 2020 年以来，已有 3400 万名患者使用 AIR Recon DL 进行了扫描。
GE Healthcare 于 2024 年初开始研发 MRI FM。由于该模型是多模态的，因此它可以支持图像到文本的搜索、链接图像和文字以及对疾病进行细分和分类。Bhatia 表示，目标是让医疗专业人员在一次扫描中比以往获得更多细节，从而实现更快、更准确的诊断和治疗。
AWS 医疗保健和生命科学总经理 Dan Sheeran说：“该模型具有实现 3D MRI 数据实时分析的巨大潜力，可以改善活检、放射治疗和机器人手术等医疗程序。”
目前，它在前列腺癌和阿尔茨海默病分类等任务中的表现已经超越了其他公开的研究模型。在图像检索中，它在匹配 MRI 扫描和文本描述方面的准确率高达 30%——这听起来可能并不那么令人印象深刻，但与类似模型所展现的 3% 的能力相比，这是一个巨大的进步。
巴蒂亚说：“目前，该技术已经取得了一些非常强劲的成果。其影响是巨大的。”
利用（更少的）数据做更多的事情
巴蒂亚解释说， MRI 过程需要几种不同类型的数据集来支持绘制人体地图的各种技术。
例如，所谓的 T1 加权成像技术会突出脂肪组织并降低水信号，而 T2 加权成像会增强水信号。这两种方法是互补的，可以创建完整的大脑图像，帮助临床医生检测肿瘤、创伤或癌症等异常情况。
“MRI 图像有各种不同的形状和大小，就像书籍有各种不同的格式和大小一样，对吗？”巴蒂亚说。
为了克服多样化数据集带来的挑战，开发人员引入了“调整大小和适应”策略，以便模型能够处理和应对不同的变化。此外，某些区域可能缺少数据（例如图像可能不完整），因此他们教导模型简单地忽略这些情况。
“我们教会模型跳过空白，专注于现有内容，而不是陷入困境，”巴蒂亚说。“可以把这想象成解决缺少一些碎片的拼图。”
开发人员还采用了半监督式学生-教师学习，这在数据有限的情况下尤其有用。通过这种方法，两个不同的神经网络在标记和未标记的数据上进行训练，教师创建标签，帮助学生学习和预测未来的标签。
“我们现在使用了很多这种自监督技术，这些技术不需要大量数据或标签来训练大型模型，”巴蒂亚说。“它减少了依赖性，你可以从这些原始图像中学到比过去更多的东西。”
巴蒂亚解释说，这有助于确保该模型在资源较少、机器较旧且数据集类型不同的医院中也能表现良好。
他还强调了模型多模态性的重要性。“过去的许多技术都是单模态的，”巴蒂亚说。“它只会查看图像和文本。但现在它们正在变得多模态，它们可以从图像到文本，再从文本到图像，这样您就可以引入过去使用不同模型完成的许多事情，并真正统一工作流程。”
他强调，研究人员只使用他们有权使用的数据集；GE Healthcare 拥有授权去识别数据集的合作伙伴，并且他们严格遵守合规标准和政策。
使用 AWS SageMaker 解决计算和数据挑战
毫无疑问，构建如此复杂的模型面临着许多挑战——例如，对于千兆字节大小的 3D 图像，计算能力有限。
“这是海量的 3D 数据，”Bhatia 说道。“你需要将其存入模型的内存中，这是一个非常复杂的问题。”
为了克服这一问题，GE Healthcare 以Amazon SageMaker为基础，提供跨多个 GPU 的高速网络和分布式训练功能，并利用 Nvidia A100 和张量核心 GPU 进行大规模训练。
Bhatia 解释道：“由于数据和模型的大小，他们无法将其发送到单个 GPU。”SageMaker 允许他们在可以相互交互的多个 GPU 上自定义和扩展操作。
开发人员还在Amazon S3对象存储中使用了Amazon FSx，从而可以更快地读取和写入数据集。
巴蒂亚指出，另一个挑战是成本优化；借助亚马逊的弹性计算云 (EC2)，开发人员能够将未使用或不经常使用的数据移动到成本较低的存储层。
Bhatia 表示：“利用 Sagemaker 训练这些大型模型（主要针对跨多个高性能 GPU 集群的高效分布式训练）是真正帮助我们更快行动的关键因素之一。”
他强调，所有组件都是从数据完整性和合规性的角度构建的，并考虑到了 HIPAA 和其他监管法规和框架。
最终，“这些技术可以真正简化流程，帮助我们更快地创新，并通过减少管理负担来提高整体运营效率，并最终提供更好的患者护理——因为现在您可以提供更加个性化的护理。”
作为其他专门微调模型的基础
虽然目前的模型仅限于 MRI 领域，但研究人员看到了扩展到其他医学领域的巨大机会。
希兰指出，从历史上看，医学成像领域的人工智能受到需要针对特定器官的特定情况开发定制模型的限制，需要专家对训练中使用的每张图像进行注释。
但由于疾病在个体中的表现方式不同，这种方法“本质上是有限的”，并且带来了普遍性的挑战。
他说：“我们真正需要的是数千个这样的模型，以及在遇到新信息时快速创建新模型的能力。”每个模型的高质量标记数据集也是必不可少的。
现在有了生成式人工智能，开发人员不必为每种疾病/器官组合训练离散模型，而是可以预先训练一个单一的基础模型，该模型可以作为下游其他专门微调模型的基础。
例如，GE Healthcare 的模型可以扩展到放射治疗等领域，放射科医生需要花费大量时间手动标记可能存在风险的器官。Bhatia 表示，它还可以帮助减少 X 光和其他程序的扫描时间，因为目前这些程序要求患者长时间坐在机器上。
希兰惊叹道：“我们不仅通过基于云的工具扩大了对医学图像数据的访问，而且还改变了这些数据的利用方式，以推动医疗保健领域的人工智能进步。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/liao-jie-ge-healthcare-ru-he-shi-yong-aws-gou-jian-jie-shi
