相关推荐
Giga-SSL
出于基准测试或研究目的，Giga-SSL 嵌入提供了一种在 TCGA 上执行分类任务的极其快速的方法。
Patho-Bench
计算病理学基础模型的标准化基准。
Pathology Feature Extractors and Foundation Models
我们见证了许多新型特征提取器的出现，它们使用自监督学习在大型病理数据集上进行训练。本存储库旨在提供这些模型的完整列表以及它们的关键信息。
pyvirchow
Tools for whole slide image processing and classification
UNI
通用病理基础模型UNI在超过100万张诊断切片上进行了大规模无监督学习，并在34个任务中展现了卓越的性能。该模型支持分辨率无关分类、少样本学习等，并具备对108种癌症类型的泛化分类能力。
UltraSound Foundation Model (USFM)
复旦大学的研究者们提出了面向超声图像的通用基础模型USFM。该模型基于超过200万张多器官超声图像进行训练，采用空间-频率双重掩码建模方法处理低质量图像，在分割、分类和图像增强等多个任务中表现出色。
AbdomenAtlas
Aignostics公司发布了目前最大规模的腹部CT数据集AbdomenAtlas。该数据集涵盖了广泛的人群特征及多种设备类型，共收录了来自112家医疗机构的20,460例三维CT影像。研究团队由10名放射科医生组成，采用人工智能辅助标注方法，完成了67.3万个高质量解剖结构掩码的标注工作。他们首先对5,246例影像中的22种解剖结构进行人工标注，随后利用半自动化流程，由放射科医生优化模型预测的标注结果。
Swin-UMamba
中国科学院深圳先进技术研究院提出的Swin-UMamba进一步推动了图像分割任务中的模型架构优化。与TransUNet不同，Swin-UMamba基于Swin Transformer的层次化特性，通过局部自注意力机制有效捕捉多尺度特征，同时充分利用了在ImageNet上预训练的优势，结合基础模型在自然图像上学到的知识，大幅提升了模型在医疗影像任务中的数据效率和性能，展现了出色的迁移能力。Swin-UMamba能够跨越多种模态（如MRI、内镜图像、显微镜图像等）实现精确分割。
EchoCLIP
EchoCLIP是一个创新的人工智能模型。它能够分析心脏超声图像并理解专家的诊断解读。该模型即使在没有针对具体任务进行专门训练的情况下，也展现出了优秀的表现。模型在评估心功能和识别心内植入设备上达到良好性能，同时其长上下文变体EchoCLIP-R 在患者识别和跨模态检索等任务中展现了优异能力。这一研究推动了基础模型在心血管影像初步解读中的应用潜力。
PathChat
PathChat，一个专为人类病理学设计的视觉-语言通用AI助手。PathChat结合了专门适应病理学的视觉编码器与预训练的大语言模型，在超过456,000个多样化的视觉-语言指令上进行微调，展现出卓越的性能。
MaCo
中国科学院深圳先进技术研究院的团队提出了MaCo，通过引入掩蔽对比学习，同时实现了胸部X光图像的细粒度理解和零样本学习。MaCo在6个公开的胸部X光数据集上验证了其效果，在分类、分割、检测等多个任务中超越了10种现有的最先进方法
VisionFM
香港中文大学的生物医学团队为8个特定的眼科图像模态设计编码器，并为不同任务设计解码器，整合超过50万名患者的340万张图像，训练了眼科疾病基础模型VisionFM。该模型在多个眼科疾病诊断任务上超过基线方法，准确率接近中级眼科医师。该模型还具备强大的数据泛化能力，能够扩展到新的图像模态和设备，甚至能从眼底图像预测青光眼进展和颅内肿瘤。
Medical Segmentation Decathlon
医学成像分割比赛，用于通用算法的验证和测试，涵盖广泛的挑战，例如：小数据、不平衡标签、大范围对象尺度、多类别标签和多模态成像等。本次挑战赛和数据集旨在通过开源多个高度不同任务的大型医学成像数据集，并标准化分析和验证流程，提供此类资源。
PathoDuet
上海交通大学清源研究院的研究人员提出了PathoDuet框架，针对病理切片图像的特点，设计了跨尺度定位和跨染色迁移两个预训练任务，有效利用了图像放大倍数和染色方式之间的关联性。PathoDuet在结直肠癌分型和免疫组化标记物表达预测等任务中优于现有方法。此外，通用病理基础模型UNI[39]在超过100万张诊断切片上进行了大规模无监督学习，并在34个任务中展现了卓越的性能。该模型支持分辨率无关分类、少样本学习等，并具备对108种癌症类型的泛化分类能力。
Prov-GigaPath
全片病理基础模型