

相关推荐

FaceAge
<div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">FaceAge是一款AI人脸识别扫描模型,它通过数万张患者照片和公共图像数据库进行训练,能够精准判断个人衰老迹象。</h3> <h2 class="heading-element" dir="auto" tabindex="-1">模型描述</h2> <a id="user-content-model-description" class="anchor" href="https://github.com/AIM-Harvard/FaceAge#model-description" aria-label="永久链接:模型描述"></a></div> <p>FaceAge 深度学习流程包括两个阶段:面部定位和提取阶段,以及带有输出线性回归器的特征嵌入阶段,可提供生物年龄的连续估计。</p> <p><a href="https://github.com/AIM-Harvard/FaceAge/blob/main/assets/models-diagram.png" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/23/1748025905_VTsgNA0YZ3.png"></a></p> <p>第一阶段通过在照片中定位人脸并在其周围定义一个边界框来预处理输入数据。然后对图像进行裁剪、调整大小,并在所有 RGB 通道上对像素值进行标准归一化。人脸提取是使用由 Zhang 等人实现的<a href="https://github.com/ipazc/mtcnn">多任务级联 CNN (MTCNN)</a>完成的 (IEEE Signal Processing Letters 23, 1499–1503, 2016)。提取网络由三个子网络组成,即提议网络 ( <code>P-net</code>),它创建一组初始边界框候选集,其中相似的框被合并,然后<code>R-net</code>使用边界框回归和人脸关键点定位进一步细化 (),然后第三阶段 ( <code>O-net</code>) 更严格地使用人脸关键点来优化最终边界框,实现了 95% 的引用测试准确率。有关更多详细信息,请参阅项目存储库。</p> <p>流程的第二阶段将提取出的人脸图像输入卷积神经网络 (CNN),该网络对图像特征进行编码,通过回归计算得出连续的 FaceAge 预测值作为输出。该模型(其预训练权重将在发布后公布)采用一种<code>Inception-ResNet v1</code>架构,其层级将高阶人脸特征逐步嵌入到低维表示中,从而产生 128 维的人脸嵌入,然后将其输入到线性回归层,生成连续的生物年龄估计值作为最终输出。原始<code>Inception-ResNet v1</code> <a href="https://github.com/davidsandberg/facenet">CNN 权重由 Sandberg 针对人脸识别问题进行了预训练,在</a><a href="http://vis-www.cs.umass.edu/lfw/results.html" rel="nofollow"><code>Local Faces in the Wild</code>数据库</a>上的测试准确率高达 98% (详情请参阅项目代码库)。</p> <p>该网络适用于生物年龄估计,方法是移除输出分类层,代之以密集连接层,为具有线性激活函数的全连接输出层提供回归函数。然后,<code>Inception-ResNet v1</code>除了全连接的输出层之外,还应用迁移学习来调整 426 层中的最后 281 层(Inception Block B1 及以后)的权重,使用来自数据库的 N = 56,304 张带有年龄标记的人脸图像的增强和随机重新平衡的训练数据集<code>IMDb-Wiki</code>(参见<a href="https://github.com/AIM-Harvard/FaceAge#augmentation-and-rebalancing">增强和重新平衡</a>)。从 60 岁及以后带有年龄标记的照片是手动挑选的,以确保图像质量控制并减少该临床相关年龄组的噪声标签造成的错误(参见<a href="https://github.com/AIM-Harvard/FaceAge#manual-quality-assurance">手动质量保证</a>)。以下 CONSORT 样式图表显示了如何构建训练数据集:</p> <p><a href="https://github.com/AIM-Harvard/FaceAge/blob/main/assets/models-consort.png" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/24/1748025911_fN8EZhLvRs.png"></a></p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">模型训练和性能</h2> <a id="user-content-model-training-and-performance" class="anchor" href="https://github.com/AIM-Harvard/FaceAge#model-training-and-performance" aria-label="永久链接:模型训练和性能"></a></div> <p><code>Keras</code>训练在配备后端的配对 GPU 上进行<code>Tensorflow</code>,采用带动量反向传播的随机梯度下降法,最小化平均绝对误差 (MAE),批次大小为 256,采用批次归一化,使用 Dropout 进行正则化,初始学习率为 0.001,并在错误率达到平台期时逐步降低学习率。模型开发集采用随机划分法细分为 90% 训练集和 10% 测试集。源代码描述可在专用 README 文件中找到。</p> <p>对于经过手动整理和质量保证的年龄范围,模型性能良好(MAE = 4.09 岁)。总体而言,整个数据集的 MAE = 5.87 岁。这被认为是可以接受的,因为其目的是更好地拟合 60 岁或以上的人群,因为这些人群与肿瘤学人群具有最高的临床相关性,但代价是无法拟合 40 岁以下的年轻年龄范围。因此,我们承认,属于较低年龄标签的图像包含更高的异质性、更差的图像质量以及一些噪声或错误标签。尽管如此,对于 40 岁以上的人群,平均年龄差异约为零,表明在这个具有临床相关性的年龄范围内不存在年龄偏差。</p> <p><a href="https://github.com/AIM-Harvard/FaceAge/blob/main/assets/FaceAge-Model-Dev-Performance.SVG" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/24/1748025916_mmKxw5pRYk.svg"></a></p> <p><br><br></p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">模型验证</h2> <a id="user-content-model-validation" class="anchor" href="https://github.com/AIM-Harvard/FaceAge#model-validation" aria-label="永久链接:模型验证"></a></div> <p><a href="https://drive.google.com/drive/folders/1N__o3t96KQr3PYOd_5XnVYfJUdhyQYQp?usp=sharing" rel="nofollow">可在此处找到</a>基于<code>UTK</code>数据库的独立精选数据集的示例模型验证。用户可以通过笔记本重现稿件“扩展数据”部分中的部分图表。</p> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">关于微调和偏差的评论</h3> <a id="user-content-comments-on-fine-tuning-and-bias" class="anchor" href="https://github.com/AIM-Harvard/FaceAge#comments-on-fine-tuning-and-bias" aria-label="永久链接:关于微调和偏差的评论"></a></div> <p>在临床癌症人群研究中实施的 FaceAge 模型并未对模型参数进行微调。取消微调的原因有很多,但最重要的是,我们发现在进行微调时引入了年龄偏差和过拟合。虽然经过微调的 FaceAge 模型能够非常准确地预测健康对照测试样本人群的实际年龄,且 MAE 通常小于 3 岁,但当将经过微调的模型应用于临床数据集时,其预测患者预后的预测能力通常会比未经过微调的模型有所下降:</p> <p><a href="https://github.com/AIM-Harvard/FaceAge/blob/main/assets/FaceAge-Finetuning-Apparent-Age.SVG" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/24/1748025931_YEmbrnAR8b.svg"></a></p> <p><a href="https://github.com/AIM-Harvard/FaceAge/blob/main/assets/FaceAge-Finetuning-Effect-Prognostication.SVG" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/24/1748025935_hHPwdYfQKO.svg"></a></p> <p>因此,尽管基础模型比微调模型“噪声更大”(即在估计年龄范围内具有更大的离散度),但最好使用非微调模型进行生物学年龄估计和结果预测。研究发现,个体间较大的离散度与队列中患者之间的相对生存结果相关,从而与生物学年龄相关,而微调会削弱或消除这种相关的预后成分,这可能部分是由于对微调队列较小样本量的过度拟合。微调数据集的特性也引入了偏差,例如,当人们估计表观年龄时,他们往往会低估老年人的年龄——恰好处于与临床肿瘤学人群相关的年龄范围内——并且这种偏差会随着年龄的增长而变得更加明显:</p> <p><a href="https://github.com/AIM-Harvard/FaceAge/blob/main/assets/Human-Age-Estimation-Bias.SVG" target="_blank" rel="noopener noreferrer"><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/24/1748025945_8jgHH17hsT.svg"></a></p> <p>值得注意的是,虽然我们没有为了避免过度拟合和引入年龄相关偏差而对本研究的模型进行微调,但这并不妨碍我们在模型的未来迭代中进行微调,前提是我们可以减轻微调对临床预测的负面影响。这是我们团队正在积极研究的领域。</p> <div class="markdown-heading" dir="auto"> <h2 class="heading-element" dir="auto" tabindex="-1">环境设置和依赖项</h2> <a id="user-content-environment-setup-and-dependencies" class="anchor" href="https://github.com/AIM-Harvard/FaceAge#environment-setup-and-dependencies" aria-label="永久链接:环境设置和依赖项"></a></div> <p>原始代码是在 Ubuntu 18.04 上使用 Python 3.6.5、Tensorflow-gpu 1.8.0 和 CUDA 9.1.85 开发和测试的。此外,还使用文件中描述的环境<code>environment-gpu.yaml</code>(Ubuntu 18.04 上的 Python 3.6.13、CUDA 11.3.1 和 libcudnn 8.2.1)、中描述的环境<code>environment-cpu.yaml</code>(即相同的软件包,但不包含 GPU 加速)以及可免费访问的 Google Colab 笔记本(Ubuntu 18.04 上的 Python 3.7.12、CUDA 11.1 和 libcudnn 7.6.5)测试了该流水线的在线版本。我们建议在最新环境中运行该流水线,以避免库的<a href="https://github.com/ipazc/mtcnn/issues/87" data-hovercard-type="issue" data-hovercard-url="/ipazc/mtcnn/issues/87/hovercard">已知问题</a><code>MTCNN</code>。统计分析是在 RStudio 环境(版本 1.4.1106)中使用 R(版本 3.6.3)进行的。</p> <p>为了使代码按预期运行,应安装其中一个环境文件下的所有软件包。为了不破坏之前的安装并确保完全兼容,强烈建议创建一个 Conda 环境来运行 FaceAge 流水线。以下是使用 Conda 和提供的 YAML 环境文件之一进行设置的两个示例。</p> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">在配备 GPU 的机器上运行管道</h3> <a id="user-content-running-the-pipeline-on-a-machine-equipped-with-a-gpu" class="anchor" href="https://github.com/AIM-Harvard/FaceAge#running-the-pipeline-on-a-machine-equipped-with-a-gpu" aria-label="永久链接:在配备 GPU 的机器上运行管道"></a></div> <p>GPU 加速可以显著加快 FaceAge 估计的速度。如果您的机器配备了支持 CUDA 计算功能的 GPU,您可以设置运行以下命令的 Conda 环境:</p> <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code># set-up Conda faceage-test environment conda env create --file environment-gpu.yaml # activate the conda environment conda activate faceage-gpu </code></pre> <div class="zeroclipboard-container"> </div> </div> <p>此时,<code>(faceage-gpu)</code>应该会显示在每行 bash 的开头。此外,该命令<code>which python</code>应该返回类似于 的路径<code>$PATH_TO_CONDA_FOLDER/faceage-gpu/bin/python</code>。您可以通过生成一个<code>python</code>shell(在激活 Conda 环境后)并运行以下命令来检查您的 GPU 是否被环境正确识别(从而确保 GPU 加速可用):</p> <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code>import tensorflow as tf tf.config.list_physical_devices('GPU') </code></pre> <div class="zeroclipboard-container"> </div> </div> <p>如果设置成功,您应该会得到类似以下内容的输出:</p> <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code>&gt;&gt;&gt; tensorflow.config.list_physical_devices('GPU') [PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')] </code></pre> <div class="zeroclipboard-container"> </div> </div> <p>现在一切都已准备就绪,可以通过 FaceAge 管道处理数据了。</p> <p>可以通过运行以下命令停用虚拟环境:</p> <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code>conda deactivate </code></pre> <div class="zeroclipboard-container"> </div> </div> <div class="markdown-heading" dir="auto"> <h3 class="heading-element" dir="auto" tabindex="-1">在没有 GPU 的机器上运行管道</h3> <a id="user-content-running-the-pipeline-on-a-machine-without-a-gpu" class="anchor" href="https://github.com/AIM-Harvard/FaceAge#running-the-pipeline-on-a-machine-without-a-gpu" aria-label="永久链接:在没有 GPU 的机器上运行管道"></a></div> <p>无需 GPU 加速即可运行 FaceAge 流水线,但这可能会显著增加处理时间。如果您的计算机未配备支持 CUDA 计算功能的 GPU,您可以设置运行以下命令的 Conda 环境:</p> <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code># set-up Conda faceage-test environment conda env create --file environment-cpu.yaml # activate the conda environment conda activate faceage-cpu </code></pre> <div class="zeroclipboard-container"> </div> </div> <p>此时,<code>(faceage-cpu)</code>应该会显示在每行 bash 的开头。此外,该命令<code>which python</code>应该返回类似于 的路径<code>$PATH_TO_CONDA_FOLDER/faceage-cpu/bin/python</code>。现在一切就绪,FaceAge 管道可以开始处理数据了。</p> <p>可以通过运行以下命令停用虚拟环境:</p> <div class="snippet-clipboard-content notranslate position-relative overflow-auto"> <pre class="notranslate"><code>conda deactivate</code></pre> </div> <p> </p> <p>地址:</p> <p>github: <a href="https://github.com/AIM-Harvard/FaceAge" target="_blank" rel="noopener">https://github.com/AIM-Harvard/FaceAge</a> </p> <p> </p>

MedGemma
<p>谷歌宣布开源全新医疗 AI 模型 ——MedGemma。这款基于 Gemma3架构的模型专为医疗领域设计,具备强大的多模态图像和文本理解能力,旨在提升医疗诊断与治疗效率。</p> <p>MedGemma 提供两种配置选项,分别为4B 和27B 参数模型。4B 参数模型主要用于医疗图像的分类和解读,能够生成详细的诊断报告或回答与图像相关的问题;而27B 参数模型则专注于处理临床文本,特别适合于患者分诊和决策辅助。这意味着,医生可以更快地获得有关患者病情的有价值信息,从而更有效地制定治疗方案。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://img.medsci.cn/aisite/tinymce/2025/05/21/1747866772_Cm96eq7lJ7.jpg"></p> <p>图源备注:图片由AI生成,图片授权服务商Midjourney</p> <p>其中,4B 模型的图像编码器采用了 SigLIP 技术,预训练数据涵盖了胸部 X 光、皮肤病学、眼科及组织病理学等多个领域的图像,使得其在处理复杂医疗图像时表现出色。相比之下,27B 模型则以270亿参数为基础,专注于深度理解医疗文本,为临床推理提供支持,帮助医务人员更快速地进行决策。</p> <p>更为灵活的是,开发者可以选择在本地运行这些模型进行实验,或者通过谷歌云的 Vertex AI 平台将其部署为 HTTPS 端点,方便进行大规模应用。谷歌还提供了 Colab 笔记本等丰富的资源,帮助开发者进行模型的微调和集成。</p> <p>此外,谷歌鼓励开发者针对特定的使用场景对模型进行验证和微调,并提供了相关指导和工具,支持开发者在适配过程中使用提示工程、上下文学习及 LoRA 等方法进行高效的参数微调。这使得 MedGemma 不仅是一款先进的 AI 工具,更是开发者和医务人员在日常工作中提升效率的重要助手。</p> <p>MedGemma 的推出标志着医疗 AI 领域的又一重大进展,为未来的医疗实践带来了无限可能。</p>

讯飞晓医
<p>讯飞晓医APP是由科大讯飞医疗推出的一款智能医疗健康助手应用,利用讯飞星火医疗大模型技术,结合丰富的医学数据和深度学习算法,为用户提供症状自查、药物查询、中医辨证、报告解读、医院推荐、科室推荐和饮食建议等多功能服务。该应用旨在通过人工智能技术,提升用户的健康管理效率,优化就医体验,实现个性化、精准的健康咨询和指导,轻松管理自己和家人的健康。</p> <p><img src="blob:https://aisite.medsci.cn/01f2c15b-4687-4622-b220-56538b2e8a9d"></p> <h2 style="font-size: 20px;">讯飞晓医APP的主要功能</h2> <ul class="text-md"> <li>症状自查:用户输入自己的症状,APP通过分析大数据,帮助用户了解可能的疾病类型,并提供相应的健康建议。</li> <li>药物查询:提供药物信息查询服务,包括药物的作用、用法用量、不良反应等,指导用户安全合理用药。</li> <li>中医辨证:结合中医理论,分析用户症状,提供中医角度的健康建议和调理方案。</li> <li>报告解读:用户上传体检报告后,APP能够解读报告内容,提示用户关注的重要健康指标,并给出专业的解释和建议。</li> <li>医院推荐:根据用户的地理位置和就医需求,推荐附近的医院和专科,帮助用户快速找到合适的医疗机构。</li> <li>科室推荐:根据用户描述的症状,推荐适合的就诊科室,提高就医效率和准确性。</li> <li>饮食建议:根据用户的健康状况和需求,提供个性化的饮食指导,帮助用户建立健康的饮食习惯。</li> </ul>

罕见病AI诊断
梅斯医学MedSci开发的罕见病诊断智能体,输入疾病的一些症状体征,以及治疗经过,就能智能协助诊断罕见疾病
MedVirtual AI
为您的实践量身定制的虚拟医疗人员配置解决方案 MedVirtual 可以通过匹配熟练的虚拟候选人来满足您的管理需求,从而支持您的实践。 MedVirtual 是您值得信赖的平台,提供量身定制的人员配置解决方案,满足医疗客户多样化的需求,无论您的医疗机构规模大小。我们保证您会爱上您的虚拟员工团队。 MedVirtual 为医疗保健提供商提供可靠的虚拟人员配备解决方案 - 简化运营、降低开销并获得适合您实践的顶尖远程人才。

Dentina.Ai
齿科,口腔科,虚拟客服,虚拟代表
NextGen Healthcare
NextGen Ambient Assist 使用您的移动设备,在几秒钟内将自然的医患对话转换为结构化的 SOAP 注释。这些注释: 自动放置在患者的 NextGen Enterprise EHR 图表中,等待提供商审核 通过诊断代码、药物和医嘱的相关建议简化现有图表 可以使用关键短语为收藏的模板触发强大的宏 兼容英语和西班牙语的患者与提供者对话

Regal AI
Regal 的医疗保健 AI 和 AI 患者支持系统能够提供逼真的对话,如同您最优秀的患者支持团队一般。我们的 AI 代理可以全天候安排、评估和跟进,让每位患者都感受到被优先照顾。

张博士说健康
张博士介绍健康的各方面知识,客观,科学,不偏激。

体重计算器
计算体重BMI和腰臀比,并给出建议

门诊导诊
根据患者输入的信息,智能进行导诊

肌肤女神
能够鉴别皮肤类型,识别皮肤病,为医美提供全面的建议

MADELEINE
开发能够学习通用且可迁移的 H&E 千兆像素全切片图像 (WSI) 表征的自监督学习 (SSL) 模型,在计算病理学中正变得越来越重要。这些模型有望推进诸如小样本分类、切片检索和患者分层等关键任务。现有的切片表征学习方法通常通过将切片的两个不同增强图像(或视图)对齐,将 SSL 的原理从小图像(例如 224x224 的图像块)扩展到整张切片。然而,最终的表征仍然受限于视图有限的临床和生物多样性。因此,我们假设,用多种标记物(例如免疫组化染色)染色的切片可以用作不同的视图,从而形成丰富的、与任务无关的训练信号。为此,我们引入了 MADELEINE,一种用于切片表征学习的多模态预训练策略。 MADELEINE 已在大量乳腺癌样本(N=4,211 个 WSI,涵盖五种染色)和肾移植样本(N=12,070 个 WSI,涵盖四种染色)上进行了双全局-局部交叉染色比对目标训练。我们展示了 MADELEINE 在各种下游评估(从形态学和分子分类到预后预测)中学习到的载玻片表征的质量,这些评估涵盖了 21 项任务,使用了来自多个医疗中心的 7,299 个 WSI。

CHIEF-临床组织病理学影像评估基金会模型
组织病理学图像评估对于癌症诊断和亚型分类至关重要。用于组织病理学图像分析的标准人工智能方法专注于优化针对每个诊断任务的专门模型 。尽管此类方法已取得一些成功,但它们对由不同数字化协议生成的图像或从不同人群采集的样本的普遍性通常有限。在此,为了应对这一挑战,我们设计了临床组织病理学影像评估基础 (CHIEF) 模型,这是一个通用的弱监督机器学习框架,用于提取病理影像特征以进行系统的癌症评估。CHIEF 利用两种互补的预训练方法来提取不同的病理表示:用于图块级特征识别的无监督预训练和用于全切片模式识别的弱监督预训练。我们使用涵盖 19 个解剖部位的 60,530 张全切片图像开发了 CHIEF。 CHIEF 通过在 44 TB 高分辨率病理成像数据集上进行预训练,提取了可用于癌细胞检测、肿瘤起源识别、分子谱表征和预后预测的微观表征。我们使用来自全球 24 家医院和队列的 32 个独立切片集的 19,491 张全切片图像成功验证了 CHIEF。总体而言,CHIEF 的表现比最先进的深度学习方法高出 36.1%,展现了其能够处理在不同人群样本中观察到的领域偏移(domain shift),并采用不同的切片制备方法进行处理。CHIEF 为癌症患者的高效数字病理评估奠定了可推广的基础。

MMedLM
语料库数据集。为了实现多语言医学专用适配,我们构建了一个新的多语言医学语料库(MMedC),其中包含约 255 亿个标记,涵盖 6 种主要语言,可用于对现有的通用 LLM 进行自回归训练。 基准。为了监测医学领域多语言法学硕士 (LLM) 的发展,我们提出了一个新的、具有合理性的多语言医学多项选择题答疑基准,称为 MMedBench。 模型评估。我们在基准测试中评估了许多流行的 LLM,以及在 MMedC 上进一步进行自回归训练的模型。最终,我们最终的模型(称为 MMedLM 2)仅具有 70 亿个参数,与所有其他开源模型相比,其性能更为卓越,甚至可以与 MMedBench 上的 GPT-4 相媲美。

OpenMEDLab
OpenMEDLab致力于提供一个集合多模态医学基础模型的创新解决方案。未来,随着平台的不断发展,我们期待看到这些技术更新在OpenMEDLab上实现和应用,进一步推动跨模态、跨领域的医学AI创新。通过在不同医学任务中的灵活应用,OpenMEDLab不仅为基础模型的适配和微调提供了支持,也为解决医学中的长尾问题、提升模型效率和减少训练成本提供了创新途径。

MMedC
多语言医学语料库 MMedC。该语料库涵盖六种主要语言、约 255 亿标记,并用于通用大语言模型的自回归训练和领域适配。同时,研究者开发了具有推理能力的多语言医学多选问答基准MMedBench,以评估多语言医学模型的性能。在此基础上,通过在 MMedC 上训练多个开源模型,研究者提出了多语言医学大模型MMed-Llama 3。该模型在MMedBench 和英语基准测试中表现出色,在推理能力和问答准确率方面均达到领先水平。