HealthBench

访问网站

HealthBench是OpenAI推出的开源医疗测试基准，用在评估大型语言模型（LLMs）在医疗保健领域的表现和安全性。HealthBench包含5000个模型与用户或医疗专业人员之间的多轮对话，用262名医生创建的对话特定评分标准进行评估。对话覆盖多种健康情境（如紧急情况、临床数据转换、全球健康）和行为维度（如准确性、指令遵循、沟通）。HealthBench能衡量模型的整体表现，按主题（如紧急转诊、全球健康）和行为维度（如临床准确性、沟通质量）细分评估，帮助诊断不同AI模型的具体行为表现，指出需要改进的对话类型和性能维度。

HealthBench的主要功能

多维度评估：提供整体评分，或按主题（如紧急转诊、全球健康）和行为维度（如准确性、沟通质量）细分评估。
性能和安全性的衡量：衡量模型在不同健康任务中的表现和安全性，确保模型在高风险健康情境中的可靠性和安全性。
模型改进的指导：提供详细的性能分析，帮助开发者识别模型的优势和不足，指导模型的改进方向。
基准测试和比较：为不同模型提供统一的评估标准，便于比较和选择最适合医疗保健场景的模型。
变体支持：提供HealthBench Consensus和HealthBench Hard两个变体，分别评估特别重要的行为维度和特别困难的对话。

HealthBench的技术原理

评分标准（Rubric）：每个对话有与之对应的评分标准，是医生根据对话内容撰写。评分标准包含多个具体标准（criteria），每个标准都有相应的分数值（正分或负分），用在评估模型响应的各个方面（如准确性、完整性、沟通质量等）。
模型响应评分：模型对每个对话的最后一条用户消息生成响应。基于模型的评分器（model-based grader）对模型的响应进行评分。评分器根据评分标准中的每个标准独立判断模型的响应是否满足标准，如果满足给予相应的分数，否则不给分。
整体评分计算：基于计算所有对话的平均评分，得到模型在HealthBench上的整体评分。根据主题（themes）和行为维度（axes）对评分进行细分，提供更详细的性能分析。
模型验证和改进：基于与医生评分的对比，验证模型评分器的准确性，根据需要对评分器进行调整和改进，确保评估结果的可靠性和有效性。