医疗大模型测评平台MedBench全新升级
近日,中文医疗大模型开放评测平台MedBench完成了一次重大升级。新增大模型API接口评测功能,并在开放性问答评估环节引入由医学专家人工标注评分要点的机制,这大大提升了评测结果的专业性与公正性。 模型能力评测不仅是衡量技术进步的标尺,更是驱动模型持续迭代与优化的核心动力。MedBench由上海人工
近日,中文医疗大模型开放评测平台MedBench完成了一次重大升级。新增大模型API接口评测功能,并在开放性问答评估环节引入由医学专家人工标注评分要点的机制,这大大提升了评测结果的专业性与公正性。

模型能力评测不仅是衡量技术进步的标尺,更是驱动模型持续迭代与优化的核心动力。MedBench由上海人工智能实验室与上海市数字医学创新中心联合多家机构推出。作为医疗领域的专业评测基准,MedBench已纳入司南大模型开源开放评测体系(OpenCompass)。自上线以来,MedBench已累计为387个医疗大模型提供评测服务。
相关研究论文《MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models》近期发表于全球计算机系统领域权威期刊《Big Data Mining and Analytics》(中科院一区期刊,近两年平均影响因子10.6)。
全面升级:评测方式多样化,数据集持续扩充
依托专业医疗机构丰富的专家经验与知识储备,MedBench构建了五大评测维度:医学语言理解、医学语言生成、医学知识问答、复杂医学推理、医疗安全与伦理。这些维度为医疗大模型的研发与实际应用提供了清晰的评估指标。近期,上海AI实验室联合团队对MedBench进行了全面升级,新增模型API接口评测方式,并优化了开放性问答的评估指标——由医学专家人工标注评分要点,进一步保障了评测结果的专业性与公正性。此外,评测数据集、评测方法及系统功能均得到扩充与升级,提供了更丰富、更贴近临床实践的应用场景。
动态评估机制:提升评测结果准确性
MedBench汇集了约30万道中文医疗专业评测题目,涵盖医学考试、医学问答、患者服务、医学问诊、病历分析、病历生成及辅助诊断等场景,覆盖多个临床科室。五大评估维度全面考察模型综合能力。评测流程采用全自动化云基础架构,有效解决了标准化不足与答案泄露问题。更巧妙的是,动态评估机制通过循环打乱选项顺序与随机提示匹配,显著提高了评估的科学性与准确性。
开放共享,推动专业互认体系建设
自发布以来,MedBench面向全球开放,致力于与各界共同推进医疗大语言模型评测体系的全面性、专业性与互认性。截至目前,已有387个医疗大模型通过该平台获得能力评估指标及优化方向。上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、广州实验室、上海交通大学、复旦大学、华东理工大学、同济大学、香港中文大学(深圳)、上海市卫生健康统计中心、华东师范大学等机构先后加入平台共建,汇聚行业经验,助力医疗智慧化转型。基于在医疗大模型评测领域的积累与实践,上海AI实验室与上海市卫生健康统计中心联合支持了《第二届全国数字健康创新应用大赛》相关成果评估,加速人工智能与医疗的交叉研究与协同创新。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:医疗大模型测评平台MedBench全新升级要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点佑驾创新与乐动机器人达成战略合作,围绕技术、产品、场景、数据四维度展开深度协同,旨在加速物理AI规模化落地,拓展无人车与机器人场景边界,推动具身智能商业化进程。
Meta开放AI算力租赁业务,市场反应从算力过剩转向算力商业运营。GPU从自用转向对外出租,算力从成本中心转为利润中心。AI云竞争核心从拥有GPU数量转向稳定跑满GPU的能力,依赖同步与参考时钟等底层基础设施的长期稳定运行。
针对大型多仓库工程(30+微服务、10+前端微应用),搭建包含规则、技能、子代理、13阶段工作流与门禁脚本的Harness系统,解决PRD不可信、方案与代码脱节、改完无人验证、交付环节琐碎等痛点,使AI在真实业务中稳定跑完需求。
部署MCP Toolbox前,先看清它的适用场景与安全边界,避免在权限管理不完善时接入敏感数据。 核心内容: 1 MCP Toolbox的核心功能与两种使用路线 2 项目适合与不适合的团队场景分析 3 实际验证的安全检查与关键限制 先说结论 MCP Toolbox 很适合小团队研究“让 AI
- 日榜
- 周榜
- 月榜
热点快看
