PuppyIP 资源中心
AI 工具与技术 4 分钟 发布于 2026-11-06

BioBasicsBench 的 66.7% 怎么看?评分含义与可用性边界

66.7% 是按评分标准取得的平均得分。先弄清评分的分母,再判断它能支持什么比较;模型是否向你的账号开放,需要另一份证据。

BioBasicsBench AI 基准测试 科学数据解读 模型评测

服务对象与地域限制

PuppyIP 仅面向海外合规企业及其授权人员提供服务,不面向中国大陆地区开放或提供代理服务。本服务仅限用于中国大陆境外的合法业务活动,严禁在中国大陆境内使用本服务。

代理 IP 或服务器位于境外,不改变上述限制。不得通过中转、转接、共享或转售向中国大陆境内的最终使用者提供本服务。使用前请阅读用户服务协议。

本文要点

  • 平均得分与整道题全部答对的比例是两项不同指标。
  • 比较分数时,把百分点变化与相对百分比变化分开写。
  • 同题重复尝试增加结果条数,不会增加不同任务的数量。
  • 研究结果、账号可用性与本地使用收益分别记录。

这次发布的分数和样本怎样定义

OpenAI 11 月 6 日介绍的 BioBasicsBench 有 100 项日常湿实验数据解读任务,以评分细则计算平均得分。xhigh 下 Astra 为 66.7%、GPT‑5.6 Sol 为 43.8%;37 个模型/推理设置各做每题 5 次,共有 18,500 条结果。

引用时把“任务”“设置”和“尝试”分栏:重复回答同一问题,与遇到一个全新的问题,是不同的样本关系。不要只保留最大的结果总数,让读者误以为每条记录都来自一道不同题;也不要把数据解读任务改写为独立执行完整实验。

一个平均数为什么不能当成全对率

下面仅是帮助理解的假设例子:三道等权题的归一化得分是 100%、50%、50%,平均为 66.7%,全对题目却只有三分之一。这不是该基准的真实数据,也不是对某个模型重新测试的结果。

同一个平均数可以对应不同的得分分布。记录评测时,先写清你关心的是平均表现、完整正确答案,还是某类关键错误;如果自己的问题是“能否交付一份无需返工的结果”,就应另定验收标准,不能直接用平均得分替代。

22.9 个百分点应怎样写进比较

将上述两个分数相减得到 22.9 个百分点。百分点描述两个百分数的绝对差;相对增长则还要除以起始值。两种算法的分母不同,不能只写一个带百分号的数字,让读者猜它是哪一种。

本篇建议用“同一 xhigh 条件下的平均得分相差 22.9 个百分点”表达这次算术比较。它没有换算任务耗时、返工成本或每次调用费用;若这些才是采用工具的依据,应分别收集相应记录,缺少数据时标为未知。

采用工具前还要补哪类证据

研究分数不能单独决定一个账号能用什么。检查访问资格时,应保存相关产品公告的日期、精确模型标识、使用入口和适用条件,再与实际账号可见状态核对。本研究页面未提供账号、API、地区、配额或价格条件,不据此推定开放或未开放。

评估自己的工作流时,先固定一小组有代表性的任务和明确的通过标准,再分别记录成功、失败、人工检查与返工。以下是编辑建议,尚未在本篇执行:保留输入版本、工具版本和判定依据,使以后能解释差异来自哪里。

不必为了获得漂亮数字而排除失败任务。若更换了任务、模型设置或验收条件,就另列一个比较窗口;保留旧记录和修改原因。这样做得到的是适用于自己样本的观察,而不是把公开研究中的分数直接当作本地收益保证。

资料来源

常见问题

每题尝试五次,是否说明产品会自动重试五次?

不能这样推断。评测中的尝试次数是测量设计;产品重试策略需要依据具体客户端或 API 的正式行为说明。

以后研究页面更新了数字,要覆盖原来的笔记吗?

保留原引用日期和版本,再另记新数字、修改原因及受影响的结论。否则无法判断一次决策当时依据的是哪份证据。