服务对象与地域限制
PuppyIP 仅面向海外合规企业及其授权人员提供服务,不面向中国大陆地区开放或提供代理服务。本服务仅限用于中国大陆境外的合法业务活动,严禁在中国大陆境内使用本服务。
代理 IP 或服务器位于境外,不改变上述限制。不得通过中转、转接、共享或转售向中国大陆境内的最终使用者提供本服务。使用前请阅读用户服务协议。
本文要点
- ReviewBench 是 GitHub 于2026年10月5日公布的研究预览。完整评测集有219条公开PR,来自187个仓库、19种语言;25条测试是其中的子集。
- Grounded precision 只衡量匹配到参照集的审查意见;grounded recall 衡量已知有效问题找到了多少。相同数据和范围下,后者适合横向比较覆盖率。
- Augmented recall 会把各审查器的新有效问题加入分母,不能直接拿它排名。96.6%是基准标签与人工判断的一致性,不是审查器准确率。
- 离线结果不能上榜。正式提交流程包含门户登记、25条PR测试、全部219条PR的三轮新评测和维护者审核;调优与测试自费,正式提交也不免除审查器推理费用。
ReviewBench 比较的是什么?
ReviewBench 用统一样本比较 AI 代码审查器,也就是会检查代码变更并提出问题的代理(agent)。GitHub 在2026年10月5日将它作为研究预览公布;本文按当前公开方法和参测文档解释这项既有基准。
完整评测集包含219条公开 pull request(PR,代码变更请求),来自187个仓库、19种语言。GitHub 另分析了1.039亿条PR来研究工作负载分布;这个数字不是实际评测样本数。
参照问题集(gold set)汇集人工意见、作者后续修改、确定性工具和多个模型的发现,经语义去重和统一标准标注。每条具体审查意见称为 finding;被判断为真实、相关且值得处理的问题称为真阳性(true positive)。
Grounded 指标:已知问题找到了多少?
Grounded precision 是基于参照标签的精确率:只看能匹配到参照问题的候选意见,其中匹配到已知真阳性的比例是多少。没有匹配到参照集的意见,不进入这个指标的分子或分母,因此高分不等于所有意见都已证实有效。
Grounded recall 是对已知问题的召回率:分子是至少被一条候选意见覆盖的参照真阳性,分母是该PR的全部参照真阳性。同一数据版本和筛选范围下,各审查器面对相同的已知问题,适合用它比较覆盖率。
可以分别问两个问题:已匹配的意见中,多少指向有效问题;参照集里那些有效问题,又找到了多少。精确率和召回率分别回答这两个问题,不应只看其中一个。
Augmented 指标:新发现为什么会改变分母?
未匹配的意见可能指出参照集漏掉的问题。Augmented 指标把这些意见交给同一评判模型(judge)分类;增强精确率用全部候选意见作分母,把匹配到的真阳性和新判定的真阳性共同计入分子。
增强召回率也把新真阳性加入分子,同时加入分母。每个审查器发现的新问题数量不同,分母随之不同,因此它更适合诊断单个审查器的新发现,不能直接当作共同已知问题的覆盖排名。
假设有10个已知有效问题,两个审查器都找到4个,已知问题召回率都是40%。若它们分别另找到1个和4个有效新问题,增强召回率会成为5/11和8/14;比例不同,仍不改变二者都覆盖了4个共同已知问题的事实。这个例子仅解释公式,不是实测结果。
96.6% 到底说明了什么?
官方方法使用公开评判标准和自动标注器(classifier)给问题标注有效性、严重级别和类别。当前文档中的标注器及官方榜单评判模型为 Claude Sonnet 5;资深工程师还独立审阅参照标签并核查分歧。
96.6%指基准的真阳性/假阳性标签与人工复标的一致率。它不是某个审查器发现缺陷的准确率,也不保证代码安全;参照集可能漏掉问题,自动标注和语义匹配器(matcher)也可能误判。
离线分数描述的是特定样本和评判方法下的表现。团队自己的代码、审查标准和修复流程不同,实际收益仍需要另行验证。
怎样把两个评测结果放在一起比较?
先固定共同条件:数据和参照集版本、PR的变更前后快照、评判模型与匹配方法、严重级别、问题类别及聚合方式。分别记录每个审查器的容器版本和配置,并在它自己的重复评测中保持一致;比较不同审查器不要求使用同一镜像。
Fβ把精确率与召回率合成一个分数:β小于1偏重少报错,β大于1偏重少漏报。宏平均(macro)给每条PR相同权重;微平均(micro)汇总问题后计算比例。阅读结果前先确认这些选择。
本次读取的公开榜单是高严重性问题的 grounded F1 视图,不能当作所有严重级别的统一结论。先选符合团队需求的范围和取舍,再比较对应结果;当前名次不能代替对自己代码的验证。
离线调优和正式上榜分别怎么走?
离线评测可以使用公开数据在自己的环境中进行,无需注册;本地结果用于开发和调优,不能直接发布到榜单。官方本地容器检查脚本只检查接口能否运行、输出格式是否有效,不负责评分或提交。
准备正式参测时,从官方README链接的自助门户使用GitHub登录,登记以内容摘要(digest)固定版本的容器镜像、配置标签和所需密钥名称。门户创建登记PR,校验通过后还要由维护者合并;无需自己另外创建登记PR。
登记完成后,门户测试运行覆盖25条PR,它们是完整219条PR的子集。团队在自己的环境中调优并选定配置,正式提交再用全部219条PR进行三轮新的评测,不能挑一次最好的调试成绩当作正式结果。
正式结果仍需维护者审核。原公告说明,只有首次榜单条目,或超过该审查器当前榜单分数的结果才发布;登记通过、测试成功和实际发布是不同阶段。
谁承担模型和计算费用?
调优、测试、本地实验和重复完整集评分都由参测方承担审查器推理、评判模型推理及计算资源费用。ReviewBench只承担官方最终提交的评判模型推理;参测审查器仍使用自己的模型凭据和预算。公开基准不等于整套评测免费。
密钥值不应写入镜像、公开PR、issue或日志。官方README建议使用有支出上限、可随时撤销的专用密钥。模型访问资格、可用地区和实际预算仍应按所用服务核对,不能由榜单页面可访问推断全部账户都有资格。
资料来源
常见问题
现在可以向公开基准集提交新的PR吗?
当前README说明基准语料暂不接受新的PR贡献。这与登记自己的审查器是两条不同流程;后续开放情况应以项目贡献说明为准。
为什么两个报告的审查耗时不能直接比较?
先核对计时范围。方法文档以每条PR成功的候选容器调用计时,不含准备、评判模型调用和失败重试;它不等于从启动评测到收到结果的总等待时间。旧结果可能使用回退口径或缺少数据,未报告时应记为未知。
参照集中没有匹配项,就代表审查意见无效吗?
不代表。它可能是有效的新发现,也可能是假阳性,需要后续评判。Grounded指标排除未匹配意见,不能据此把它们直接判错;增强指标会再对这些意见分类。