GitHub 发布 AI 代码审查基准 ReviewBench

GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，研究预览版已在其网站上线，用户可查看完整基准、比较代码审查智能体，并提交自己的智能体进行评估和迭代。 该基准包含来自 187 个开源仓库、19 种语言的 219 个 pull request，其语言和仓库规模分布对齐 GitHub 上 103.9M 个真实 pull request，并采用多来源 golden set 与统一评分标准。 使用上，用户可先在 25 个 PR 的测试集上运行并反复调整配置，再运行全部 219 个 PR（三轮），由与其他参赛者相同的评审打分；提交的分数在维护者审核批准前保持私密。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。