跳到正文
10月5日周一
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线网站。基准包含来自 187 个开源仓库、19 种语言的 219 个 pull request,其语言和仓库规模分布对齐 GitHub 上 103.9M 个真实 pull request,并采用多来源 golden set 与统一评分标准。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。

10月4日周日
  1. Hugging Face Blog72

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态评测 AI 智能体

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非生成的语句来评分,覆盖 507 个有状态业务流程、每个任务重复 20 次。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非工具调用判断成败,并给出 20 次重复的一致性数据。

9月30日周三
8月17日周一
  1. Import AI32

    Import AI 469:DiG-bench 评测科学 AI、RSI 模拟器与扎克伯格的技术悲观主义

    DiG-bench(Discovery in Games)发布,包含 70 款隐藏规则的手工游戏,用于测试 AI 通过探索自主发现环境规则的能力,目前仅公开 21 款。Opus 5 与 Fable 5 搭配 Claude Code 表现最佳,仅在 Tier 7 取得 0.2 成功率,而人类可达 100%。Inherent 同期发布 Faraday,用小型开源模型监督前沿模型以提升科研表现。