跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

5 条精选近 30 天 4 条共收录 10 条

更新

评测基准的精选

10月5日周一第 1–5 条
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线网站。基准包含来自 187 个开源仓库、19 种语言的 219 个 pull request,其语言和仓库规模分布对齐 GitHub 上 103.9M 个真实 pull request,并采用多来源 golden set 与统一评分标准。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。

10月4日周日
  1. Hugging Face Blog72

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态评测 AI 智能体

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非生成的语句来评分,覆盖 507 个有状态业务流程、每个任务重复 20 次。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非工具调用判断成败,并给出 20 次重复的一致性数据。

10月1日周四
9月29日周二
8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search,用多步检索循环替代一次性 RAG

    Mistral 发布 Agentic Search,作为检索层让模型在多步循环中查找、打开、导航、阅读和校验复杂文档中的信息,通过 Mistral Search Toolkit 提供,并内置在 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断它与一次性 RAG 的差别。