用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,用于在多智能体系统的开发和生产阶段衡量准确性、任务成功率与行为表现。
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,用于在多智能体系统的开发和生产阶段衡量准确性、任务成功率与行为表现。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。
Falcon-Emirati-7B 发布,这是基于 Falcon-H1-Arabic 打造的阿联酋方言专用模型,目标是以母语者的方式理解和生成 Emirati Arabic 的词汇、语气与文化语境。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线网站。基准包含来自 187 个开源仓库、19 种语言的 219 个 pull request,其语言和仓库规模分布对齐 GitHub 上 103.9M 个真实 pull request,并采用多来源 golden set 与统一评分标准。
推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非生成的语句来评分,覆盖 507 个有状态业务流程、每个任务重复 20 次。
推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非工具调用判断成败,并给出 20 次重复的一致性数据。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
NVIDIA 发布 Kumo Tabular,这是 NVIDIA Kumo Structured 模型集合中的开源表格数据基础模型,已在 Hugging Face 上线。
推荐理由:表格基础模型用单次前向替代逐任务训练,三个尺寸与四个榜单排名给出了可比较的效率与精度参照。
Mistral 发布 Agentic Search,作为检索层让模型在多步循环中查找、打开、导航、阅读和校验复杂文档中的信息,通过 Mistral Search Toolkit 提供,并内置在 Studio 和 Vibe 的 Libraries 中。
推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断它与一次性 RAG 的差别。