Goodfire推出模型内部监控器拦截失控AI

Goodfire 发布了一种 AI 智能体监控方案：用探针读取模型内部激活信号，而不是另起一个模型复读输出，并已向 Baseten 客户开放。Baseten 客户可自选监控的风险类型（包括攻击性黑客行为、化生武器滥用、奖励黑客）以及自动响应方式（记录、转人工审核或直接拒绝请求）。 在 Kimi K3 上的测试中，监控约 1500 个会话成本约 51 美元，而用较便宜的 AI 模型逐步检查需 233 美元、顶级模型约 1 万美元；探针捕获了 94% 的恶意黑客会话，8.7% 的无害会话被送去做二次检查。 Goodfire 是一家专注可解释性（研究模型内部机制）的初创公司，称该方案比只读模型输出更便宜。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。